2. 程式人生 > >PHP使用SWOOLE擴充套件實現定時同步 MySQL 資料

PHP使用SWOOLE擴充套件實現定時同步 MySQL 資料

阿新 • • 發佈：2018-11-07

南寧公司和幾個分公司之間都使用了呼叫系統，然後現在需要做一個呼叫通話資料分析，由於分公司的呼叫伺服器是在內網，通過技術手段映射出來，分公司到南寧之間的網路不穩定，所以需要把分公司的通話資料同步到南寧。

本身最簡單的方法就是直接配置MySQL的主從同步就可以同步資料到南寧來了。但是銷售呼叫系統那邊的公司不給MySQL許可權我們。 所以這個方法只能放棄了。

於是我們乾脆的想，使用PHP來實現定時一個簡易的PHP定時同步工具，然後PHP程序常駐後臺執行，所以首先就先到了一個PHP元件：SWOOLE，經過討論，分公司的每天半天生成的資料量最大在5000條左右，所以這個方案是可行，就這樣幹。

我們使用PHP SWOOLE 做一個非同步的定時任務系統。

本身MySQL資料庫的主從同步是通過解析Master庫中的binary-log來進行同步資料到從庫的。然而我們使用PHP來同步資料的時候，那麼只能從master庫分批查詢資料，然後插入到南寧的slave庫來了。

這裡我們使用的框架是 ThinkPHP 3.2 .

首先安裝PHP擴充套件： SWOOLE,因為沒有使用到特別的功能，所以這裡我們使用pecl來快速安裝:

?

1

pecl install swoole

安裝完成後在 php.ini 裡面加入 extension="swoole.so"

 安裝完成後，我們使用 phpinfo() 來檢查是否成功了.

安裝成功了，我們就來寫業務.

服務端

1、首先啟動一個後臺的服務端,監聽埠9501

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

public function index()

{

 $serv = new \swoole_server("0.0.0.0", 9501);

 $serv->set([

  'worker_num' => 1,//一般設定為伺服器CPU數的1-4倍

  'task_worker_num' => 8,//task程序的數量

  'daemonize' => 1,//以守護程序執行

  'max_request' => 10000,//最大請求數量

  "task_ipc_mode " => 2 //使用訊息佇列通訊，並設定為爭搶模式

 ]);

 $serv->on('Receive', [$this, 'onReceive']);//接收任務，並投遞

 $serv->on('Task', [$this, 'onTask']);//可以在這個方法裡面處理任務

 $serv->on('Finish', [$this, 'onFinish']);//任務完成時候呼叫

 $serv->start();

}

2、接收和投遞任務

?

1

2

3

4

5

6

7

8

9

public function onReceive($serv, $fd, $from_id, $data)

{

 //使用json_decode 解析任務資料

 $areas = json_decode($data,true);

 foreach ($areas as $area){

  //投遞非同步任務

  $serv->task($area);

 }

}

3、任務執行，資料從master庫查詢和寫入到slave資料庫

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

public function onTask($serv, $task_id, $from_id, $task_data)

{

 $area = $task_data;//引數是地區編號

 $rows = 50; //每頁多少條

 //主庫地址,根據引數地區（$area）編號切換master資料庫連線

 //從庫MySQL例項,根據引數地區（$area）編號切換slave資料庫連線

 //由於程式是常駐記憶體的，所以MySQL連線可以使用長連線，然後重複利用。要使用設計模式的，可以使用物件池模式

 Code......

 

 //master 庫為分公司的資料庫，slave庫為資料同步到南寧後的從庫

 Code......

 

 //使用$sql獲取從庫中最大的自增: SELECT MAX(id) AS maxid FROM ss_cdr_cdr_info limit 1

 $slaveMaxIncrementId = ...;

 

 //使用$sql獲取主庫中最大的自增: SELECT MAX(id) AS maxid FROM ss_cdr_cdr_info limit 1

 $masterMaxIncrementId = ...;

 

 //如果相等的就不同步了

 if($slaveMaxIncrementId >= $masterMaxIncrementId){

  return false;

 }

 

 //根據條數計算頁數

 $dataNumber = ceil($masterMaxIncrementId - $slaveMaxIncrementId);

 $eachNumber = ceil($dataNumber / $rows);

 $left = 0;

 

 //根據頁數來進行分批迴圈進行寫入，要記得及時清理記憶體

 for ($i = 0; $i < $eachNumber; $i++) {

  $left = $i == 0 ? $slaveMaxIncrementId : $left + $rows;

  $right = $left + $rows;

  //生成分批查詢條件

  //$where = "id > $left AND <= $right";

  $masterData = ...;//從主庫查詢資料

  $slaveLastInsertId = ...;//插入到從庫

  unset($masterData,$slaveLastInsertId);

 }

 

 echo "New AsyncTask[id=$task_id]".PHP_EOL;

 $serv->finish("$area -> OK");

}

4、任務完成時候呼叫

?

1

2

3

4

public function onFinish($serv, $task_id, $task_data)

{

 echo "AsyncTask[$task_id] Finish: $task_data".PHP_EOL;

}

客戶端推送任務

到此基本完成，剩下來我們來寫客戶端任務推送

?

1

2

3

4

5

6

7

8

9

10

11

public function index()

{

 $client = new \swoole_client(SWOOLE_SOCK_TCP);

 if (!$client->connect('127.0.0.1', 9501, 1)) {

  throw new Exception('連結SWOOLE服務錯誤');

 }

 $areas = json_encode(['liuzhou','yulin','beihai','guilin']);

 //開始遍歷檢查

 $client->send($areas);

 echo "任務傳送成功".PHP_EOL;

}

至此基本完成了，剩下的我們來寫一個shell指令碼定時執行：/home/wwwroot/sync_db/crontab/send.sh

?

1

2

3

4

5

6

#!/bin/bash

PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin

export PATH

 

# 定時推送非同步的資料同步任務

/usr/bin/php /home/wwwroot/sync_db/server.php home/index/index

使用crontab定時任務，我們把指令碼加入定時任務

?

1

2

3

4

#設定每天12：30執行資料同步任務

30 12 * * * root /home/wwwroot/sync_db/crontab/send.sh

#設定每天19：00執行資料同步任務

0 19 * * * root /home/wwwroot/sync_db/crontab/send.sh

Tips: 最好推薦在裡面加入寫日誌操作，這樣好知道是任務推送、執行是否成功。

至此基本完成，程式有待優化~~~，各位看客有更好的方法歡迎提出。

參考文獻：

https://www.jb51.net/article/110702.htm

相關推薦

PHP使用SWOOLE擴充套件實現定時同步 MySQL 資料

南寧公司和幾個分公司之間都使用了呼叫系統，然後現在需要做一個呼叫通話資料分析，由於分公司的呼叫伺服器是在內網，通過技術手段映射出來，分公司到南寧之間的網路不穩定，所以需要把分公司的通話資料同步到南寧。 本身最簡單的方法就是直接配置MySQL的主從同步就可以同步資料到南寧來了。但是銷售呼叫系統那邊

canal實戰（一）：canal連線kafka實現實時同步mysql資料

前面已經介紹過了canal-kafka的應用。canal-kafka是把kafka作為客戶端，嵌入到canal中，並且在canal基礎上對原始碼進行了修改，以達到特定的實現canal到kafka的傳送。 canal-kafka是阿里雲最近更新的一個新的

solr 7+tomcat 8 + mysql實現solr 7基本使用(安裝、整合中文分詞器、定時同步資料庫資料以及專案整合)

基本說明 Solr是一個開源專案，基於Lucene的搜尋伺服器，一般用於高階的搜尋功能； solr還支援各種外掛(如中文分詞器等)，便於做多樣化功能的整合； 提供頁面操作，檢視日誌和配置資訊，功能全面。 solr 7 + tomcat 8實現solr 7的安裝 Sol

Elasticsearch之Logstash壓縮包安裝及同步mysql資料

Elasticsearch之Logstash壓縮包安裝及同步mysql資料 一：安裝logstash 一：安裝logstash 1.從官網下載.tar.gz壓縮包 下載地址為：https://www.elastic.co/do

滴滴雲使用 DataX 實現 Hive 與 MySQL 資料傳輸

1. DataX 簡介： DataX 是阿里巴巴集團內被廣泛使用的離線資料同步工具/平臺，實現包括 MySQL、Oracle、SQLServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各種異構

logstach啟動成功，但是同步mysql資料出錯

小編遇到這個問題開始時候也是困惑了很兩天，最後無意中想的可能是java驅動的問題。 錯誤原因：Unable to connect to database. Tried 1 times {:error_message=>“Java::JavaSql::SQLException: Th

Elasticsearch使用Logstash-input-jdbc同步mysql資料（全量和增量）

作者：camelcanoe 來源：CSDN 原文：https://blog.csdn.net/camelcanoe/article/details/79759376 版權宣告：本文為博主原創文章，轉載請附上博文連結！ 專案中用到elasticsearch，初始化資料時時寫的程式從資

搭建elasticsearch，並同步mysql資料

系統：ubuntu、mysql、java8 一、安裝java，要求java7以上。 sudoapt-get installopenjdk-7-jre 二、下載安裝 elasticsearch 1)、 2)、 sudo dpkg -i elasticsearch-1.4

Elasticsearch使用Logstash-input-jdbc同步mysql資料（全量和增量）（windows）

專案中用到elasticsearch，初始化資料時時寫的程式從資料庫裡面查詢出來，然後多執行緒往elasticsearch裡面寫入的。今天試了一下Logstash-input-jdbc外掛，發現高效又方便，而且可以設定定時任務。1、安裝外掛在logstash的bin目錄下執行

crontab定時備份mysql資料

命令 crontab -e; 10 12 * * * mysqldump -u使用者名稱 -p密碼 資料庫名>儲存檔名（XXX_$(date+"%F").sql） 可能問題 出現新檔案，但沒有資

使用canal同步mysql資料

場景： 有兩個獨立的MySql資料庫A和B 資料庫A中有個表名為news，該表三個欄位： 欄位 type id INT title VARCHAR data LONGTEXT 資料庫B中有兩個

[jjzhu學java]之solr4.9同步mysql資料

Solr是一個高效能，採用Java5開發，基於Lucene的全文搜尋伺服器。同時對其進行了擴充套件，提供了比Lucene更為豐富的查詢語言，同時實現了可配置、可擴充套件並對查詢效能進行了優化，並且提供了一個完善的功能管理介面，是一款非常優秀的全文搜尋引擎。       

ElasticSearch5+logstash的logstash-input-jdbc實現mysql資料同步

在實現的路上遇到了各種坑，再次驗證官方文件只能產考不能全信！ ElasticSearch安裝就不說了上一篇有說！ 安裝logstash 官方：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html 1

Linux下實現Mysql定時任務備份資料

建立備份目錄 本例項將建立目錄放置於/mnt目錄下，可根據具體情況放置於其他目錄： cd /mnt mkdir dbback pwd /mnt/dbback 建立shell指令碼 指令碼名稱可根據自己規範進行自定義： vim bcmysql.sh 進入編輯器

Memcached實現MySQL資料同步

一、介紹 1、Memcached介紹 Memcached 是一個高效能的分散式記憶體物件快取系統，用於動態Web應用以減輕資料庫負載。它通過在記憶體中快取資料和物件來減少讀取資料庫的次數，從而提高動態、資料庫驅動網站的速度。Memcached基於一個儲存鍵/值對的hashm

如何實現sqlserver中的部分表的資料定時同步到oracle

下載網站:www.SyncNavigator.CN   ---------------------------------------------------------- HKROnline SyncNavigator 8.4.1 非破解版 註冊機 授權啟用教程

ElasticSearch5+logstash-input-jdbc實現mysql資料同步及躺坑彙總

轉載來源 http://www.cnblogs.com/phpshen/p/6098333.html ElasticSearch安裝就不說了上一篇有說！ 安裝logstash 官方：https://www.elastic.co/guide/en/logstash/cur

實現MySQL資料同步到ElasticSearch中

一、場景 筆者最近在寫全文搜尋引擎服務，用到的是ElasticSearch框架，該篇部落格就如何實現MySQL資料同步到ES中進行闡述 二、解決方案 執行系統：mac系統下 採用到的技術：ES2.4、logstash-2.4.1 用到的相關外掛：ES-head、logst

solr配置定時全量、增量同步索引mysql資料

篇文章中講了如何下載solr、安裝solr、啟動、增加中文分詞器、簡單查詢等傳送門，這篇文章我們來配置solr定時全量和增量同步mysql資料。 1、先看資料庫表 2、開啟E:\solrHome\core1\conf資料夾下的data-config.xml檔案，這個檔

solr5.5配置定時全量、增量同步索引mysql資料

上篇文章中講了如何下載solr、安裝solr、啟動、增加中文分詞器、簡單查詢等傳送門，這篇文章我們來配置solr定時全量和增量同步mysql資料。 1、先看資料庫表 2、開啟E:\solrHome\core1\conf資料夾下的data-config.xml檔案，這個檔案