【高併發簡單解決方案】redis快取佇列+mysql 批量入庫+php離線整合
阿新 • • 發佈：2018-12-29
需求背景：有個呼叫統計日誌儲存和統計需求，要求儲存到mysql中；儲存資料高峰能達到日均千萬，瓶頸在於直接入庫併發太高，可能會把mysql幹垮。
問題分析
思考：應用網站架構的衍化過程中，應用最新的框架和工具技術固然是最優選擇；但是，如果能在現有的框架的基礎上提出簡單可依賴的解決方案，未嘗不是一種提升自我的嘗試。
解決：
- 問題一：要求日誌最好入庫；但是，直接入庫mysql確實扛不住，批量入庫沒有問題，done。【批量入庫和直接入庫效能差異參考文章】
- 問題二：批量入庫就需要有高併發的訊息佇列，決定採用redis list 模擬實現，而且方便回滾。
- 問題三：日誌量畢竟大，儲存最近30條足矣，決定用php寫個離線統計和清理指令碼。
done，下面是小拽的簡單實現過程
一：設計資料庫表和儲存
- 考慮到log系統對資料庫的效能更多一些，穩定性和安全性沒有那麼高，
儲存引擎自然是隻支援select insert 沒有索引的archive。如果確實有update需求，也可以採用myISAM。 - 考慮到log是實時記錄的所有資料，數量可能巨大，
主鍵採用bigint，自增即可。 - 考慮到log系統
以寫為主，統計採用離線計算，欄位均不要出現索引，因為一方面可能會影響插入資料效率，另外讀時候會造成死鎖，影響寫資料。
二：redis儲存資料形成訊息佇列
由於高併發，儘可能簡單，直接，上程式碼。
MySQL| 1234567891011 | connect('xx' |
三：資料定時批量入庫。
定時讀取redis訊息佇列裡面的資料，批量入庫。
MySQL| 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657 | connect('ip',port);$redis_xx->auth("password");//獲取現有訊息佇列的長度$count=0;$max=$redis_xx->lLen("call_log");//獲取訊息佇列的內容，拼接sql$insert_sql="insert into fb_call_log (`interface_name`, `createtime`) values ";//回滾陣列$roll_back_arr=array();while($countlPop("call_log");$roll_back_arr=$log_info;if($log_info=='nil'||!isset($log_info)){$insert_sql.=";";break;}//切割出時間和info$log_info_arr=explode("%",$log_info);$insert_sql.=" ('".$log_info_arr[0]."','".$log_info_arr[1]."'),";$count++;}//判定存在資料，批量入庫if($count!=0){$link_2004=mysql_connect('ip:port','user','password');if(!$link_2004){die("Could not connect:".mysql_error());}$crowd_db=mysql_select_db('fb_log',$link_2004);$insert_sql=rtrim($insert_sql,",").";";$res=mysql_query($insert_sql);//輸出入庫log和入庫結果;echodate("Y-m-d H:i:s")."insert ".$count." log info result:";echojson_encode($res);echo"n";//資料庫插入失敗回滾if(!$res){foreach($roll_back_arras$k){$redis_xx->rPush("call_log",$k);}}//釋放連線mysql_free_result($res);mysql_close($link_2004);}//釋放redis$redis_cq01->close();?> |
四：離線天級統計和清理資料指令碼
MySQL| 123456789101112131415161718192021222324252627 | ?php/*** static log ：每天離線統計程式碼日誌和刪除五天前的日誌** @Author:[email protected]* 2015-11-06* *///離線統計$link_2004=mysql_connect('ip:port','user','pwd');if(!$link_2004){die("Could not connect:".mysql_error());}$crowd_db=mysql_select_db('fb_log',$link_2004);//統計昨天的資料$day_time=date("Y-m-d",time()-60*60*24*1);$static_sql="get sql";$res=mysql_query($static_sql,$link_2004);//獲取結果入庫略//清理15天之前的資料$before_15_day=date("Y-m-d",time()-60*60*24*15);$delete_sql="deletefromxxxwherecreatetime |
五：程式碼部署
主要是部署，批量入庫指令碼的呼叫和天級統計指令碼，crontab例行執行。
MySQL| 12345 | # 批量入庫指令碼*/2****/home/cuihuan/xxx/lamp/php5/bin/php/home/cuihuan/xxx/batchLog.php>>/home/cuihuan/xxx/batchlog.log# 天級統計指令碼05***/home/cuihuan/xxx/php5/bin/php/home/cuihuan/xxx/staticLog.php>>/home/cuihuan/xxx/staticLog.log |
總結：相對於其他複雜的方式處理高併發，這個解決方案簡單有效：通過redis快取抗壓，mysql批量入庫解決資料庫瓶頸，離線計算解決統計資料，通過定期清理保證庫的大小。