玩轉大資料系列之一:資料採集與同步
阿新 • • 發佈:2019-01-02
資料的採集和同步,是先將資料從裝置、或者本地資料來源採集、同步到阿里雲上,然後在阿里雲上對資料進行分析和處理,最終完成您的業務要求。本文向您介紹阿里雲各產品的資料採集和同步的操作實戰文章,您可以根據您使用阿里雲產品,檢視相應的文件教程。
關於資料採集,DataWorks專門有一個模組叫做資料整合,是阿里巴巴集團對外提供的穩定高效、彈性伸縮的資料同步平臺。致力於提供複雜網路環境下、豐富的異構資料來源之間資料高速穩定的資料移動及同步能力。詳細介紹請參見資料整合概述。
MaxCompute
DataWorks
- 新增日誌服務(Loghub)通過資料整合投遞資料
- 新增ElasticSearch通過資料整合匯入資料
- 資料整合最佳實踐—OTSStream配置同步任務
- RDS遷移到Maxcompute實現動態分割槽最佳實踐
Elasticsearch
- 使用DataWorks實現Hadoop與Elasticsearch資料同步
- 使用DataWorks實現MaxCompute與Elasticsearch資料同步
- 阿里雲上資料匯入阿里雲ES(離線)
- 同步 MySQL 資料庫到 Elasticsearch 中並進行搜尋分析
AnalyticDB
DataHub
- 資料同步DTS將RDS資料實時傳輸至DataHub
- 流資料同步DataConnector
- 函式計算作為DataHub後端服務
- 擴容縮容Merge/Split
Datahub具有服務彈性伸縮功能,使用者可根據實時的流量調整Shard數量,來應對突發性的流量增長或達到節約資源的目的。
更多大資料實戰文章
玩轉大資料系列之一:資料採集與同步
玩轉大資料系列之二:資料分析與處理
玩轉大資料系列之三:資料報表與展示
玩轉大資料系列之四:搜尋