1. 程式人生 > >Alluxio 幫助去哪兒網酒店數據業務最高提速300x

Alluxio 幫助去哪兒網酒店數據業務最高提速300x

進行 hive 酒店業 shanghai mapred jpg 利用 http 兼容

Alluxio是分布式的數據緩存層,獨立的服務,API兼容HDFS,充分利用單機的文件緩存和層次化的數據存儲方式,讓上層分布式應用業務訪問數據可以充分享受高效緩存所帶來的性能提升。去哪兒酒店業務中,混合了大數據實時處理業務類型,也有批量數據處理業務,還有既有Hive(MapReduce)作業,也有Spark批處理作業,這些應用程序之間通過數據進行銜接,作為中間數據落盤隨即被讀取,小文件問題,高效率的緩存和兼容統一的數據訪問模式,讓新老計算框架和不同的計算模式都能充分發揮性能。

技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片
技術分享圖片

文章過長,原鏈接地址https://www.slidestalk.com/s/all_ux_io_300x_7hd5zk
微信搜索公眾號【示說網】參加Alluxio 2018上海 Meetup 活動

Alluxio 幫助去哪兒網酒店數據業務最高提速300x