1. 程式人生 > >零基礎小白入手hadoop學習路線和教程分享

零基礎小白入手hadoop學習路線和教程分享

 

Hadoop技術本身並不是新技術,而是網際網路時代成就了它,網際網路產生了大量的資料,傳統的伺服器解決方案成本太高,Hadoop分散式處理技術可以解決這個問題,隨著BAT等知名公司的成功案例,越來越多網際網路公司也都開始使用。Hadoop是雲端計算的基礎。而絕大部分的雲端計算中的分散式儲存和計算都是使用hadoop的。雲端計算在國家十二五規劃中也有重要章節討論,雲端計算已經被提高到國家中長期發展戰略規劃中。

核心思路指引:

Hadoop最核心的兩大重點HDFS分散式與MapReduce程式設計模型,主要解決了超大檔案儲存與資料應用的問題,當然hadoop家語言編寫族還有Hive、Hbase、Pig、Zookeeper等等,其實這些開源專案無非是解決在大資料應用過程中存在的某些特殊問題。所以我認為學習思路很重要,如何從龐大的知識體系中去理解核心,掌握精髓,在工作中能夠善學善用,這才是成長和提高的最佳學習方法。還有hadoop本身是個開源專案,由java編寫,而且是為linux系統而生,所以在學習hadoop之前除了計算機基礎知識,還要具備Linux與java基礎,學習linux與java思路也是一樣,抓核心學重點。切記!學習程式設計技術一定要多動手多實踐!

基礎入門階段打好基礎對職業發展非常重要,切忌只學不動手,需多實踐。學習抓重點,Hadoop專案原始碼是用Java語言編寫,而且分散式伺服器多數是Linux作業系統,所以Java基礎與Linux基礎是必須掌握的技能。對大資料對企業的的價值,整體的架構要有巨集觀認識,不能過於侷限。做大資料也離不開關係資料,Oracle可以學習瞭解。

【重點】大資料的Java基礎

【重點】大資料的linux基礎

【重點】大資料的統計學基礎

【重點】Hadoop資料分析平臺

【補充】Hadoop2.X大資料平臺視訊教程

【補充】Oracle職業直通車

 

中級進階階段的Hadoop工程師不僅僅是會hadoop,這只是基礎技術層面的必不可少的工具。Hadoop的核心是HDFS和MapReduce.HDFS提供了海量資料的儲存 MapReduce提供了對資料的計算。學習Flume、Storm、Spark、Python等技術會為您在解決實際問題時辦法更多,更有效率。Redis與Mongodb是通過非關係資料儲存減緩關係資料庫壓力,提高訪問效能,同時也會產生海量資料,建議瞭解。

 

大資料學習加q群:86884+7735視訊學習

目錄:

【重點】大資料的Flume日誌收集利器

【重點】大資料平臺Storm入門到精通

【重點】大資料平臺Spark入門與精通

【重點】Zookeeper入門到精通

【補充】Redis技術詳解

【補充】Mongodb技術詳解

【補充】Storm大資料開發視訊教程

【隨學】Python網路程式開發

對於高階實戰階段來說hadoop只是基礎技術層面的必不可少的工具。Hadoop的核心是HDFS和MapReduce.隨著資料集規模不斷增大,而傳統BI的資料處理成本過高,企業對Hadoop及相關的廉價資料處理技術如Hive、HBase、MapReduce、Pig等的需求將持續增長。如今具備Hadoop框架經驗的技術人員是最搶手的大資料人才。資料倉庫、資料探勘等技術是整合資料並使資料產生價值的技術,建議學習瞭解。

目錄:

【重點】Hadoop原始碼解析與開發實戰

【重點】大資料HBase原始碼解析與開發實戰

【重點】大資料Hive原始碼解析與開發實戰

【重點】大資料Hadoop資料探勘實戰

【補充】Mahout入門與專案實戰

【隨用隨學】Storm的叢集搭建實戰

【補充】Storm流計算之專案篇

【重點】Storm應用實戰

【重點】MySQL資料庫運維