1. 程式人生 > >程式設計零基礎學習大資料,就該有這樣的學習思路

程式設計零基礎學習大資料,就該有這樣的學習思路

我們在系統學習大資料的之前,要先了解大資料開發是在什麼系統平臺下進行的。所以我們在學之前要先學習Linux的知識,這部分顯得格外的重要。

1、Linux學習

學習如何使用VMware安裝Linux映象------認識linux的桌面環境、shell環境------在shell環境下進行檔案系統的操作,掌握more、touch、cp、mv、rm等20多個常用命令------學習linux的網路管理,掌握ip、hostname等設定------學習vmware與linux的通訊設定,掌握如何實現host-only、bridge、nat等網路連線方式------學習linux的程序管理,掌握如何檢視、刪除程序------學習linux的軟體管理,掌握java、mysql等安裝------學習環境變數配置,掌握如何設定環境變數------學習linux的ssh管理,掌握如何實現免密碼登入------學習linux的防火牆管理,掌握如何關閉防火牆及開放指定埠------學習linux的排程管理,掌握crontab的使用

這些差不多就是Linux的學習要點了,只有掌握了這部分的內容,在學後面的知識點時才能更加的得心應手。

2、hadoop學習

搭建偽分佈實驗環境------HDFS體系結構及shell、java操作方式------MapReduce體系結構及各種演算法

這裡的hadoop知識點當然還有很多很多,像圖片下方的知識都是重點學習的內容,想要系統學習的同學可以看一下學習路線系統學習

3、zookeeper學習

Zookeeper是什麼------搭建zookeeper叢集環境------如何使用命令列操作zookeeper------如何使用java操作zookeeper

4、HBase學習

hbase的概述------hbase的資料模型------hbase的表設計------hbase的偽分散式和叢集安裝------hbase的shell操作------hbase的JavaAPI操作------hbase的資料遷移------hbase的資料備份及恢復------Hbase結合Hive使用------hbase的叢集管理------hbase的效能調優

5、CM+CDH叢集管理學習

CM + CDH叢集的安裝------基於CM主機及各種服務元件的管理------CDH叢集的配置和引數調優------CDH叢集HA配置及叢集升級------CM的監控管理------叢集管理的注意事項

6、Hive學習

Hive支援的資料型別------Hive資料的管理------Hive的查詢------Hive的函式------Hive的檔案格式------專案實戰

7、Sqoop學習

Flume的體系結構------flume的agent配置資訊------flume如何動態監控資料夾中檔案變化------flume如何把資料匯入到hdfs中------講解如何通過flume動態監控日誌檔案變化,然後匯入到hdfs中

以上的知識點可以說是系統大資料學習中最重要的環節,我們可以把它們統籌歸結到一個章節內,當然除了以上的知識點還有很多的知識要學習。

比如:

機器學習的知識:R語言------mahout

storm流式計算:kafka------srorm------redis

spark記憶體計算:scala程式設計------spark core------spark sql------spark streaming------spark mllib------spark graphx------python機器學習------spark python程式設計

雲端計算平臺:docker------kvm------openstack雲端計算

對大資料的概念都是模糊不清的,大資料是什麼,能做什麼,學的時候,該按照什麼線路去學習,學完往哪方面發展,想深入瞭解

想學習的同學歡迎加入大資料學習qq群:458345782,有大量乾貨(零基礎以及進階的經典實戰)分享給大家

並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系 。