1. 程式人生 > >hadoop偽分佈配置

hadoop偽分佈配置

#歷史伺服器
sbin/mr-jobhistory-daemon.sh  start historyserver 
http://centos11.com:19888
    
            
Hadoop2.5
1.COMMON
2.HDFS
    儲存資料
    NameNode(儲存檔案系統元資料,名稱空間)
    DataNode(儲存資料)
    SecondaryNameNode(輔助NameNode工作,定時合併檔案)
3.YRAN
    Hadoop作業系統
    Data作業系統
    Container
    ResourceManager(整個叢集資源的管理和排程)
    NodeManager(管理每個節點的資源和排程)
4.MapReduce
    Map分
    Reduce合
    input->map->shuffle->reduce->output
    分散式並行的計算框架