大資料Hadoop2.x與Hadoop3.x相比較有哪些變化
在這篇文章中,我們將討論Hadoop 2.x與Hadoop 3.x之間的比較。 Hadoop3版本中添加了哪些新功能,Hadoop3中相容的Hadoop 2程式,Hadoop 2和Hadoop 3有什麼區別? 我們希望Hadoop 2和Hadoop 3之間的這個功能的區別將幫助回答上述問題。
Hadoop 2.x與Hadoop 3.x之間的功能比較
本節將講述Hadoop 2.x與Hadoop 3.x之間的22個差異。 現在讓我們逐一討論
1.License
adoop 2.x - Apache 2.0,開源
Hadoop 3.x - Apache 2.0,開源
2.支援的最低Java版本
Hadoop 2.x - java的最低支援版本是java 7
Hadoop 3.x - java的最低支援版本是java 8
3.容錯
Hadoop 2.x - 可以通過複製(浪費空間)來處理容錯。
Hadoop 3.x - 可以通過Erasure編碼處理容錯。
4.資料平衡
Hadoop 2.x - 對於資料,平衡使用HDFS平衡器。
Hadoop 3.x - 對於資料,平衡使用Intra-data節點平衡器,該平衡器通過HDFS磁碟平衡器CLI呼叫。
5.儲存Scheme
Hadoop 2.x - 使用3X副本Scheme
Hadoop 3.x - 支援HDFS中的擦除編碼。
6.儲存開銷
Hadoop 2.x - HDFS在儲存空間中有200%的開銷。
Hadoop 3.x - 儲存開銷僅為50%。
7.儲存開銷示例
Hadoop 2.x - 如果有6個塊,那麼由於副本方案(Scheme),將有18個塊佔用空間。
Hadoop 3.x - 如果有6個塊,那麼將有9個塊空間,6塊block,3塊用於奇偶校驗。
8.YARN時間線服務
Hadoop 2.x - 使用具有可伸縮性問題的舊時間軸服務。
Hadoop 3.x - 改進時間線服務v2並提高時間線服務的可擴充套件性和可靠性。
9.預設埠範圍
Hadoop 2.x - 在Hadoop 2.0中,一些預設埠是Linux臨時埠範圍。所以在啟動時,他們將無法繫結。
Hadoop 3.x - 但是在Hadoop 3.0中,這些埠已經移出了短暫的範圍。
10.工具
Hadoop 2.x - 使用Hive,pig,Tez,Hama,Giraph和其他Hadoop工具。
Hadoop 3.x - 可以使用Hive,pig,Tez,Hama,Giraph和其他Hadoop工具。
11.相容的檔案系統
Hadoop 2.x - HDFS(預設FS),FTP檔案系統:它將所有資料儲存在可遠端訪問的FTP伺服器上。 Amazon S3(簡單儲存服務)檔案系統Windows Azure儲存Blob(WASB)檔案系統。
Hadoop 3.x - 它支援所有前面以及Microsoft Azure Data Lake檔案系統。
12.Datanode資源
Hadoop 2.x - Datanode資源不專用於MapReduce,我們可以將它用於其他應用程式。
Hadoop 3.x - 此處資料節點資源也可用於其他應用程式。
13.MR API相容性
Hadoop 2.x - 與Hadoop 1.x程式相容的MR API,可在Hadoop 2.X上執行
Hadoop 3.x - 此處,MR API與執行Hadoop 1.x程式相容,以便在Hadoop 3.X上執行
14.支援Microsoft Windows
Hadoop 2.x - 它可以部署在Windows上。
Hadoop 3.x - 它也支援Microsoft Windows。
15.插槽/容器
Hadoop 2.x - Hadoop 1適用於插槽的概念,但Hadoop 2.X適用於容器的概念。通過容器,我們可以執行通用任務。
Hadoop 3.x - 它也適用於容器的概念。
16.單點故障
Hadoop 2.x - 具有SPOF的功能,因此只要Namenode失敗,它就會自動恢復。
Hadoop 3.x - 具有SPOF的功能,因此只要Namenode失敗,它就會自動恢復,無需人工干預就可以克服它。
17.HDFS聯盟
Hadoop 2.x - 在Hadoop 1.0中,只有一個NameNode來管理所有Namespace,但在Hadoop 2.0中,多個NameNode用於多個Namespace。
Hadoop 3.x - Hadoop 3.x還有多個名稱空間用於多個名稱空間。
18.可擴充套件性
Hadoop 2.x - 我們可以擴充套件到每個群集10,000個節點。
Hadoop 3.x - 更好的可擴充套件性。 我們可以為每個群集擴充套件超過10,000個節點。
19.更快地訪問資料
Hadoop 2.x - 由於資料節點快取,我們可以快速訪問資料。
Hadoop 3.x - 這裡也通過Datanode快取我們可以快速訪問資料。
20.HDFS快照
Hadoop 2.x - Hadoop 2增加了對快照的支援。 它為使用者錯誤提供災難恢復和保護。
Hadoop 3.x - Hadoop 2也支援快照功能。
21.平臺
Hadoop 2.x - 可以作為各種資料分析的平臺,可以執行事件處理,流媒體和實時操作。
Hadoop 3.x - 這裡也可以在YARN的頂部執行事件處理,流媒體和實時操作。
22.群集資源管理
Hadoop 2.x - 對於群集資源管理,它使用YARN。 它提高了可擴充套件性,高可用性,多租戶。
Hadoop 3.x - 對於叢集,資源管理使用具有所有功能的YARN。
瞭解更多可以掃描下方微信二維碼: