1. 程式人生 > >hadoop埠使用配置總結(非常好的總結)

hadoop埠使用配置總結(非常好的總結)

轉自http://www.aboutyun.com/thread-7513-1-1.html

 

Hadoop叢集的各部分一般都會使用到多個埠,有些是daemon之間進行互動之用,有些是用於RPC訪問以及HTTP訪問。而隨著Hadoop周邊元件的增多,完全記不住哪個埠對應哪個應用,特收集記錄如此,以便查詢。

這裡包含我們使用到的元件:HDFS, YARN, HBase, Hive, ZooKeeper:

元件 節點 預設埠 配置 用途說明
HDFS DataNode 50010 dfs.datanode.address datanode服務埠,用於資料傳輸
HDFS DataNode 50075 dfs.datanode.http.address http服務的埠
HDFS DataNode 50475 dfs.datanode.https.address https服務的埠
HDFS DataNode 50020 dfs.datanode.ipc.address ipc服務的埠
HDFS NameNode 50070 dfs.namenode.http-address http服務的埠
HDFS NameNode 50470 dfs.namenode.https-address https服務的埠
HDFS NameNode 8020 fs.defaultFS 接收Client連線的RPC埠,用於獲取檔案系統metadata資訊。
HDFS journalnode 8485 dfs.journalnode.rpc-address RPC服務
HDFS journalnode 8480 dfs.journalnode.http-address HTTP服務
HDFS ZKFC 8019 dfs.ha.zkfc.port ZooKeeper FailoverController,用於NN HA
YARN ResourceManager 8032 yarn.resourcemanager.address RM的applications manager(ASM)埠
YARN ResourceManager 8030 yarn.resourcemanager.scheduler.address scheduler元件的IPC埠
YARN ResourceManager 8031 yarn.resourcemanager.resource-tracker.address IPC
YARN ResourceManager 8033 yarn.resourcemanager.admin.address IPC
YARN ResourceManager 8088 yarn.resourcemanager.webapp.address http服務埠
YARN NodeManager 8040 yarn.nodemanager.localizer.address localizer IPC
YARN NodeManager 8042 yarn.nodemanager.webapp.address http服務埠
YARN NodeManager 8041 yarn.nodemanager.address NM中container manager的埠
YARN JobHistory Server 10020 mapreduce.jobhistory.address IPC
YARN JobHistory Server 19888 mapreduce.jobhistory.webapp.address http服務埠
HBase Master 60000 hbase.master.port IPC
HBase Master 60010 hbase.master.info.port http服務埠
HBase RegionServer 60020 hbase.regionserver.port IPC
HBase RegionServer 60030 hbase.regionserver.info.port http服務埠
HBase HQuorumPeer 2181 hbase.zookeeper.property.clientPort HBase-managed ZK mode,使用獨立的ZooKeeper叢集則不會啟用該埠。
HBase HQuorumPeer 2888 hbase.zookeeper.peerport HBase-managed ZK mode,使用獨立的ZooKeeper叢集則不會啟用該埠。
HBase HQuorumPeer 3888 hbase.zookeeper.leaderport HBase-managed ZK mode,使用獨立的ZooKeeper叢集則不會啟用該埠。
Hive Metastore 9083 /etc/default/hive-metastore中export PORT=<port>來更新預設埠  
Hive HiveServer 10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>來更新預設埠  
ZooKeeper Server 2181 /etc/zookeeper/conf/zoo.cfg中clientPort=<port> 對客戶端提供服務的埠
ZooKeeper Server 2888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分 follower用來連線到leader,只在leader上監聽該埠。
ZooKeeper Server 3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分 用於leader選舉的。只在electionAlg是1,2或3(預設)時需要。