1. 程式人生 > >hadoop2.2.0 偽分佈環境配置

hadoop2.2.0 偽分佈環境配置

3、安裝hadoop2.2

將下載的hadoop2.2.tar.gz解壓到一個目錄,然後進行配置(cd $HADOOP_HME/etc/hadoop):

(1)編輯hodoop-env.sh,修改以下對應行為:
  1. export JAVA_HOME=/usr/lib/jvm/java-6-sun  
注:請確定JAVA已正確安裝。如果沒有,你可以參照相關文件進行JAVA的安裝。 (2)編輯core-site.xml,新增以下配置: 配置name節點的ip和埠,如果是完全分散式安裝需要將localhost改成實際ip
  1. <property>  
  2.         <name>fs.default
    .name</name>  
  3.         <value>hdfs://localhost:9000</value>
  4.     </property>  

 (3)編輯hdfs-site.xml,新增以下配置:

配置name節點和data節點的資料存放位置,dfs.replication表示資料備份數

  1. <property>  
  2.    <name>dfs.replication</name>  
  3.    <value>1</value>  
  4.  </property>  
  5.  <property>  
  6.    <name>dfs.namenode.name.dir</name>  
  7.    <value>/root/hadoopDir/hadoop4namenode</value>  
  8.  </property>  
  9.  <property>  
  10.    <name>dfs.datanode.data.dir</name>  
  11.    <value>/root/hadoopDir/hadoop4datanode</value>  
  12.  </property>  

 (4)編輯yarn-site.xml,加入以下配置:

  1. <property>  
  2.         <name>yarn.nodemanager.aux-services</name>  
  3.         <value>mapreduce_shuffle</value>  
  4.     </property>  
  5.     <property>  
  6.         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
  7.         <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  8.     </property>  

 (5)編輯mapred-site.xml,新增以下配置:

  1. <property>  
  2.     <name>mapreduce.cluster.temp.dir</name>  
  3.     <value></value>  
  4.     <description>No description</description>  
  5.     <final>true</final>  
  6.   </property>  
  7.   <property>  
  8.     <name>mapreduce.cluster.local.dir</name>  
  9.     <value></value>  
  10.     <description>No description</description>  
  11.     <final>true</final>  
  12.   </property>