這裡是接著之前的一篇 《hadoop在windows下的環境搭建 》來的~~~

二、啟動hadoop
1、修改hadoop配置檔案，在conf目錄下，修改mapred-site.xml、core-site.xml和hdfs-site.xml三個檔案。
mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property
 
>
</configuration>

core-site.xml:

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name
 
>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

在Windows環境下，還需要在hadoop-env.xml中新增

export JAVA_HOME=D:/hadoop/Java/jdk1
 
.6.0_45

2、設定免密碼登入
由於在使用啟動hadoop和停止hadoop指令碼過程中需要通過ssh傳送命令，因此每次傳送命令都需要輸入密碼進行驗證。
開啟cygwin，進入D:\hadoop\cygwin\zhangmanyi\hadoop-1.0.0\目錄下

ssh –keygen –t rsa

過程中需要輸入儲存id_rsa的檔案，其中需要輸入檔案的位置，如果只輸入檔名，那麼不會儲存到.ssh目錄下。後面需要輸入使用金鑰的密碼，設定為空。

進入~/.ssh目錄

cat id_rsa.pub >> authorized_keys

3、啟動hadoop
進入hadoop安裝目錄
首先格式化HDFS：

bin/hadoop namenode –format

啟動hadoop

bin/start-all.sh

bin/stop-all.sh

前面MapReduce沒有啟動成功是由於datanode沒有啟動起來。

啟動成功。但是這裡點選Browse the filesystem會出現問題：

由於網頁轉向的地址用的是hadoop叢集的某一個datanode的主機名，客戶端的瀏覽器無法解析這個主機名，因此該頁無法顯示。
因此需要在客戶端的hosts檔案里加入hadoop叢集的ip地址與對應的主機名，這樣就能解決問題了。（待解決）

三、hadoop eclipse外掛製作
問題1。

進入%Hadoop_HOME%\src\contrib\目錄下
編輯build-contrib.xml
加入

<property name="version" value="1.0.0"/>
<property name="eclipse.home" location="D:/hadoop/eclipse"/>

問題2。針對直接編譯程式碼後生成的jar包缺少依賴的lib檔案

需要對配置檔案進行修改，包含src/contrib/eclipse-plugin/目錄下的build.xml和META-INF/MANIFEST.MF。
build.xml:
在後面加入：

<copy file="${hadoop.root}/lib/commons-configuration-1.6.jar"  todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-lang-2.4.jar"  todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/jackson-core-asl-1.0.1.jar"  todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/jackson-mapper-asl-1.0.1.jar"  todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar"  todir="${build.dir}/lib" verbose="true"/>

MANIFEST.MF：

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

問題3。針對hadoop中檔案許可權的問題 Failed to set permissions of path: \tmp\hadoop-zhangmanyi\mapred\staging\zhangmanyi-1980807403.staging to 0700
需要修改src\core\org\apache\hadoop\fs\FileUitl.java
註釋掉三行程式碼：

private static void checkReturnValue(boolean rv, File p, 
                                       FsPermission permission
                                       ) throws IOException {
    if (!rv) {
    //  throw new IOException("Failed to set permissions of path: " + p + 
    //                        " to " + 
    //                        String.format("%04o", permission.toShort()));
    }
}

上面問題都是在實踐中遇到了的，但是問題2在改正並重新編譯後還是不正確，因此選擇重新來，將所有檔案修改好後再進行編譯。

1、 編譯生成eclipse外掛
先在hadoop安裝目錄下，執行命令

ant eclipse

然後在hadoop-1.0.0/src/contrib/eclipse-plugin/目錄下執行命令

ant -Dversion.home=D:\hadoop\eclipse -Dversion=1.0.0

執行成功後會在%Hadoop_HOME%\build\contrib\eclipse-plugin\目錄下生成hadoop-eclipse-plugin-1.0.0.jar檔案。

2、 安裝eclipse外掛
將生成的hadoop-eclipse-plugin-1.0.0.jar複製到eclipse目錄中的plugin資料夾中。
新建java project專案，hadoop-1.0.0，使用jdk為1.6的版本
並在Project——Properties——Java Build Path（右邊選擇Libraries）——Add External JARs
選擇匯入hadoop-eclipse-plugin-1.0.0.jar
工程建立完成

3、 測試安裝
在選單欄中依次單擊windows——show view——other…——MapReduce Tools——Map/Reduce Locations。

設定完成後可以顯示hdfs的目錄內容，說明eclipse外掛安裝成功。