1. 程式人生 > >macos解決Hadoop之Unable to load native-hadoop library

macos解決Hadoop之Unable to load native-hadoop library

bigdata load flow 1.8 code http -c line 來看

  很顯然,native-hadoop library不支持macos,如果是Linux就不會有這個問題。在百度上搜了,要下載在macos上編譯的native hadoop library,我在網上下載了native,但是沒有用,還是報錯,所以那個package應該只適用linux,網上搜macos的native,但是沒有看,所以只有自己去編譯hadoop。

  要安裝maven,protobuf2.50,openssl等,其中參考了很多博客:https://www.jianshu.com/p/75f7d5d52bed,http://bigdatadecode.club/mac%E4%B8%8B%E7%BC%96%E8%AF%91Hadoop.html,https://www.jianshu.com/p/48856c4f3c3d

  在編譯的過程中,報錯Hadoop 2.7 Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7,後來看博客說jdk1.7可以,https://blog.csdn.net/promotelife/article/details/50898032,我的是jdk1.8,然後我下載了hadoop-2.8.5,然後就可以,https://blog.csdn.net/tterminator/article/details/51779689。其中還有一個debug技巧。

  這個過程真的很曲折,要多思考,發現問題所在,還有網上有很多資源可以用,真的很好。

macos解決Hadoop之Unable to load native-hadoop library