1. 程式人生 > >執行sparksubmit出現java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

執行sparksubmit出現java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

當我執行sparksubmit提交任務的時候報了這個scala/collection/GenTraversableOnce$class的錯誤.

後來進行網上檢視說是依賴包中存在與scala版本不匹配的依賴包

然後我去maven當中檢視,確實是有一個依賴的版本不一樣

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.10</artifactId>
    <version>1.1.0-transwarp</version>
</dependency>
我使用的scala的版本是2.11所以這裡改成之後就不報錯了
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.11</artifactId>
    <version>1.6.3</version>
</dependency>