1. 程式人生 > >idea打spark jar包並提交到spark叢集執行

idea打spark jar包並提交到spark叢集執行

打包

打包檔案:
File-->>ProjectStructure -->點選Artificats-->>點選綠色加號 --> 點選JAR-->>選擇 From module with dependices 

 


點選Output Layout  看看是否沒有第三方jar包,因為你使用spark叢集環境,所以你不需要第三方jar包


 


重新build:
Build-->>Build Artifcat ..--->>build 或者rebuild


 


 


 

提交執行

./bin/spark-submit  --class "sparkStreaming.workCount" --master local[4]  /usr/local/spark_jar/wordCount.jar

--class 後邊是你打包時候的主函式

最後是你放jar包的位置,這個位置可以是任意位置