1. 程式人生 > >IDEA 打jar,提交spark叢集執行

IDEA 打jar,提交spark叢集執行

1、idea開啟file,選擇projectstructure,點選Artifacts,如下圖 選擇add JAREmpty

然後點選OK

2、選擇bulid Artifacts

點選bulid 就會打成jar

3、通過winSCP把jar上傳到伺服器/var/lib/hadoop-hdfs/application/bash/jar/testjjp.jar

4、編寫spark submit指令碼

#!/bin/bash

spark-submit  \

--class com.jjp.test_Bayes \

--master yarn-client \

--jars/var/lib/hadoop-hdfs/application/bash/jar/ojdbc7.jar \

/var/lib/hadoop-hdfs/application/bash/jar/testjjp.jar\

5、直接執行指令碼就是把testjjp類提交到spark叢集上運行了。