1. 程式人生 > >spark-2.0.0提交jar任務的幾種方式

spark-2.0.0提交jar任務的幾種方式

對應引數改為適合自己的模式即可

//(叢集模式)限制資源,後臺執行

spark-submit --class test.Streamings --master spark://10.102.34.248:7077 --deploy-mode cluster --executor-memory 500M --total-executor-cores 5 sparkdemo-0.0.1-SNAPSHOT.jar


//(叢集模式)控制檯輸出(不限制資源),ctrl+c結束,可用於除錯
spark-submit --class test.Streamings --master spark://10.102.34.248:7077 sparkdemo-0.0.1-SNAPSHOT.jar


//(叢集模式)控制檯無輸出(不限制資源),後臺執行
spark-submit --class test.Streamings --master spark://10.102.34.248:7077 --deploy-mode cluster sparkdemo-0.0.1-SNAPSHOT.jar


//(單點模式)控制檯輸出日誌,ctrl+c結束,可用於除錯
spark-submit --class test.Streamings sparkdemo-0.0.1-SNAPSHOT.jar