問題描述：

在使用spark過程中，有時會因為資料增大，而出現下面兩種錯誤:

java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError：GC overhead limit exceeded

這兩種錯誤之前我一直認為是executor的記憶體給的不夠，但是仔細分析發現其實並不是executor記憶體給的不足，而是driver的記憶體給的不足。在standalone client模式下用spark-submit提交任務時（standalone模式部署時，預設使用的就是standalone client模式提交任務），我們自己寫的程式（main）被稱為driver，在不指定給driver分配記憶體時，預設分配的是512M。在這種情況下，如果處理的資料或者載入的資料很大（我是從hive中載入資料），driver就可能會爆記憶體，出現上面的OOM錯誤。

解決方法：

方法一：在spark-submit中指定 --driver-memory memSize引數來設定driver的jvm記憶體大小，可以通過spark-submit --help檢視其他可以設定的引數。

eg:

./spark-submit \
  --master spark://7070 \
  --class $MAIN_CLASS \
  --executor-memory 3G \
  --total-executor-cores 10 \
  --driver-memory 2g \
  --name $APP_NAME \
  --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps
 
" \
  "$SPARK_APP_JAR" 

方法二：在spark_home/conf/目錄中，將spark-defaults.conf.template模板檔案拷貝一份到/spark_home/conf目錄下，命名為spark-defaults.conf，然後在裡面設定spark.driver.memory  memSize屬性來改變driver記憶體大小。

eg:

 spark.master                       spark://master:7077
 spark.default.parallelism          10
 spark.driver.memory                2g
 

 spark.serializer                   org.apache.spark.serializer.KryoSerializer
 spark.sql.shuffle.partitions       50