一道簡單的命令下去 … … 10秒過去了， … … 20秒過去了， … … 哇，報錯了。。。
相信這種場景在我們用 Mapreduce 處理資料的時候相當常見吧，不得不說，Mapreduce 的處理速度有時候真的讓我們不敢恭維，那麼我們今天就來學習一下號稱比它快了 N 倍的Spark。

先來看一下Spark的整體任務流程圖
第一步：呼叫RDD上的方法構建DAG
第二步：DAGSchedule將Stage切分，並將生成的Task以TakeSet的形式傳給TaskScheduler
第三步：TaskSchedule排程Task（根據資源情況排程到相應的Executor中）
第四步：Executor接收Task，並將Task丟入到執行緒池中執行

以上便是Spark任務的整體流程了，如果發現有什麼錯誤或者什麼不同的見解，歡迎在評論區給我留言！