Spark SQL 入門

建立DataFrame

執行以下語句時

val df = spark.read.json("../examples/src/main/resources/people.json")

報錯：org.apache.spark.sql.AnalysisException: Path does not exist: hdfs://localhost:9000/user/examples/src/main/resources/people.json

如下圖所示：

問題原因：spark-shell 與 Hadoop叢集管理器YARN整合，訪問的是HDFS中的檔案，需要把檔案上傳到HDFS中。

解決辦法：

將/usr/spark/spark-3.0.0/examples/src/main/resources/people.json檔案，複製到/usr/hadoop/hadoop-3.2.1/examples/src/main/resources資料夾下面。

// 建立資料夾
$ hadoop fs -mkdir /user/examples
$ hadoop fs -mkdir /user/examples/src
$ hadoop fs -mkdir /user/examples/src/main
$ hadoop fs -mkdir /user/examples/src/main/resources
// 上傳檔案
$ hadoop fs -moveFromLocal ../examples/src/main/resources/people.json /user/examples/src/main/resources/people.json