mac上spark環境配置(離線安裝)
mac上spark環境配置(離線安裝)
配置環境資訊：
- MacOS BIG SUR 11.2.1 (20D74)
- java-1.8 .0_291
- scala-2.12.8
- spark-2.4.8
- flink-1.12.4
注：採取其他版本不保證能安裝成功，可能會出現JDK版本低等問題。
參考連結：
1、https://zhuanlan.zhihu.com/p/125549332
2、https://www.jianshu.com/p/d7c94372020c
一、安裝java 1.8
首先從官網(https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
安裝完成後，輸入java -version，出現如下提示代表安裝成功。
注：此版本的java不支援scala2.11，安裝scala2.11會報錯，報錯資訊如下：
Error occurred during initialization of VM
java/lang/NoClassDefFoundError: java/lang/Object
二、安裝scala 2.12.8
1、brew安裝方式的不足
mac上安裝scala可以使用brew進行安裝，命令如下:
# 搜尋scala版本 brew search scala # 安裝 brew install [email protected]
注：使用brew安裝scala，會存在一些問題，本人遇到的問題是：brew安裝的scala版本是jdk16版本的，不是jdk8版本的，安裝的版本過高，後面安裝完spark後，會報錯。報錯資訊如下：
A fatal error has been detected by the Java Runtime Environment SIGSEGV (0xb) at pc=0x0071902b, pid=7052, tid=3078032240 RE version: 8.0_21-b06 [java] # Java VM: Java HotSpot(TM) Client VM (1760-b16 mixed mode, sharing linux-x86 )
2、離線安裝方式
首先從官網(https://www.scala-lang.org/download/scala2.html)下載scala 2.12.8。
進去後是最新版本的scala，需要點選下圖中的previous releases。
然後選擇Scala 2.12.8
進去後，拉到最下面，選擇圖中標註的版本進行下載。
首先，解壓檔案，移動到指定目錄並重命名。
d ~/Download/
tar -zxvf scala-2.12.8.tgz
mv scala-2.12.8 /usr/local/scala
放置好了後，開始配置bash環境變數：
命令列輸入：vim ~/.bash_profile進行編輯，增加環境變數：
SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
#使環境變數生效，在命令列執行
source ~/.bash_profile
若安裝了zsh，則其環境變數配置方法如下：
命令列輸入：vim ~/.zshrc進行編輯，增加環境變數：
SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
#使環境變數生效，在命令列執行
source ~/.zshrc
驗證：安裝完成後輸入Scala命令，出現如下提示代表成功。
三、安裝Spark
進入Spark官網(https://spark.apache.org/downloads.html)下載spark2.4.8
解壓檔案，移動到指定的位置並重命名。
cd ~/Downloads/
# 解壓
tar -zvxf spark-3.0.0-preview2-bin-hadoop2.7.tgz
移動到指定的位置並重命名
mv ~/Downloads/spark-3.0.0-preview2-bin-hadoop2.7 /usr/local/spark
上述步驟操作完後，開始進行環境變數配置。
1.對於原生終端，環境變數配置方式如下：
# 開啟配置檔案
vim ~/.bash_profile
# 在配置檔案中新增下面三行程式碼
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_PYTHON=python3
# 更新配置檔案
source ~/.bash_profile
2.對於zsh終端，環境變數配置方式如下：
# 開啟配置檔案
vim ~/.zshrc
# 在配置檔案中新增下面三行程式碼
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_PYTHON=python3
# 更新配置檔案
source ~/.zshrc
驗證階段
首先驗證python3版本的spark，輸入pyspark，出現如下介面，代表安裝成功。
若是使用scala版本的spark，則可以輸入spark-shell進行驗證出現如下介面代表安裝成功。
4、安裝flink
進入網址(https://archive.apache.org/dist/flink/flink-1.12.4/)下載如圖所示的flink版本。
下載完成後進行解壓，移動到指定的位置並重命名。
cd ~/Downloads/
# 解壓
tar -zvxf flink-1.12.4-bin-scala_2.12.tgz
移動到指定的位置並重命名
mv ~/Downloads/flink-1.12.4 /usr/local/flink
進行環境變數的配置
# 開啟配置檔案
vim ~/.bash_profile
# 在配置檔案中新增下面三行程式碼
export FLINK=/usr/local/flink
export PATH=$PATH:$FLINK_HOME/bin
# 更新配置檔案
source ~/.bash_profile
輸入flink —version檢視版本號
輸入start-cluster.sh啟動程序，jps檢視程序。