Mac通過docker一鍵部署airflow

阿新 • • 發佈：2021-02-04

Airflow部署及使用

Airflow部署及使用

由於工作中需要使用airflow進行開發，網上搜索“mac系統在docker中搭建airflow”的文章真的很少，而且寫的又不夠詳細。遂自己摸索搭建成功後便分享給大家使用，即有按部就班“一步一步”的操作，也有“一鍵初始化”指令碼，大家根據自己的實際情況進行操作。

1、Dockerhub檢視映象地址

# 如果你比較懶可以使用最後的“airflow一鍵初始化指令碼”，mac電腦通用
https://hub.docker.com/r/puckel/docker-airflow/tags?page=1&ordering=last_updated

2、拉取docker映象

# 執行映象下載命令 
docker pull puckel/docker-airflow:latest

3、在宿主機建立外掛資料夾

# 獲取當前系統的使用者名稱，例如：jason 
echo $USER 

# 執行上述命名將得到的使用者名稱替換在 $USER 的位置 
sudo mkdir -p -v /data/docker/volumes/airflow/{dags,logs} && sudo chown -R $USER /data/docker/volumes/airflow/{dags,logs}

4、建立docker容器

# 建立容器
docker run -p 8080:8080  -v /data/docker/volumes/airflow/dags:/usr/local/airflow/dags -v /data/docker/volumes/airflow/logs:/usr/local/airflow/logs --name airflow -d puckel/docker-airflow:latest

命令說明：
-d puckel/docker-airflow:latest #互動執行容器，讓容器以守護態（daemonized）形式在後臺執行 

--name airflow #給新建立的容器命名即容器別名，如：airflow
-p 8080:8080  #埠對映，此處對映主機8080埠到容器airflow的8080埠
-v /data/docker/volumes/airflow/airflow.cfg:/usr/local/airflow/airflow.cfg   #掛載主配置檔案
-v /data/docker/volumes/airflow/dags:/usr/local/airflow/dags  #掛載資源路徑
-v /data/docker/volumes/airflow/logs:/usr/local/airflow/logs  #掛載日誌檔案

5、重新建立docker容器

此步驟主要是將容器中的airflow.cfg拷貝出來，方便airflow.cfg後續修改;

5.1、檢視airflow容器是否正常啟動

# 檢視容器是否正常，如 running 即啟動成功
docker inspect airflow | jq -r '.[].State.Status'

5.2、啟動成功才能將容器中的airflow.cfg拷貝出來修改

#1、檢視容器ID，例如：$container_id 
docker ps -a | grep 'airflow' |awk '{print $1}' 

#2、使用docker拷貝(命令參考，可忽略)：docker cp source_path target_path 
docker cp $container_id:/usr/local/airflow/airflow.cfg /data/docker/volumes/airflow 

#3、拷貝airflow.cfg到指定目錄，命令整合（推薦用，一鍵搞定省心） 
sudo docker cp $(docker ps -a | grep 'airflow' |awk '{print $1}'):/usr/local/airflow/airflow.cfg /data/docker/volumes/airflow

5.3、刪除容器重新建立，非刪除映象

此步驟主要是將/usr/local/airflow/airflow.cfg外掛到宿主機中

#1、刪除容器示例：docker stop $image_alias && docker rm $image_alias 
docker stop airflow && docker rm airflow 

#2、重新建立docker容器 
docker run -p 8080:8080 -v=/data/docker/volumes/airflow/airflow.cfg:/usr/local/airflow/airflow.cfg -v=/data/docker/volumes/airflow/dags:/usr/local/airflow/dags -v=/data/docker/volumes/airflow/logs:/usr/local/airflow/logs --name airflow -d puckel/docker-airflow:latest 

#3、檢視容器airflow掛載到宿主機的地址 
docker inspect airflow | jq -r '.[].HostConfig.Binds' 

#4、檢視容器是否正常 
docker ps

6、進入docker容器

docker exec -it airflow /bin/bash

-d：分離模式，在後臺執行 
-i：互動模式，即使沒有附加也保持 STDIN 開啟 
-t：分配一個偽終端 
/bin/bash：執行命令 bash shell

7、sqlite資料庫初始化

（生產不建議使用，但可用於個人測試。生產推薦使用mysql，如果使用mysql可以跳過sqlite部分）

#1、使用預設的sqlite+SequentialExecutor啟動 
airflow initdb 

#2、出現錯誤： 
airflow.exceptions.AirflowException: Could not create Fernet object: Incorrect padding 

#3、解決辦法：
python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())" 

#4、將第3步執行的結果替換到export中 
export AIRFLOW__CORE__FERNET_KEY=第3步執行的結果

#5、重新執行初始化資料庫命令 
airflow initdb 

#6、啟動成功後，即可正常訪問 
http://localhost:8080/admin/

8、修改airflow的airflow.cfg配置

提供手動修改和命令列修改的功能

#1、檢視docker中mysql的IP地址，替換在如下的IP地址中
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql

#2、手動修改（使用命令列修改可跳過此步）
executor = LocalExecutor 
# 示例:sql_alchemy_conn="mysql://${USER}:${PASSWORD}@${HOST}:${PORT}/${DB_INSTANCE}${DB_EXTRAS}" 
sql_alchemy_conn = mysql://airflow:[email protected]:3306/airflow 

#3、命令列修改（使用手動修改可跳過此步）
sudo sed -i \"\" 's/executor = SequentialExecutor/executor = LocalExecutor/g' /data/docker/volumes/airflow/airflow.cfg 
sudo sed -i \"\" 's/\# sql_alchemy_conn = sqlite:\/\/\/\/tmp\/airflow.db/sql_alchemy_conn = mysql:\/\/airflow:airflow\@172.17.0.2:3306\/airflow/g' /data/docker/volumes/airflow/airflow.cfg 

#4、檢視修改是否成功
cat /data/docker/volumes/airflow/airflow.cfg | grep 'executor ='
cat /data/docker/volumes/airflow/airflow.cfg | grep 'sql_alchemy_conn'

9、mysql資料庫初始化

部署方式：docker+airflow+mysql+LocalExecutor

9.1、檢視docker中mysql的IP地址

如果你的mysql也是安裝在docerk中的話，則最好操作如下命令：

# 檢視docker中mysql的IP地址，主要用於mysql建立新使用者授權時使用，
# 命令中的 mysql 是docker中安裝資料庫時的別名，請根據實際情況自行修改
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql

9.2、登入mysql並建立專屬的airflow資料庫

#新建名字為<airflow>的資料庫
CREATE DATABASE airflow; 

#1、新建使用者`airflow`，密碼為`airflow`, 該使用者對資料庫`airflow`有完全操作許可權 
#2、將9.1步驟執行命令列的結果替換在 $IPAddress 的位置，也可以將IP最後一位換成%，例如：172.17.0.% 
GRANT all privileges on airflow.* TO 'airflow'@'$IPAddress' IDENTIFIED BY 'airflow'; 
FLUSH PRIVILEGES; 

# 檢視授權（常用操作指令可不執行） 
select host,user from mysql.`user` where user='airflow'; 

# 刪除授權（常用操作指令可不執行） 
DROP USER 'airflow'@'$IPAddress';

9.3、修改mysql的my.cnf配置

# 由於airflow初始化資料庫時需要用到如下引數，請自行新增 
[mysqld]
explicit_defaults_for_timestamp = 1

9.4、初始化mysql資料庫

# 1、進入docker容器
docker exec -it airflow /bin/bash 

# 2、先執行資料庫重置命令，再執行資料庫初始化命令 
airflow reset 
airflow initdb 

# 3、出現錯誤： 
airflow.exceptions.AirflowException: Could not create Fernet object: Incorrect padding 

# 4、解決辦法： 
python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())" 

# 5、將第3步執行的結果替換到export中 
export AIRFLOW__CORE__FERNET_KEY=第3步執行的結果

# 6、檢視環境變數是否設定成功 
echo $AIRFLOW__CORE__FERNET_KEY 

# 7、重新執行初始化資料庫命令 
airflow initdb 

# 8、啟動成功後，即可正常訪問 
http://localhost:8080/admin/