1. 程式人生 > >【Harbor學習筆記】-教你快速搭建Docker私有倉庫

【Harbor學習筆記】-教你快速搭建Docker私有倉庫

[TOC] Docker容器應用的開發和執行離不開可靠的映象管理,雖然Docker官方也提供了公共的映象倉庫,但是從安全和效率等方面考慮,部署我們私有環境內的Registry也是非常必要的。[Harbor](https://goharbor.io/) 是由VMware公司開源的企業級的Docker Registry管理專案,它包括許可權管理(RBAC)、LDAP、日誌稽核、管理介面、自我註冊、映象複製和中文支援等功能。 Harbor 的所有元件都在 Dcoker 中部署,所以 Harbor 可使用 Docker Compose 快速部署。 注: 由於 Harbor 是基於 Docker Registry V2 版本,所以 docker 版本必須 > = 1.10.0 docker-compose >= 1.6.0 Harbor的目標是幫助使用者迅速搭建一個企業級的Docker registry服務。它`以Docker公司開源的registry為基礎`,額外提供瞭如下功能: - 基於角色的訪問控制(Role Based Access Control) - 基於策略的映象複製(Policy based image replication) - 映象的漏洞掃描(Vulnerability Scanning) - AD/LDAP整合(LDAP/AD support) - 映象的刪除和空間清理(Image deletion & garbage collection) - 友好的管理UI(Graphical user portal) - 審計日誌(Audit logging) - RESTful API - 部署簡單(Easy deployment) ## 架構圖 - https://github.com/goharbor/harbor Harbor的每個元件都是以Docker容器的形式構建的,可以使用Docker Compose來進行部署。如果環境中使用了kubernetes,Harbor也提供了kubernetes的配置檔案。 Harbor大概需要以下幾個容器組成:ui(Harbor的核心服務)、log(執行著rsyslog的容器,進行日誌收集)、mysql(由官方mysql映象構成的資料庫容器)、Nginx(使用Nginx做反向代理)、registry(官方的Docker registry)、adminserver(Harbor的配置資料管理器)、jobservice(Harbor的任務管理服務)、redis(用於儲存session)。 Harbor是一個用於儲存和分發Docker映象的企業級Registry伺服器,整體架構還是很清晰的。下面借用了網上的架構圖: ![](https://gitee.com/owen2016/pic-hub/raw/master/pics/20201215235908.png) ### Harbor依賴的外部元件 - -> Nginx(即Proxy代理層): Nginx前端代理,主要用於分發前端頁面ui訪問和映象上傳和下載流量; Harbor的registry,UI,token等服務,通過一個前置的反向代理統一接收瀏覽器、Docker客戶端的請求,並將請求轉發給後端不同的服務。 - -> Registry v2: 映象倉庫,負責儲存映象檔案; Docker官方映象倉庫, 負責儲存Docker映象,並處理docker push/pull命令。由於我們要對使用者進行訪問控制,即不同使用者對Docker image有不同的讀寫許可權,Registry會指向一個token服務,強制使用者的每次docker pull/push請求都要攜帶一個合法的token, Registry會通過公鑰對token進行解密驗證。 - -> Database(MySQL或Postgresql):為core services提供資料庫服務,負責儲存使用者許可權、審計日誌、Docker image分組資訊等資料。 ### Harbor自有元件 - -> Core services(Admin Server): 這是Harbor的核心功能,主要提供以下服務: - -> UI:提供圖形化介面,幫助使用者管理registry上的映象(image), 並對使用者進行授權。 - -> webhook:為了及時獲取registry 上image狀態變化的情況, 在Registry上配置webhook,把狀態變化傳遞給UI模組。 - -> Auth服務:負責根據使用者許可權給每個docker push/pull命令簽發token. Docker 客戶端向Regiøstry服務發起的請求,如果不包含token,會被重定向到這裡,獲得token後再重新向Registry進行請求。 - -> API: 提供Harbor RESTful API - -> Replication Job Service:提供多個 Harbor 例項之間的映象同步功能。 - -> Log collector:為了幫助監控Harbor執行,負責收集其他元件的log,供日後進行分析。 ## 核心元件 - Proxy:一個nginx的前端代理,代理Harbor的registry,UI, token等服務。-通過深藍色先標識 - db:負責儲存使用者許可權、審計日誌、Dockerimage分組資訊等資料。 - UI:提供圖形化介面,幫助使用者管理registry上的映象, 並對使用者進行授權。 - jobsevice:jobsevice是負責映象複製工作的,他和registry通訊,從一個registry pull映象然後push到另一個registry,並記錄job_log。通過紫色線標識 - Adminserver:是系統的配置管理中心附帶檢查儲存用量,ui和jobserver啟動時候回需要載入adminserver的配置。通過灰色線標識; - Registry:映象倉庫,負責儲存映象檔案。當映象上傳完畢後通過hook通知ui建立repository,上圖通過紅色線標識,當然registry的token認證也是通過ui元件完成。通過紅色線標識 - Log:為了幫助監控Harbor執行,負責收集其他元件的log,供日後進行分析。過docker的log-driver把日誌彙總到一起,通過淺藍色線條標識 ![](https://gitee.com/owen2016/pic-hub/raw/master/pics/20201215235702.png) ## 安裝 ### 1. 下載離線安裝包 - Harbor以容器的形式進行部署, 因此可以被部署到任何支援Docker的Linux發行版, 要使用Harbor,需要安裝docker和docker-compose編排工具 - 訪問[harbor release page](https://github.com/goharbor/harbor/releases),下載Harbor軟體tgz壓縮包 - 或執行如下命令 `wget https://storage.googleapis.com/harbor-releases/release-2.0.0/harbor-offline-installer-latest.tgz` - 解壓tgz壓縮包 `tar xvf harbor-offline-installer-.tgz` ### 2. 配置 harbor.cfg (harbor.yml) 注: 新版本是.yaml檔案,之前版本是.conf 或者 .cfg檔案 - 解壓後文件在當前目錄下的`harbor/`目錄下 ``` shell cd harbor/ vim harbor.cfg harbor_admin_password = Harbor12345 ``` ### 3. 啟動 Harbor - 配置完後,執行安裝指令碼 `./install.sh` ``` shell #會拉取好幾個映象下來,及檢查環境 Note: docker version: 1.12.5 Note: docker-compose version: 1.9.0 [Step 0]: checking installation environment ... .... [Step 1]: loading Harbor images ... .... [Step 2]: preparing environment ... .... [Step 3]: checking existing instance of Harbor ... .... [Step 4]: starting Harbor ... ✔ ----Harbor has been installed and started successfully.---- ... For more details, please visit https://github.com/vmware/harbor . ``` 安裝完成後,會發現解壓目錄harbor下面多了一個docker-compose.yml檔案,裡面包含了harbor依賴的映象和對應容器建立的資訊 - 執行 docker-compose ps (執行docker-compose需在包含docker-compose.yml的目錄) , 確保 container 的狀態都是up (healthy). - 如果安裝一切順利,通過之前在harbor.cfg配置的hostname即可以訪問到前端了. ## 安裝配置問題 Harbor安裝 之後,需要用`docker-compose ps` 命令去檢視狀態,保證所有docker 容器都是 healthy, 否則 很可能login harbor 失敗 ![](https://gitee.com/owen2016/pic-hub/raw/master/pics/20201215230145.png) 如果那個service 啟動不正常,就去檢視/var/log/harbor/ 下對應的log ``` shell owen@swarm-node-107:/disk/harbor_v2.0.0$ ls /var/log/harbor/ -lht 總用量 22M -rw-r--r-- 1 10000 10000 3.5M 12月 15 23:03 registryctl.log -rw-r--r-- 1 10000 10000 5.4M 12月 15 23:02 core.log -rw-r--r-- 1 10000 10000 4.4M 12月 15 23:02 portal.log -rw-r--r-- 1 10000 10000 4.9M 12月 15 23:02 registry.log -rw-r--r-- 1 10000 10000 1.2M 12月 15 23:02 proxy.log -rw-r--r-- 1 10000 10000 392K 12月 15 23:00 redis.log -rw-r--r-- 1 10000 10000 1.6M 12月 15 23:00 jobservice.log -rw-r--r-- 1 10000 10000 53K 12月 14 21:42 postgresql.log -rw-r--r-- 1 10000 10000 65K 7月 7 23:35 clair.log -rw-r--r-- 1 10000 10000 1.2K 7月 5 11:43 clair-adapter.log -rw-r--r-- 1 10000 10000 1.4K 7月 5 11:38 chartmuseum.log ``` 修改harbor的執行配置,需要如下步驟: ``` shell # 停止 harbor docker-compose down -v # 修改配置 vim harbor.cfg # 執行./prepare已更新配置到docker-compose.yml檔案 ./prepare # 啟動 harbor docker-compose up -d ``` ### 問題-1 服務啟動異常 ubuntu@172-20-16-51:/opt/harbor$ docker login 192.20.16.51 Username: admin Password: Error response from daemon: login attempt to
failed with status: 502 Bad Gateway Harbor-db service 不能正常啟動,最後檢視postgresql.log 發現下面 message. ```text | initdb: directory "/var/lib/postgresql/data" exists but is not empty | If you want to create a new database system, either remove or empty | the directory "/var/lib/postgresql/data" or run initdb | with an argument other than "/var/lib/postgresql/data". ``` 因為當時/data/datebase 目錄下,確實不是empty, 手動改了docker-compose.yml ,然後 `docker-compose up -d` 重新啟動容器,服務正常 ```yaml postgresql: image: goharbor/harbor-db:v2.0.0 container_name: harbor-db restart: always cap_drop: - ALL cap_add: - CHOWN - DAC_OVERRIDE - SETGID - SETUID volumes: - /data/database:/var/lib/postgresql/data:z ``` ### 問題-2- dial tcp xxx.xxx.xxx.xxx:443: connect: connection refused ```shell # docker login 192.20.16.51:80 Username: admin Password: Error response from daemon: Get https://192.20.16.51:80/v2/: http: server gave HTTP response to HTTPS client 或者 Error response from daemon: Get https://192.168.31.107/v2/: dial tcp 192.168.31.107:443: connect: connection refused ``` docker1.3.2版本開始預設docker registry使用的是https,·Harbor預設安裝使用的是HTTP協議·,所以當執行用docker login、pull、push等命令操作`非https的docker regsitry`的時就會報錯。 臨時解決辦法:需要在每一臺harbor客戶端機器都要設定"insecure-registries" (**徹底解決需要啟動Harbor HTTPS證書**) - 如果系統是MacOS,則可以點選“Preference”裡面的“Advanced”在“Insecure Registry”里加上hostname (e.g. docker.bksx.com),重啟Docker客戶端就可以了。 - 如果系統是`Ubuntu`,則修改配置檔案`/lib/systemd/system/docker.service`,修改[Service]下ExecStart引數,增加`–insecure-registry hostname` (e.g. docker.bksx.com) - 如果系統是`Centos`,可以修改配置`/etc/sysconfig/docker`,將OPTIONS增加 `–insecure-registry hostname` (e.g. docker.bksx.com) 如果是新版本的docker在/etc/sysconfig/ 沒有docker這個配置檔案的情況下。 ```shell #在daemon.json中新增以下引數 [root@localhost harbor]# cat /etc/docker/daemon.json { "insecure-registries": [ "hostname" ] } ``` 注意:該檔案必須符合 json 規範,否則 Docker 將不能啟動。另外hostname 必須與harbor.cfg 裡的hostname 一致。 新增完了後重新啟動 docker:`systemctl daemon-reload && systemctl enable docker && systemctl restart docker` 登入後,賬號資訊都儲存到本機的`~/.docker/config.json` ``` shell owen@swarm-manager-105:~/gitee/vnote_notebooks$ docker login 192.168.31.107 Username: admin Password: WARNING! Your password will be stored unencrypted in /home/owen/.docker/config.json. Configure a credential helper to remove this warning. See https://docs.docker.com/engine/reference/commandline/login/#credentials-store Login Succeeded owen@swarm-manager-105:~/gitee/vnote_notebooks$ cat ~/.docker/config.json { "auths": { "192.168.31.107": { "auth": "YWRtaW46SGFyYm9yMTIzNDU=" } }, "HttpHeaders": { "User-Agent": "Docker-Client/19.03.14 (linux)" } ``` ### 問題-3 防止容器程序沒有許可權讀取生成的配置 ![](https://gitee.com/owen2016/pic-hub/raw/master/pics/20201215232