1. 程式人生 > 實用技巧 >gitlab-ci部署實現持續整合(centos7)

gitlab-ci部署實現持續整合(centos7)

一、gitlab安裝

1. 環境準備

// selinux和 firewall 關閉

$ setenforce 0

$ sed -i "/^SELINUX/s/enforcing/disabled/" /etc/selinux/config

$ systemctl stop firewalld

$ systemctl disable firewalld

2. 離線安裝

$ wget --content-disposition https://packages.gitlab.com/gitlab/gitlab-ce/packages/el/7/gitlab-ce-12.10.0-ce.0.el7.x86_64.rpm/download.rpm //有的時候會下載報錯,建議使用瀏覽器下載完成後,再拷貝

$ EXTERNAL_URL="http://xxxxxxx" yum -y install gitlab-ce-12.10.0-ce.0.el7.x86_64.rpm

二、Runner安裝

1、centos安裝runner:

  1)下載:https://gitlab-runner-downloads.s3.amazonaws.com/latest/index.html

  2)不作為安裝:yum -y install gitlab-runner_amd64.rpm

  3)作為服務安裝:gitlab-runner install --user=gitlab-runner --working-directory=/home/gitlab-runner

  4)啟動服務:gitlab-runner start

2、docker安裝runner:

  1)安裝docker:

    $ curl -L --output /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

    $ yum -y install docker-ce

    $ mkdir /etc/docker

    $tee /etc/docker/daemon.json <<-'EOF'{"registry-mirrors": ["https://g9ppwtqr.mirror.aliyuncs.com"]}EOF

    $systemctl start docker && systemctl enable docker

  2)啟動docker:

    $docker run -d --name gitlab-runner --restart always -v /var/run/docker.sock:/var/run/docker.sock -v /data/etc/gitlab-runner:/etc/gitlab-runner gitlab/gitlab-runner:latest

    $docker logs gitlab-runner # 讀取docker日誌

三、Runner註冊

1、註冊一個全域性 Runner

  //使用主機方式註冊(也可以使用docker註冊,詳情見下)

    $ 註冊:gitlab-runner register
      Runtime platform arch=amd64 os=linux pid=23268 revision=c553af1a version=12.10.0
      Running in system-mode.

      Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
      https://xxxx          # 寫入gitlab的地址
      Please enter the gitlab-ci token for this runner:
      zsy4iJK4-hPh8KctpVkM    # 寫入全域性的token
      Please enter the gitlab-ci description for this runner:
      [c720133.xiodi.cn]:       # 寫入概runner的描述
      Please enter the gitlab-ci tags for this runner (comma separated):
      host20133,host-shell     # 寫入使用標籤
      Registering runner... succeeded runner=zsy4iJK4
      Please enter the executor: virtualbox, docker+machine, docker-ssh, docker, parallels, shell, ssh, docker-ssh+machine, kubernetes, custom:
      shell            # 寫入使用執行器
      Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

  

2、註冊一個組 Runner

  //使用 docker 方式註冊(也可以使用主機註冊,詳情見上)

    $ 啟動docker:docker run -d --name gitlab-runner --restart always -v /var/run/docker.sock:/var/run/docker.sock -v /data/etc/gitlab-runner:/etc/gitlab-runner gitlab/gitlab-runner:latest

    $ 註冊:gitlab-runner register      

      Runtime platform arch=amd64 os=linux pid=32 revision=c553af1a version=12.10.0
      Running in system-mode.

      Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
      https://xxxx          # 寫入gitlab的地址
      Please enter the gitlab-ci token for this runner:
      Zz6yDBiRYLzdEBaHZL  # 寫入全域性的token
      Please enter the gitlab-ci description for this runner:
      [dfa0f083e588]: host20133-docker-gitlab-runner    # 寫入概runner的描述
      Please enter the gitlab-ci tags for this runner (comma separated):
      group-host20133-docker,docker     # 寫入使用標籤
      Registering runner... succeeded runner=Zz6yDBiR
      Please enter the executor: shell, ssh, virtualbox, docker-ssh+machine, docker+machine, kubernetes, custom, docker, docker-ssh, parallels:
      docker          # 寫入使用執行器
      Please enter the default Docker image (e.g. ruby:2.6):

      harbor.xiodi.cn/tools/alpine:3.11    #寫入預設映象
      Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

      

3、註冊一個專案 Runner

  //(可使用 docker 方式註冊,也可以使用主機註冊,詳情見上)

    $ 啟動docker:docker run -d --name gitlab-runner2 --restart always -v /data/etc/gitlab-runner2:/etc/gitlab-runner -v /var/run/docker.sock:/var/run/docker.sockgitlab/gitlab-runner:latest

    $ 註冊:gitlab-runner register

     

三、Runner常用命令

1、檢視可使用命令:gitlab-runner --help

2、檢視子命令使用:gitlab-runner <command> --help

3、註冊:gitlab-runner register

4、列出配置檔案中的所有runner:gitlab-runner list

5、驗證是否被 GitLab 使用:gitlab-runner verify

6、登出特定的 Runner:gitlab-runner unregister

7、服務安裝:gitlab-runner install

8、服務解除安裝:gitlab-runner uninstall

9、服務啟動-:gitlab-runner start

10、服務停止:gitlab-runner stop

11、服務重啟:gitlab-runner restart

12、服務狀態:gitlab-runner status

13、從GitLab下載工件檔案:gitlab-runner artifacts-downloader

14、將工件檔案上傳到GitLab:gitlab-runner artifacts-uploader

15、建立快取存檔,將其儲存在本地或將其上傳到外部伺服器:gitlab-runner cache-archiver

16、從本地或外部儲存的檔案還原快取檔案:gitlab-runner cache-extractor

四、Runner配置詳解

1、使用主機安裝檢視runner配置

  $cat /etc/gitlab-runner/config.toml

    [session_server](區段是一個系統 Runner 級別的配置,因此它應該在根級別指定,而不是在每個執行器上,也就是說,它應該在[[runners]]區段之外。會話伺服器允許使用者與執行程式負責的作業進行互動。互動式web終端就是一個很好的例子。)
    | listen_address | 用於會話伺服器的內部URL。 |
    | advertise_address | Runner 將公開給GitLab用於訪問會話伺服器的URL。返回listen_address(如果沒有定義)。 |
    | session_timeout | 作業完成後會話保持活動的時間(這會阻止作業完成),預設為1800(30分鐘)。 | 

    [runners]
    | url | GitLab URL |
    | token | Runner的通訊令牌(請勿與註冊令牌混淆) |
    | tls-ca-file | 使用HTTPS時用於驗證對等方的證書的檔案 |
    | tls-cert-file | 使用HTTPS時要與對等方進行身份驗證的證書的檔案 |
    | tls-key-file | 使用HTTPS時要與對等方進行身份驗證的私鑰的檔案 |
    | limit | 限制此令牌可以同時處理多少個作業。0(預設)表示不限制 |
    | executor | 構建專案要使用的執行器 |

      | shell | 預設情況下,在本地執行build |

        | bash | 生成Bash (Bourne-shell)指令碼。在Bash上下文中執行的所有命令(所有Unix系統的預設值) |
        | sh | 生成Sh (Bourne-shell)指令碼。在Sh上下文中執行的所有命令(所有Unix系統的bash後備命令) |
        | cmd | 生成Windows批處理指令碼。所有命令都在批處理上下文中執行(預設為Windows) |
        | powershell | 生成Windows PowerShell指令碼。所有命令都在PowerShell上下文中執行 |

      | docker | 使用Docker容器執行構建。這需要`[runners.docker]`的存在。和`docker引擎`安裝在一個系統上,執行程式將在該系統上執行作業。 |
      | docker-windows | 使用Windows Docker容器執行構建。這需要`[runners.docker]`和`docker引擎`安裝在Windows系統上。 |
      | docker-ssh | 使用Docker容器執行構建,但是使用SSH連線到它——這需要`[runners.docker]` , `[runners.ssh]`和`Docker引擎`。注意:這將在`本地機器上執行docker容器`,它只是改變了命令在該容器內的執行方式。如果希望在外部機器上執行docker命令,那麼應該更改 `runners.docker` 中的 `host` 引數。 |
      | ssh | 使用SSH遠端執行構建—這需要有`[runner.ssh]` |
      | parallels | 使用Parallels VM執行構建,但是使用SSH連線到它——這需要[runners.parallels] and [runners.ssh] |
      | virtualbox | 使用VirtualBox VM執行構建,但是使用SSH連線到它——這需要[runners.virtualbox] and [runners.ssh] |
      | docker+machine | 像docker,但使用自動縮放的docker machines -這需要存在[runners.docker] and [runners.machine] |
      | docker-ssh+machine | 與docker-ssh類似,但是使用自動伸縮的Docker機器——這需要[runners.docker] and [runners.machine] |
      | kubernetes | 使用Kubernetes pod執行構建——這需要有`[runner.Kubernetes]`的存在。 |

    | builds_dir | 目錄的絕對路徑,構建將儲存在選定執行程式(本地、Docker、SSH)的上下文中。 |
    | cache_dir | 目錄的絕對路徑,其中構建快取將儲存在選定的執行程式(本地、Docker、SSH)的上下文中。如果使用docker executor,則需要在其卷引數中包含此目錄。 |
    | environment | 追加或覆蓋環境變數 |
    | request_concurrency | 限制GitLab對新作業的併發請求數量(預設1) |
    | output_limit | 設定最大構建日誌大小(以kb為單位),預設設定為4096 (4MB) |
    | pre_clone_script | 在克隆Git儲存庫之前要在Runner上執行的命令。例如,這可以首先用於調整Git客戶機配置。要插入多個命令,請使用(三引號)多行字串或“\n”字元。 |
    | pre_build_script | 在克隆Git儲存庫之後,但在執行構建之前,要在Runner上執行的命令。要插入多個命令,請使用(三引號)多行字串或“\n”字元。 |
    | post_build_script | 要在Runner上執行的命令在執行構建之後,但在執行after_script之前執行。要插入多個命令,請使用(三引號)多行字串或“\n”字元。 |
    | clone_url | 覆蓋GitLab例項的URL。如果Runner無法在URL GitLab上連線到GitLab,則使用GitLab。 |
    | debug_trace_disabled | 禁用CI_DEBUG_TRACE特性。當設定為true時,即使使用者將CI_DEBUG_TRACE設定為true,除錯日誌(跟蹤)也將保持禁用狀態。 |
    | referees | 額外的工作(job)監視工作者(workers),將他們的結果作為工作工件傳遞給GitLab |       

2、使用docker安裝檢視runner配置

  $ cat /data/etc/gitlab-runner/config.toml (具體路徑依docker run而定)

    [runners.docker]
    | host | 指定自定義Docker端點,預設使用`DOCKER_HOST`環境或 unix:///var/run/docker.sock |
    | hostname | 為Docker容器指定自定義主機名 |
    | runtime | 為Docker容器指定一個執行時 |
    | tls_cert_path | 設定時將使用ca.pem、cert.pem和key。從該資料夾中的pem建立到Docker的安全TLS連線(在boot2docker中非常有用) |
    | tls_verify | 啟用或禁用連線到Docker守護程式的TLS驗證。預設情況下禁用。 |
    | image | 使用此映像執行構建 |
    | memory | 包含記憶體限制的字串值 |
    | memory_swap | 包含總記憶體限制的字串值 |
    | memory_reservation | 包含記憶體軟限制的字串值 |
    | oom_kill_disable | 如果發生記憶體不足(OOM)錯誤,不要殺死容器中的程式 |
    | oom_score_adjust | OOM分數調整,正意味著殺得早 |
    | cpuset_cpus | 包含要使用的cgroups cpusetcpu的字串值 |
    | cpu_shares | 用於設定相對CPU使用量的CPU共享數量,預設為1024 |
    | cpus | cpu數量的字串值(在docker 1.13或更高版本中可用) |
    | dns | 容器要使用的DNS伺服器的列表 |
    | dns_search | DNS搜尋域的列表 |
    | privileged | 使容器以特權模式執行(不安全) |
    | disable_entrypoint_overwrite | 禁用映像 entrypoint 覆蓋 |
    | userns_mode | 當啟用usernamespace重新對映選項時,為容器設定usernamespace模式。(可在docker1.10或更高版本中獲得) |
    | cap_add | 向容器新增額外的Linux功能 |
    | cap_drop | 從容器中刪除額外的Linux功能 |
    | security_opt | 設定安全選項(-security-opt in docker run),獲取':'分隔鍵/值的列表 |
    | devices | 與容器共享其他主機裝置 |
    | cache_dir | 指定Docker快取應該儲存在哪裡(可以是絕對的,也可以是相對於當前工作目錄的)。有關更多資訊,請參見disable_cache。 |
    | disable_cache | Docker執行器有兩層快取:全域性快取(與任何其他執行器一樣)和基於Docker卷的本地快取。此配置標誌僅作用於禁止使用自動建立(未對映到主機目錄)快取卷的本地快取卷。換句話說,它只阻止建立儲存構建的臨時檔案的容器,如果執行器配置為分散式快取模式,它不會禁用快取。 |
    | network_mode | 將容器新增到自定義網路 |
    | wait_for_services_timeout | 指定等待docker服務的時間,設定為0禁用,預設為30 |
    | volumes | 指定應該掛載的其他卷(與Docker的-v標誌相同的語法) |
    | extra_hosts | 指定應該在容器環境中定義的主機 |
    | shm_size | 為映像指定共享記憶體大小(以位元組為單位) |
    | volumes_from | 以`<container name>[:<ro|rw>]`的形式指定要從另一個容器繼承的卷的列表。訪問級別預設為讀寫,但可以手動設定為ro(只讀)或rw(讀寫)。 |
    | volume_driver | 指定容器使用的卷驅動程式 |
    | links | 指定應該與構建容器連結的容器 |
    | allowed_images | 指定可以在.gitlab-ci.yml中指定的影象的萬用字元列表。如果不提供所有映像,則允許(相當於`["*/*:*"]`) |
    | allowed_services | 指定可以在.gitlab-ci.yml中指定的萬用字元服務列表。如果不提供所有映像,則允許(相當於`["*/*:*"]`) |
    | pull_policy | 指定映像拉取策略:`never`,`if-not-present`或 `always`(預設);請參閱pull策略檔案 |
    | sysctls | 指定sysctl選項 |
    | helper_image | (高階)覆蓋用於克隆repos和上傳工件的預設 `helper 映像` |

示例:

  [runners.docker]
  host = ""
  hostname = ""
  tls_cert_path = "/Users/ayufan/.boot2docker/certs"
  image = "ruby:2.6"
  memory = "128m"
  memory_swap = "256m"
  memory_reservation = "64m"
  oom_kill_disable = false
  cpuset_cpus = "0,1"
  cpus = "2"
  dns = ["8.8.8.8"]
  dns_search = [""]
  privileged = false
  userns_mode = "host"
  cap_add = ["NET_ADMIN"]
  cap_drop = ["DAC_OVERRIDE"]
  devices = ["/dev/net/tun"]
  disable_cache = false
  wait_for_services_timeout = 30
  cache_dir = ""
  volumes = ["/data", "/home/project/cache"]
  extra_hosts = ["other-host:127.0.0.1"]
  shm_size = 300000
  volumes_from = ["storage_container:ro"]
  links = ["mysql_container:mysql"]
  allowed_images = ["ruby:*", "python:*", "php:*"]
  allowed_services = ["postgres:9", "redis:*", "mysql:*"]
  [[runners.docker.services]]
  name = "mysql"
  alias = "db"
  [[runners.docker.services]]
  name = "redis:2.8"
  alias = "cache"
  [[runners.docker.services]]
  name = "postgres:9"
  alias = "postgres-db"
  [runners.docker.sysctls]
  "net.ipv4.ip_forward" = "1"

(以下是其他可用區段定義)

3、 [runners.ssh] 區段

| Parameter | Description |
| ------------ | ------------ |
| host | 連線到哪裡(使用docker-ssh時被覆蓋) |
| port | 指定埠,預設值:22 |
| user | 指定使用者 |
| password | 指定密碼 |
| identity_file | 指定SSH私有金鑰的檔案路徑(id_rsa、id_dsa或id_edcsa)。檔案需要不加密地儲存 |

//示例
```bash
[runners.ssh]
host = "my-production-server"
port = "22"
user = "root"
password = "production-server-password"
identity_file = ""
```

4、 [runners.cache] 區段

GitLab Runner 1.1.0 中引入。

| Parameter | Type | Description |
| ------------ | ------------ | ------------ |
| Type | string | s3 或 gcs |
| Path | string | 新增到快取URL前的路徑的名稱。 |
| Shared | boolean | 啟用執行程式之間的快取共享,預設為false。 |

##### (1)[runners.cache.s3]

允許配置S3儲存用於快取。本節包含與S3相關的設定,這些設定以前在該[runners.cache]節中全域性存在。

//示例
```bash
[runners.cache]
Type = "s3"
Path = "path/to/prefix"
Shared = false
[runners.cache.s3]
ServerAddress = "s3.amazonaws.com"
AccessKey = "AMAZON_S3_ACCESS_KEY"
SecretKey = "AMAZON_S3_SECRET_KEY"
BucketName = "runners-cache"
BucketLocation = "eu-west-1"
Insecure = false
```

參考:https://docs.gitlab.com/runner/configuration/advanced-configuration.html#the-runnerscaches3-section

5、[runners.kubernetes] 區段

GitLab Runner v1.6.0 中新增

| Parameter | Type | Description |
| ------------ | ------------ | ------------ |
| host | string | 可選的Kubernetes主機URL(如果未指定,將嘗試自動發現) |
| cert_file | string | 可選的Kubernetes認證證書 |
| key_file | string | 可選的Kubernetes主認證私鑰 |
| ca_file | string | 可選的Kubernetes主認證證書 |
| image | string | 預設的docker映象,當沒有指定時用於構建 |
| namespace | string | 名稱空間來執行Kubernetes作業 |
| privileged | boolean | 執行所有啟用了特權標誌的容器 |
| node_selector | table | 一個table的key=value對string=string。設定此限制將Pod的建立限制為與所有key=value對匹配的Kubernetes節點 |
| image_pull_secrets | array | 用於驗證docker映像提取的祕密列表 |

//示例
```bash
[runners.kubernetes]
host = "https://45.67.34.123:4892"
cert_file = "/etc/ssl/kubernetes/api.crt"
key_file = "/etc/ssl/kubernetes/api.key"
ca_file = "/etc/ssl/kubernetes/ca.crt"
image = "golang:1.8"
privileged = true
image_pull_secrets = ["docker-registry-credentials"]
[runners.kubernetes.node_selector]
gitlab = "true"
```

更多參考:https://docs.gitlab.com/runner/executors/kubernetes.html

6、Helper image

當使用docker、docker+machine或kubernetes執行器之一時,GitLab Runner使用特定的容器來處理Git、工件和快取操作。這個容器是由一個名為helper映像的特殊映像建立的。

helper 映像基於Alpine Linux,它提供amd64和arm架構。它包含一個`gitLab-run-helper`二進位制檔案,這是GitLab Runner二進位制檔案的特殊編譯,只包含可用命令的一個子集,以及Git、Git LFS、SSL證書儲存和Alpine的基本配置。

當從DEB/RPM包中安裝GitLab Runner時,兩個映像(amd64和基於arm的)都安裝在主機上。當執行器為作業執行準備好環境時,如果在Docker引擎上沒有找到指定版本(基於Runner的Git修訂版)中的映像,則會自動載入它。它對docker和docker+machine執行器都是這樣工作的。

對於kubernetes executor或手動安裝GitLab Runner時,情況略有不同。對於手動安裝,gitlab-runner-helper二進位制檔案不包括在其中,對於kubernetes executor, kubernetes的API不允許從本地存檔載入gitlab-runner-helper映像。在這兩種情況下,GitLab Runner都將從Docker Hub (GitLab的官方儲存庫GitLab / GitLab -run -helper)下載幫助器映像,方法是使用Runner的修訂和架構來定義應該下載哪個標記

6.1 覆蓋 helper image

在某些情況下,您可能需要覆蓋幫助器映像。這樣做的原因有很多:

(1)加快作業執行: 在internet連線速度較慢的環境中,從Docker Hub一次又一次地下載相同的映像可能會顯著增加作業的時間。從本地登入檔(其中儲存 gitlab/gitlab-runner-helper:XYZ 的精確副本)下載幫助程式映像可能會加快速度。

(2)安全考慮:許多人不喜歡下載以前沒有檢查過的外部依賴項。可能有一個業務規則只使用被審查並儲存在本地儲存庫中的依賴項。

(3)構建沒有internet訪問的環境:在某些情況下,作業是在一個具有專用的、封閉的網路的環境中執行的(這不適用於kubernetes執行程式,因為映像仍然需要從外部註冊中心下載,至少kubernetes叢集可以從外部註冊中心下載映像)。

(4)額外的軟體:有些使用者可能希望在幫助映像中安裝一些額外的軟體,比如openssh,以支援通過git+ssh而不是git+http訪問的子模組。

在上面描述的任何情況下,都可以使用helper_image配置欄位來配置自定義映像,該欄位可用於docker、docker+machine和kubernetes執行器:

```bash
[[runners]]
(...)
executor = "docker"
[runners.docker]
(...)
helper_image = "my.registry.local/gitlab/gitlab-runner-helper:tag"
```

請注意,助手映像的版本應該與GitLab Runner的版本嚴格耦合。就像上面所描述的那樣,提供這樣的的一個主要原因是 Runner 使用gitlab-runner-helper二進位制影象,這編譯二進位制GitLab runner的一部分來源是使用一個內部API,預計在二進位制檔案都是相同的。

Runner 預設引用 gitlab/gitlab-run-helper:XYZ 映像,其中XYZ基於執行器的體系結構和Git修訂。從GitLab Runner 11.3開始,通過使用版本變數之一,可以自動定義使用過的影象的版本:

```bash
[[runners]]
(...)
executor = "docker"
[runners.docker]
(...)
helper_image = "my.registry.local/gitlab/gitlab-runner-helper:x86_64-${CI_RUNNER_REVISION}"