• 워크플로우 규칙
  • $FORCE_GITLAB_CI 사용을 피하세요
    • $FORCE_GITLAB_CI 대체법
• 기본 이미지
• 기본 변수
• 단계
• Dependency Proxy
  • 프로젝트 액세스 토큰 사용자가 파이프라인을 시작했을 때의 해결 방법
• 공통 작업 정의
• rules, if: 조건 및 changes: 패턴
  • if: 조건
  • changes: patterns
• Best Practices
  • extends:, <<: *xyz (YAML anchors), 또는 !reference 사용 시기
    • 주요 포인트
    • extends 및 YAML anchors가 할 수 있는 일
      • extends
      • YAML anchors
    • 훌륭한 예시
  • .fast-no-clone-job 작업 확장
    • 시나리오 1: 작업에서 before_script가 정의되지 않은 경우
    • 시나리오 2: 작업에서 before_script 블록이 이미 정의된 경우 (또는 작업이 확장하는 위치에서)
    • 주의사항
    • 이 패턴은 어디에 사용되나요?
    • 러너 태그

CI 구성 내부

워크플로우 규칙

GitLab 프로젝트의 파이프라인은 GitLab CI/CD의 workflow:rules 키워드 기능을 사용하여 생성됩니다.

파이프라인은 항상 다음 시나리오에 대해 생성됩니다:

• main 브랜치, 스케줄, 푸시, 병합 등을 포함합니다.
• 병합 요청.
• 태그.
• Stable, auto-deploy, 보안 브랜치.

파이프라인 생성은 다음의 CI/CD 변수에도 영향을 받습니다:

• $FORCE_GITLAB_CI가 설정되어 있으면 파이프라인이 생성됩니다. 권장하지 않습니다. $FORCE_GITLAB_CI 사용을 피하세요를 참조하세요.
• $GITLAB_INTERNAL이 설정되지 않은 경우 파이프라인이 생성되지 않습니다.

다른 경우에는 (예: MR 없이 브랜치를 푸시하는 경우) 파이프라인이 생성되지 않습니다.

이러한 워크플로우 규칙의 원천은 .gitlab-ci.yml에 정의되어 있습니다.

$FORCE_GITLAB_CI 사용을 피하세요

파이프라인은 매우 복잡하며 우리가 트리거하고자 하는 파이프라인의 종류를 명확히 이해해야 합니다. 어떤 작업을 실행해야 하는지와 실행해서는 안 되는 작업을 잘 알아야 합니다.

만약 $FORCE_GITLAB_CI를 사용하여 파이프라인을 강제로 트리거한다면, 우리는 실제로 어떤 종류의 파이프라인인지 모릅니다. 그 결과로 원하는 작업을 실행하지 않거나, 관심 없는 작업을 너무 많이 실행할 수 있습니다.

더 많은 컨텍스트와 배경 정보는 다음에서 찾을 수 있습니다: 예기치 못한 실행을 피하기 위한 일괄적인 변경 피하기

지금까지 우리가 이것을 사용하고 있는 위치와 $FORCE_GITLAB_CI 대신에 사용해보아야 하는 곳은 다음과 같습니다.

• JiHu 검증 파이프라인

$FORCE_GITLAB_CI를 사용하지 않고 파이프라인을 활성화하는 방법은 다음 섹션에서 설명합니다.

$FORCE_GITLAB_CI 대체법

기본적으로 우리는 다른 변수들을 사용하여 다른 파이프라인을 활성화합니다. 이것을 하는 예로는 $START_AS_IF_FOSS가 있습니다. 우리가 cross project FOSS 파이프라인을 트리거하고 싶을 때, 우리는 $START_AS_IF_FOSS를 설정합니다. 그리고 $ENABLE_RSPEC_UNIT, $ENABLE_RSPEC_SYSTEM 등의 다른 변수들과 함께 각 작업을 활성화하기 위한 변수들을 설정합니다. 이렇게 해서 as-if-foss cross project downstream 파이프라인에서 실행하고자 하는 각 작업을 활성화합니다.

이것이 $FORCE_GITLAB_CI보다 우리가 파이프라인을 어떻게 실행하고자 하는지에 대한 완전한 제어를 갖는 장점입니다. 왜냐하면 $START_AS_IF_FOSS는 오직 이 목적으로만 사용되기 때문에, 이 변수 아래에서 파이프라인의 동작을 변경해도 다른 종류의 파이프라인에는 영향을 주지 않습니다. 반면에 $FORCE_GITLAB_CI를 사용하면 파이프라인이 여러 목적으로 사용되기 때문에 어떤 파이프라인인지 명확히 알 수 없습니다.

기본 이미지

기본 이미지는 .gitlab-ci.yml에 정의되어 있습니다.

이미지에는 Ruby, Go, Git, Git LFS, Chrome, Node, Yarn, PostgreSQL, Graphics Magick가 포함되어 있습니다.

우리 파이프라인에서 사용되는 이미지들은 gitlab-org/gitlab-build-images 프로젝트에 구성되어 있으며, 이는 여유성을 위해 gitlab/gitlab-build-images로 push-mirrored됩니다.

빌드 이미지의 현재 버전은 “GitLab에서 사용하는 섹션”에서 찾을 수 있습니다.

기본 변수

미리 정의된 CI/CD 변수에 추가로, 각 파이프라인에는 .gitlab-ci.yml에 정의된 기본 변수들이 포함되어 있습니다.

단계

현재의 단계는 다음과 같습니다:

• sync: 이 단계는 gitlab-org/gitlab에서 gitlab-org/gitlab-foss로의 변경들을 동기화하는 데 사용됩니다.
• prepare: 이 단계에는 이후 단계의 작업에서 필요한 아티팩트를 준비하는 작업이 포함됩니다.
• build-images: 이 단계에는 이후 단계나 downstream 파이프라인에서 필요한 Docker 이미지를 준비하는 작업이 포함됩니다.
• fixtures: 이 단계에는 프론트엔드 테스트에 필요한 fixture를 준비하는 작업이 포함됩니다.
• lint: 이 단계에는 린팅 및 정적 분석 작업이 포함됩니다.
• test: 이 단계에는 대부분의 테스트와 DB/migration 작업이 포함됩니다.
• post-test: 이 단계에는 test 단계의 작업으로부터 리포트를 생성하거나 데이터를 수집하는 작업이 포함됩니다 (예: 커버리지, Knapsack metadata 등).
• review: 이 단계에는 CNG 이미지를 빌드하고 배포하며, 리뷰 앱에 대한 엔드 투 엔드 테스트를 실행하고 Docs 리뷰 앱 작업을 포함합니다 (Review Apps 참조).
• qa: 이 단계에는 review 단계에서 배포된 리뷰 앱에 대한 QA 작업이 포함됩니다.
• post-qa: 이 단계에는 qa 단계의 작업으로부터 리포트를 생성하거나 데이터를 수집하는 작업이 포함됩니다 (예: 리뷰 앱 성능 리포트).
• pages: 이 단계에는 여러 리포트를 GitLab Pages로 배포하는 작업이 포함됩니다 (예: coverage-ruby, 및 webpack-report (여기서 찾을 수 있습니다: https://gitlab-org.gitlab.io/gitlab/webpack-report/, 하지만 배포에 문제가 있습니다).
• notify: 이 단계에는 다양한 실패 사항을 Slack에 알리는 작업이 포함됩니다.

Dependency Proxy

일부 작업은 Docker Hub에서 이미지를 사용하는데, 여기서도 이미지 경로에 ${GITLAB_DEPENDENCY_PROXY_ADDRESS}를 접두사로 사용하여 우리의 의존성 프록시에서 이미지를 가져옵니다. 기본적으로 이 변수는 ${GITLAB_DEPENDENCY_PROXY}의 값을 기본으로 설정합니다.

${GITLAB_DEPENDENCY_PROXY}는 gitlab-org에서 정의된 그룹 CI/CD 변수로, ${CI_DEPENDENCY_PROXY_GROUP_IMAGE_PREFIX}/로 정의됩니다. 따라서 이미지를 사용하는 경우:

image: ${GITLAB_DEPENDENCY_PROXY_ADDRESS}alpine:edge

gitlab-org 그룹의 프로젝트는 의존성 프록시에서 가져오고, 다른 개인 네임 스페이스나 그룹에 속한 포크는 ${GITLAB_DEPENDENCY_PROXY}도 정의된 경우가 아니면 Docker Hub로 되돌아갑니다.

프로젝트 액세스 토큰 사용자가 파이프라인을 시작했을 때의 해결 방법

프로젝트 액세스 토큰 사용자(예: release-tools approver bot 사용자와 같은 경우로, 이 사용자는 메인 프로젝트에서 사용되는 Gitaly 버전을 자동으로 업데이트합니다)에 의해 파이프라인이 시작되면 의존성 프록시에 액세스할 수 없으며 작업은 “Preparing the “docker+machine” executor” 단계에서 실패합니다. 이를 해결하기 위해 우리는 특별한 워크플로우 규칙을 가지고 있어서 ${GITLAB_DEPENDENCY_PROXY_ADDRESS} 변수를 재정의하여 해당 경우에 의존성 프록시를 사용하지 않도록 합니다:

- if: '$CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH && $GITLAB_USER_LOGIN =~ /project_\d+_bot\d*/'
  variables:
    GITLAB_DEPENDENCY_PROXY_ADDRESS: ""

참고: 우리는 .gitlab-ci.yml 변수보다 그룹-레벨 변수가 더 높은 우선 순위를 가지고 있는데, 이에 따라 우리는 ${GITLAB_DEPENDENCY_PROXY} 변수를 직접적으로 재정의하지 않습니다.

공통 작업 정의

대부분의 작업은 .gitlab/ci/global.gitlab-ci.yml에서 정의된 몇 가지 CI 정의를 확장하며, 이러한 정의는 단일 구성 키워드에 대해 범위가 지정됩니다.

rules, if: 조건 및 changes: 패턴

우리는 rules 키워드를 광범위하게 사용하고 있습니다.

모든 rules 정의는 rules.gitlab-ci.yml에 정의되어 있으며, 그런 다음 개별 작업에서 extends를 통해 포함됩니다.

rules 정의는 if: 조건 및 changes: 패턴으로 구성되어 있으며, 이는 또한 rules.gitlab-ci.yml에 정의되어 있으며 YAML 앵커를 통해 rules 정의에 포함됩니다.

if: 조건

changes: patterns

Best Practices

extends:, <<: *xyz (YAML anchors), 또는 !reference 사용 시기

참조

주요 포인트

• 해시를 확장해야 할 경우, extends를 사용해야 합니다.
• 배열을 확장해야 할 경우, !reference 또는 YAML anchors를 사용해야 합니다.
• 더 복잡한 경우(예: 배열 내의 해시 확장, 해시 내의 배열 확장 등)에는 !reference 또는 YAML anchors를 사용해야 합니다.

extends 및 YAML anchors가 할 수 있는 일

extends

• 해시의 경우 깊은 병합
• 배열에 대해서는 병합되지 않고 덮어씁니다 (소스)

YAML anchors

• 해시에 대한 깊은 병합은 없지만, 해시를 확장하는 데 사용할 수 있습니다 (아래 예제 참조)
• 배열에 대해서는 병합되지 않지만, 배열을 확장하는 데 사용할 수 있습니다 (아래 예제 참조)

훌륭한 예시

아래 예시는 !reference 및 YAML anchors를 사용하여 복잡한 YAML 데이터 구조를 확장하는 방법을 보여줍니다:

.strict-ee-only-rules:
  # `rules`는 해시 배열입니다
  rules:
    - if: '$CI_PROJECT_NAME !~ /^gitlab(-ee)?$/ '
      when: never

# `if-security-merge-request`는 해시입니다
.if-security-merge-request: &if-security-merge-request
  if: '$CI_PROJECT_NAMESPACE == "gitlab-org/security"'

# `code-qa-patterns`는 배열입니다
.code-qa-patterns: &code-qa-patterns
  - "{package.json,yarn.lock}"
  - ".browserslistrc"
  - "babel.config.js"
  - "jest.config.{base,integration,unit}.js"

.qa:rules:as-if-foss:
  rules:
    # `rules` 배열을 직접해시 배열로 확장합니다
    - !reference [".strict-ee-only-rules", rules]
    # 해시를 사용하여 단일 배열 항목을 확장합니다
    - <<: *if-security-merge-request
      # `changes`는 배열이므로 전체 배열을 전달합니다
      changes: *code-qa-patterns

qa:selectors-as-if-foss:
  # 이 작업에서 .qa:rules:as-if-foss의 규칙을 포함합니다
  extends:
    - .qa:rules:as-if-foss

.fast-no-clone-job 작업 확장

카노니컬 프로젝트의 브랜치 다운로드 시간은 20에서 30초가 걸립니다.

일부 작업은 파일의 제한된 수만 필요로 하며, GitLab API를 통해 다운로드할 수 있습니다.

다음과 같은 패턴을 작업에 추가하여 git clone/git fetch를 건너뛸 수 있습니다.

시나리오 1: 작업에서 before_script가 정의되지 않은 경우

이것은 작업이 확장하는 부모 섹션에 적용됩니다.

.fast-no-clone-job을 확장하면 됩니다:

이전:

  # 참고: 작업에 `extends:`가 없음
  a-job:
    script:
      - source scripts/rspec_helpers.sh scripts/slack
      - echo "git clone이 필요하지 않아요!"

이후:

  # 참고: 작업에 `extends:`가 없음
  a-job:
    extends:
      - .fast-no-clone-job
    variables:
      FILES_TO_DOWNLOAD: >
        scripts/rspec_helpers.sh
        scripts/slack
    script:
      - source scripts/rspec_helpers.sh scripts/slack
      - echo "git clone이 필요하지 않아요!"

시나리오 2: 작업에서 before_script 블록이 이미 정의된 경우 (또는 작업이 확장하는 위치에서)

이 시나리오의 경우 다음을 수행해야 합니다:

1. 첫 번째 시나리오와 같이 .fast-no-clone-job을 확장합니다 (FILES_TO_DOWNLOAD 변수를 다른 변수와 병합함).
2. 이 작업에 사용하는 before_script에서 .fast-no-clone-job의 before_script 섹션이 참조되도록 합니다.

이전:

  .base-job:
    before_script:
      echo "안녕하세요, .base-job입니다"

  a-job:
    extends:
      - .base-job
    script:
      - source scripts/rspec_helpers.sh scripts/slack
      - echo "git clone이 필요하지 않아요!"

이후:

  .base-job:
    before_script:
      echo "안녕하세요, .base-job입니다"

  a-job:
    extends:
      - .base-job
      - .fast-no-clone-job
    variables:
      FILES_TO_DOWNLOAD: >
        scripts/rspec_helpers.sh
        scripts/slack
    before_script:
      - !reference [".fast-no-clone-job", before_script]
      - !reference [".base-job", before_script]
    script:
      - source scripts/rspec_helpers.sh scripts/slack
      - echo "git clone이 필요하지 않아요!"

주의사항

• 이 패턴은 저장소를 복제하거나 가져오지 않기 때문에 스크립트가 저장소에 액세스하는 경우에는 작동하지 않습니다.
• 이 패턴을 사용하는 작업은 curl을 사용할 수 있어야 합니다.
• 작업에서 bundle install을 실행해야 하는 경우 (BUNDLE_ONLY를 사용하더라도):
  • gitlab-org/gitlab 프로젝트에 저장된 젬을 다운로드해야 합니다.
    • 이를 위해 download_local_gems 셸 명령을 사용할 수 있습니다.
  • Gemfile, Gemfile.lock 및 Gemfile.checksum (해당하는 경우)을 포함해야 합니다.

이 패턴은 어디에 사용되나요?

• 현재 우리는 다음 작업에 대해 이 패턴을 사용하고 있고, 이러한 작업은 개인 저장소를 차단하지 않습니다:
  • 다음과 같은 작업에 대해 review-build-cng-env:
    • GITALY_SERVER_VERSION
    • GITLAB_ELASTICSEARCH_INDEXER_VERSION
    • GITLAB_KAS_VERSION
    • GITLAB_PAGES_VERSION
    • GITLAB_SHELL_VERSION
    • scripts/trigger-build.rb
    • VERSION
  • 다음과 같은 작업에 대해 review-deploy:
    • GITALY_SERVER_VERSION
    • GITLAB_SHELL_VERSION
    • scripts/review_apps/review-apps.sh
    • scripts/review_apps/seed-dast-test-data.sh
    • VERSION
  • 다음과 같은 작업에 대해 rspec:coverage:
    • config/bundler_setup.rb
    • Gemfile
    • Gemfile.checksum
    • Gemfile.lock
    • scripts/merge-simplecov
    • spec/simplecov_env_core.rb
    • spec/simplecov_env.rb
  • 다음과 같은 작업에 대해 prepare-as-if-foss-env:
    • scripts/setup/generate-as-if-foss-env.rb

또한, 이 패턴을 사용할 때 항상 scripts/utils.sh이 API에서 다운로드됩니다 (이 파일에는 .fast-no-clone-job의 코드가 포함되어 있음).

러너 태그

GitLab.com에서는 권한이 없는 러너와 권한이 있는 러너가 모두 사용 가능합니다. gitlab-org 그룹의 프로젝트 및 해당 프로젝트의 포크에 대해 작업에 다음 태그 중 하나만 추가해야 합니다:

• gitlab-org: 작업이 무작위로 권한이 있는 러너와 권한이 없는 러너를 사용합니다.
• gitlab-org-docker: 작업은 권한이 있는 러너를 사용해야 합니다. Docker-in-Docker 지원이 필요한 경우 gitlab-org-docker 대신 gitlab-org-docker를 사용하세요.

gitlab-org-docker 태그는 위의 .use-docker-in-docker 작업 정의에 의해 추가됩니다.

포크와 호환되도록하기 위해 gitlab-org와 gitlab-org-docker를 동시에 사용하지 않도록 하세요. 어떤 인스턴스 러너도 gitlab-org와 gitlab-org-docker 태그가 모두 있는 작업을 수행할 수 없습니다. gitlab-org 프로젝트의 포크를 위한 경우, 일치하는 러너가 없기 때문에 두 태그를 함께 제공하면 작업이 멈출 수 있습니다.

더 많은 정보는 GitLab Repositories 핸드북 페이지를 참조하세요.