• Workflow rules
  • $FORCE_GITLAB_CI 사용을 피하세요
    • $FORCE_GITLAB_CI 대안
• 기본 이미지
• 기본 변수
• 단계
• Dependency Proxy
  • 프로젝트 액세스 토큰 사용자에 의해 파이프라인이 시작된 경우의 해결책
• 공통 작업 정의
• rules, if: 조건 및 changes: 패턴
  • if: 조건
  • changes: 패턴
• Best Practices
  • extends:, <<: *xyz (YAML anchors), 또는 !reference 사용 시기
    • 주요 포인트
    • extends와 YAML anchors는 무엇을 할 수 있나요?
      • extends
      • YAML anchors
    • 훌륭한 예시
  • .fast-no-clone-job 작업 확장
    • 시나리오 1: 작업에 before_script가 정의되지 않은 경우
    • 시나리오 2: 작업이나 작업이 확장하는 데 이미 before_script 블록이 정의된 경우
    • 주의사항
    • 이 패턴이 사용되는 곳은 어디인가요?
    • Runner 태그

CI 구성 내부

Workflow rules

GitLab 프로젝트의 파이프라인은 GitLab CI/CD의 workflow:rules 키워드 기능을 사용하여 생성됩니다.

다음 시나리오에 대해 항상 파이프라인이 생성됩니다.

• main 브랜치, 스케줄, 푸시, 머지 등을 포함합니다.
• Merge Request.
• 태그.
• Stable, auto-deploy, 보안 브랜치.

파이프라인 생성은 다음 CI/CD 변수에 의해도 영향을 받습니다.

• $FORCE_GITLAB_CI가 설정되어 있으면 파이프라인이 생성됩니다. 사용을 권장하지 않습니다. $FORCE_GITLAB_CI 사용을 피하세요를 참조하세요.
• $GITLAB_INTERNAL이 설정되어 있지 않으면 파이프라인이 생성되지 않습니다.

다른 경우에는 (예: 해당 브랜치에 MR이 없는 경우) 파이프라인이 생성되지 않습니다.

이러한 workflow 규칙의 출처는 .gitlab-ci.yml에 정의되어 있습니다.

$FORCE_GITLAB_CI 사용을 피하세요

파이프라인은 매우 복잡하며 트리거할 파이프라인의 종류를 명확히 이해해야 합니다. 실행해야 하는 작업과 실행하지 말아야 하는 작업을 알아야 합니다.

만약 $FORCE_GITLAB_CI를 사용하여 파이프라인을 강제로 트리거하면 어떤 종류의 파이프라인인지 정확하게 알 수 없습니다. 결과적으로 원하는 작업을 실행하지 않거나 원하지 않는 작업을 너무 많이 실행할 수 있습니다.

추가적인 맥락과 배경은 다음에서 찾을 수 있습니다. 의도치 않은 실행을 피하기 위한 일반화된 변경을 피하세요

지금 사용 중인 곳과 $FORCE_GITLAB_CI를 사용하지 말아야 하는 곳에 대한 디렉터리은 다음과 같습니다. 지금 사용 중인 곳과 $FORCE_GITLAB_CI를 사용하지 말아야 하는 곳에서 빠져나오려고 해야 합니다.

• JiHu 검증 파이프라인

$FORCE_GITLAB_CI를 사용하지 않고 파이프라인을 활성화하는 방법은 다음 섹션을 참조하세요.

$FORCE_GITLAB_CI 대안

기본적으로, 우리는 서로 다른 변수를 사용하여 다양한 파이프라인을 활성화합니다. 이를 수행하는 예는 $START_AS_IF_FOSS입니다. 교차 프로젝트 FOSS 파이프라인을 트리거하려면 $START_AS_IF_FOSS를 설정하고, $ENABLE_RSPEC_UNIT, $ENABLE_RSPEC_SYSTEM 등의 일련의 다른 변수들을 해당 작업에 활성화하기 위해 설정합니다.

$FORCE_GITLAB_CI에 비해 이 방법의 이점은 $START_AS_IF_FOSS가 이러한 목적으로만 사용된다는 것입니다. 또한 이 변수를 사용하여 파이프라인의 동작을 변경하더라도 다른 종류의 파이프라인에는 영향을 미치지 않습니다. 다중 목적으로 사용되는 $FORCE_GITLAB_CI를 사용하는 경우 우리는 파이프라인이 정확히 무엇인지 알 수 없습니다.

기본 이미지

기본 이미지는 .gitlab-ci.yml에 정의되어 있습니다.

이에는 Ruby, Go, Git, Git LFS, Chrome, Node, Yarn, PostgreSQL 및 Graphics Magick이 포함되어 있습니다.

우리 파이프라인에서 사용하는 이미지는 gitlab-org/gitlab-build-images 프로젝트에서 구성되어 있으며, 이는 여분의 이중화를 위해 gitlab/gitlab-build-images로 push-mirror 됩니다.

빌드 이미지의 현재 버전은 “GitLab 섹션에서 사용”에서 찾을 수 있습니다.

기본 변수

미리 정의된 CI/CD 변수에 추가로, 각 파이프라인은 .gitlab-ci.yml에 정의된 기본 변수를 포함합니다.

단계

현재 단계는 다음과 같습니다.

• sync: 이 단계는 gitlab-org/gitlab에서 gitlab-org/gitlab-foss로 변경 사항을 동기화하는 데 사용됩니다.
• prepare: 이 단계에는 후속 단계의 작업에서 필요한 아티팩트를 준비하는 작업이 포함됩니다.
• build-images: 이 단계는 후속 단계나 다운스트림 파이프라인에서 필요한 Docker 이미지를 준비하는 작업이 포함됩니다.
• fixtures: 이 단계에는 프론트엔드 테스트에 필요한 fixtures를 준비하는 작업이 포함됩니다.
• lint: 이 단계에는 린트 및 정적 분석 작업이 포함됩니다.
• test: 이 단계에는 대부분의 테스트 및 DB/마이그레이션 작업이 포함됩니다.
• post-test: 이 단계에는 test 단계의 작업에서 보고서를 작성하거나 데이터를 수집하는 작업이 포함됩니다 (예: 커버리지, Knapsack 메타데이터 등).
• review: 이 단계에는 CNG 이미지를 빌드하고, 이를 배포하며, 리뷰 앱에 대한 엔드 투 엔드 테스트를 실행하는 작업이 포함됩니다 (자세한 내용은 Review Apps를 참조하세요). Docs Review App 작업도 포함됩니다.
• qa: 이 단계에는 review 단계에서 배포된 Review App에 대한 QA 작업이 포함됩니다.
• post-qa: 이 단계에는 qa 단계의 작업에서 보고서를 작성하거나 데이터를 수집하는 작업이 포함됩니다 (예: Review App 성능 보고서).
• pages: 이 단계에는 다양한 보고서를 GitLab Pages로 배포하는 작업이 포함됩니다 (예: coverage-ruby, webpack-report (여기에는 배포에 문제가 있습니다)).
• notify: 이 단계에는 다양한 실패 사항을 Slack에 통지하는 작업이 포함됩니다.

Dependency Proxy

일부 작업에서는 Docker Hub의 이미지를 사용하는데, 여기서 우리는 이미지 경로에 ${GITLAB_DEPENDENCY_PROXY_ADDRESS}를 사용하여 우리의 의존성 프록시에서 이미지를 가져옵니다. 기본적으로, 이 변수는 ${GITLAB_DEPENDENCY_PROXY}의 값에서 설정됩니다.

${GITLAB_DEPENDENCY_PROXY}는 gitlab-org에 정의된 그룹 CI/CD 변수로 ${CI_DEPENDENCY_PROXY_GROUP_IMAGE_PREFIX}/로 설정됩니다. 즉 다음과 같이 정의된 이미지를 사용할 때:

image: ${GITLAB_DEPENDENCY_PROXY_ADDRESS}alpine:edge

gitlab-org 그룹의 프로젝트는 의존성 프록시에서 가져오고, 다른 개인 네임스페이스나 그룹에 있는 포크는 ${GITLAB_DEPENDENCY_PROXY}가 거기에 정의되어 있지 않은 한 Docker Hub로 다시 되돌아갑니다.

프로젝트 액세스 토큰 사용자에 의해 파이프라인이 시작된 경우의 해결책

프로젝트 액세스 토큰 사용자(예: 릴리스 도구 승인자 봇 사용자로, 주 프로젝트에서 사용되는 Gitaly 버전을 자동으로 업데이트하는 사용자)에 의해 파이프라인이 시작될 때 의존성 프록시에 접근할 수 없습니다 그리고 작업은 “docker+machine” executor를 준비하는 단계에서 실패합니다. 그 문제를 해결하기 위해, 해당 경우에 의존성 프록시가 사용되지 않도록 ${GITLAB_DEPENDENCY_PROXY_ADDRESS} 변수를 재정의하는 특별한 워크플로우 규칙이 있습니다:

- if: '$CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH && $GITLAB_USER_LOGIN =~ /project_\d+_bot\d*/'
  variables:
    GITLAB_DEPENDENCY_PROXY_ADDRESS: ""

공통 작업 정의

대부분의 작업은 몇 가지 CI 정의에서 확장됩니다. 이는 .gitlab/ci/global.gitlab-ci.yml에 정의되어 있으며, 단일 구성 키워드에 대한 범위가 있습니다.

rules, if: 조건 및 changes: 패턴

우리는 rules 키워드를 광범위하게 사용하고 있습니다.

모든 rules 정의는 rules.gitlab-ci.yml에 정의되어 있으며, 그런 다음 개별 작업에서 extends를 통해 포함됩니다.

rules 정의는 if: 조건 및 changes: 패턴으로 구성되어 있으며, 이는 또한 rules.gitlab-ci.yml에 정의되어 있으며 YAML 앵커를 통해 rules 정의에 포함됩니다.

if: 조건

changes: 패턴

Best Practices

extends:, <<: *xyz (YAML anchors), 또는 !reference 사용 시기

참조

주요 포인트

• 해시를 확장해야 하는 경우 extends를 사용해야 합니다.
• 배열을 확장해야 하는 경우 !reference 또는 YAML anchors를 사용해야 하며, 마지막 수단으로 활용됩니다.
• 더 복잡한 경우(예: 배열 내에서 해시를 확장, 해시 내에서 배열을 확장하는 경우 등)에는 !reference나 YAML anchors를 사용해야 합니다.

extends와 YAML anchors는 무엇을 할 수 있나요?

extends

• 해시에 대한 깊은 Merge
• 배열에 대한 Merge 없음. 덮어씌웁니다 (출처)

YAML anchors

• 해시에 대한 깊은 Merge 없음, 그러나 해시를 확장하는 데 사용될 수 있음 (아래의 예제 참조)
• 배열에 대한 Merge 없음, 그러나 배열을 확장하는 데 사용될 수 있음 (아래의 예제 참조)

훌륭한 예시

아래 예시는 !reference와 YAML anchors를 사용하여 복잡한 YAML 데이터 구조를 확장하는 방법을 보여줍니다:

.strict-ee-only-rules:
  # `rules`는 해시의 배열입니다
  rules:
    - if: '$CI_PROJECT_NAME !~ /^gitlab(-ee)?$/ '
      when: never

# `if-security-merge-request`는 해시입니다
.if-security-merge-request: &if-security-merge-request
  if: '$CI_PROJECT_NAMESPACE == "gitlab-org/security"'

# `code-qa-patterns`는 배열입니다
.code-qa-patterns: &code-qa-patterns
  - "{package.json,yarn.lock}"
  - ".browserslistrc"
  - "babel.config.js"
  - "jest.config.{base,integration,unit}.js"

.qa:rules:as-if-foss:
  rules:
    # 우리는 `rules` 배열을 직접 해시의 배열로 확장합니다
    - !reference [".strict-ee-only-rules", rules]
    # 단일 배열 항목을 해시로 확장합니다
    - <<: *if-security-merge-request
      # `changes`는 배열이므로 전체 배열을 전달합니다
      changes: *code-qa-patterns

qa:selectors-as-if-foss:
  # 우리는 이 작업에서 .qa:rules:as-if-foss의 규칙을 포함합니다
  extends:
    - .qa:rules:as-if-foss

.fast-no-clone-job 작업 확장

카노니컬 프로젝트의 브랜치 다운로드에는 20에서 30초가 소요됩니다.

일부 작업은 제한된 파일 수만 필요로 하며, GitLab API를 통해 다운로드할 수 있습니다.

작업 git clone/git fetch을 건너뛸 수 있습니다.

시나리오 1: 작업에 before_script가 정의되지 않은 경우

부모 섹션에 적용됩니다.

.fast-no-clone-job를 확장하면 됩니다:

이전:

  # 참고: 작업에 `extends:`가 없습니다
  a-job:
    script:
      - source scripts/rspec_helpers.sh scripts/slack
      - echo "git clone이 필요 없습니다!"

이후:

  # 참고: 작업에 `extends:`가 없습니다
  a-job:
    extends:
      - .fast-no-clone-job
    variables:
      FILES_TO_DOWNLOAD: >
        scripts/rspec_helpers.sh
        scripts/slack
    script:
      - source scripts/rspec_helpers.sh scripts/slack
      - echo "git clone이 필요 없습니다!"

시나리오 2: 작업이나 작업이 확장하는 데 이미 before_script 블록이 정의된 경우

이 시나리오에는 다음과 같이 해야 합니다:

1. 첫 번째 시나리오와 같이 .fast-no-clone-job를 확장합니다(이렇게 하면 FILES_TO_DOWNLOAD 변수가 다른 변수와 Merge됩니다)
2. 작업에 사용할 before_script에서 .fast-no-clone-job의 before_script 섹션이 참조되도록 합니다.

이전:

  .base-job:
    before_script:
      echo "Hello from .base-job"
  
  a-job:
    extends:
      - .base-job
    script:
      - source scripts/rspec_helpers.sh scripts/slack
      - echo "git clone이 필요 없습니다!"

이후:

  .base-job:
    before_script:
      echo "Hello from .base-job"
  
  a-job:
    extends:
      - .base-job
      - .fast-no-clone-job
    variables:
      FILES_TO_DOWNLOAD: >
        scripts/rspec_helpers.sh
        scripts/slack
    before_script:
      - !reference [".fast-no-clone-job", before_script]
      - !reference [".base-job", before_script]
    script:
      - source scripts/rspec_helpers.sh scripts/slack
      - echo "git clone이 필요 없습니다!"

주의사항

• 이 패턴은 스크립트가 리포지터리에 액세스하기 위해 git를 필요로 하는 경우 작동하지 않습니다. 왜냐하면 클론이나 가져오기 없이 우리는 리포지터리를 갖고 있지 않기 때문입니다.
• 이 패턴을 사용하는 작업은 curl을 사용할 수 있어야 합니다.
• 작업에서 bundle install을 실행해야 하는 경우(BUNDLE_ONLY를 사용하더라도), 다음을 수행해야 합니다:
  • gitlab-org/gitlab 프로젝트에 저장된 gem을 다운로드합니다.
    • 이러한 용도로 download_local_gems 셸 명령을 사용할 수 있습니다.
  • Gemfile, Gemfile.lock, Gemfile.checksum (적용 가능한 경우)을 포함시킵니다.

이 패턴이 사용되는 곳은 어디인가요?

• 현재 우리는 다음 작업에 대해 이 패턴을 사용하고 있으며, 이 작업은 개인 리포지터리를 차단하지 않습니다:
  • 다음을 위한 review-build-cng-env:
    • GITALY_SERVER_VERSION
    • GITLAB_ELASTICSEARCH_INDEXER_VERSION
    • GITLAB_KAS_VERSION
    • GITLAB_PAGES_VERSION
    • GITLAB_SHELL_VERSION
    • scripts/trigger-build.rb
    • VERSION
  • 다음을 위한 review-deploy:
    • GITALY_SERVER_VERSION
    • GITLAB_SHELL_VERSION
    • scripts/review_apps/review-apps.sh
    • scripts/review_apps/seed-dast-test-data.sh
    • VERSION
  • 다음을 위한 rspec:coverage:
    • config/bundler_setup.rb
    • Gemfile
    • Gemfile.checksum
    • Gemfile.lock
    • scripts/merge-simplecov
    • spec/simplecov_env_core.rb
    • spec/simplecov_env.rb
  • 다음을 위한 prepare-as-if-foss-env:
    • scripts/setup/generate-as-if-foss-env.rb

또한, 이 패턴을 사용할 때 항상 scripts/utils.sh가 API를 통해 다운로드됩니다(이 파일에는 .fast-no-clone-job의 코드가 포함되어 있습니다).

Runner 태그

GitLab.com에서는 권한이 없는 러너와 권한이 있는 러너를 모두 사용할 수 있습니다. gitlab-org 그룹의 프로젝트 및 해당 프로젝트의 포크에 대해 작업을 할 때, 다음 태그 중 하나만 작업에 추가해야 합니다:

• gitlab-org: 작업은 무작위로 권한이 있는 러너와 권한이 없는 러너를 사용합니다.
• gitlab-org-docker: 작업은 권한이 있는 러너를 사용해야 합니다. Docker-in-Docker 지원이 필요한 경우 gitlab-org-docker를 gitlab-org 대신 사용하세요.

gitlab-org-docker 태그는 위의 .use-docker-in-docker 작업 정의에 추가됩니다.

포크 호환성을 보장하기 위해, gitlab-org와 gitlab-org-docker를 동시에 사용하지 않도록 주의하세요. 어떠한 인스턴스 러너도 gitlab-org와 gitlab-org-docker 태그를 모두 가지고 있지 않습니다. gitlab-org 프로젝트의 포크에 대해서는 두 태그가 모두 제공되면 일치하는 러너가 없기 때문에 작업이 멈출 수 있습니다.

더 많은 정보는 GitLab 리포지터리 핸드북 페이지를 참조하세요.