Omnibus-GitLab에서의 테스트 보고서 생성

allure-report를 생성하는 동안 다음 세 개의 파이프라인이 생성됩니다.

  • Omnibus 파이프라인
  • TRIGGERED_CE/EE_PIPELINE 하위 파이프라인 (수동 트리거)
  • QA-SUBSET-TEST 하위 파이프라인

Omnibus MR 파이프라인

Omnibus-GitLab 프로젝트 MR 파이프라인은 두 가지 방법으로 트리거될 수 있습니다.

  • 파이프라인 수동 실행
  • MR이 존재하고 커밋이 리포지토리에 푸시됩니다.

파이프라인의 테스트는 현재 수동으로 다음에 의해 트리거됩니다.

  • Trigger:ce-package 작업
  • Trigger:ee-package 작업

Trigger:ce/ee-package 작업

이러한 작업은 generate-facts 작업이 완료된 후 수동으로 트리거될 수 있습니다. 이러한 작업을 트리거하면 하위 파이프라인이 생성됩니다.

하위 파이프라인인 TRIGGERED_CE/EE_PIPELINE은 Omnibus-GitLab 리포지토리에서 생성됩니다.

TRIGGERED_CE/EE_PIPELINE 하위 파이프라인

이 하위 파이프라인에는 qa-subset-test라는 작업이 포함되어 있으며, 이 작업은 기본 GitLab 프로젝트의 test-on-omnibus/main.gitlab-ci.yml 파일을 사용합니다.

qa-subset-test 작업

qa-subset-test 작업은 Omnibus-GitLab 리포지토리에서 다른 하위 파이프라인을 트리거합니다. MR에 allure 보고서 스냅샷을 얻으려면 다음 환경 변수를 qa-subset-test에 전달해야 합니다.

환경 변수 설명
GITLAB_AUTH_TOKEN 이는 omnibus-gitlab 리포지토리에 코멘트를 게시하는 위험 봇에 액세스하기 위해 사용됩니다. 여기서는 ci-variable에 언급된 것과 동일한 $DANGER_GITLAB_API_TOKEN을 사용합니다.
ALLURE_MERGE_REQUEST_IID 이는 e2e-test-report-job에서 사용되는 MR ID를 나타내며, 이를 통해 allure-report-publisher가 제공된 ID로 MR에 메시지를 게시합니다. 예: !6190

qa-remaining-test-manual

qa-remaining-test-manual 작업은 수동 트리거 파이프라인입니다. qa-subset-test와 동일한 파이프라인을 트리거하지만, qa-subset-test 작업으로 실행되지 않은 테스트를 실행합니다.

qa-subset-test에서 사용된 환경 변수는 allure 보고서를 생성하는 데 이 작업에서도 사용됩니다.

QA-SUBSET-TEST 하위 파이프라인

이 파이프라인은 GitLab QA 프로젝트를 사용하여 조정된 모든 테스트의 하위 집합을 실행하며, 이 프로젝트는 allure gem을 사용하여 실행된 모든 테스트에 대한 보고서 소스 파일을 생성하고 공통 폴더에 파일을 저장합니다. instance, decomposition-single-db, decomposition-multiple-db 및 praefect와 같은 특정 조정된 작업은 초기에 전체 스위트를 실행했던 스모크 테스트만 실행합니다.

e2e-test-report 작업

e2e-test-report 작업에는 .generate-allure-report-base 작업이 포함되어 있으며, 이 작업에는 모든 보고서를 지정된 폴더에 한 곳에 모아서 단일 보고서로 업로드하는 allure-report-publisher gem이 사용됩니다.

또한 해당 allure 보고서를 qa-subset-test에서 전달된 ID를 가진 MR에 코멘트로 게시합니다.

allure-report-publisher는 뒷단에서 allure를 사용하는 젬입니다. 이는 GitLab에서 보고서를 업로드하고 MR에 코멘트를 게시하기 위해 맞춤화되었습니다.

omnibus MR 파이프라인의 QA 흐름 전체는 다음과 같습니다.

%%{init: {'theme':'base'}}%% graph TD B0 --->|각 커밋마다 트리거되는 MR 파이프라인| A0 A0 ---->|하위 파이프라인 생성| A1 A1 ---->|하위 파이프라인 생성| A2 A2 -->|"테스트가 성공하면 <br>e2e-test-report 작업 호출"| B1 B2 -.-|포함| B1 B1 -->|실행| C1 A3 -.-|포함| A1 C1 -.->|보고서 업로드| C2 C1 -.->|MR에 보고서 링크를 코멘트로 게시| B0 C3 -.->|풀| B2 subgraph Omnibus 파이프라인에서의 QA 흐름 subgraph Omnibus 상위 파이프라인 B0((병합 <br> 요청)) A0["`**_trigger-package_** 단계 <br> 수동 **_Trigger:ce/ee-package_** 작업 시작`"] end subgraph Trigger:CE/EE-job 하위 파이프라인 A1["`**_trigger-qa_** 단계 <br> **_qa-subset-test_** 작업`"] A3(["`_gitlab-org/gitlab_의 _test-on-omnibus/main.gitlab-ci.yml_`"]) end subgraph qa-subset-test 하위 파이프라인 A2["`_gitlab-org/gitlab_에서 **_test-on-omnibus/main.gitlab-ci.yml_**에서`"] B1["`**_report_** 단계 <br> **_e2e-test-report_** 작업`"] B2(["`_quality/pipeline-common_의 _.generate-allure-report-base_ 작업에서`"]) C1["`**_allure-report-publisher_** 젬`"] C2[("`AWS S3 <br> **_gitlab-qa-allure-report_** <br> in <br> **_eng-quality-ops-ci-cd-shared-infra_** <br> 프로젝트`")] C3["`image _andrcuns/allure-report-publisher:1.6.0_`를 풀"] end end

Allure 보고서 및 QA 파이프라인 데모

파이프라인의 상세한 영상 안내와 Allure 보고서 사용 방법은 YouTube에서 확인할 수 있습니다.