- 암호와 시크릿이 실패하거나 동기화되지 않는 문제
- 데이터베이스가 망가지고 리셋이 필요한 경우
- 테스트에 사용된 백업을 업데이트해야 하는 경우
- CI 클러스터에 사용 가능한 리소스가 부족한 경우
GitLab 차트 개발 환경 문제 해결
여기에 기술된 모든 단계는 개발 환경에서만 적용됩니다. 관리자는 이 정보를 유익하게 여길 수 있지만, 제시된 수정 사항은 파괴적이며 프로덕션 시스템에 심각한 부정적인 영향을 미칠 수 있습니다.
암호와 시크릿이 실패하거나 동기화되지 않는 문제
개발자들은 종종 동일한 클러스터로 릴리스를 여러 번 배포, 삭제 및 재배포합니다. StatefulSet에서 생성된 Kubernetes 시크릿 및 지속적인 볼륨 클레임은 helm delete RELEASE_NAME
에 의해 의도적으로 제거되지 않습니다.
Kubernetes 시크릿만 제거하면 흥미로운 문제가 발생합니다. 예를 들어, 새로운 배포의 마이그레이션 pod는 GitLab Rails가 잘못된 암호로 인해 데이터베이스에 연결할 수 없게 됩니다.
개발 환경에서 릴리스를 완전히 제거하려면 시크릿과 지속적인 볼륨 클레임을 모두 제거해야 합니다.
# 절대 프로덕션 환경에서 이러한 명령을 실행하지 마십시오. 재앙이 닥칠 것입니다.
kubectl delete secrets,pvc -lrelease=RELEASE_NAME
데이터베이스가 망가지고 리셋이 필요한 경우
개발 환경에서 데이터베이스 환경을 리셋하려면 다음을 수행하면 됩니다:
- PostgreSQL StatefulSet을 삭제합니다.
- PostgreSQL PersistentVolumeClaim을 삭제합니다.
-
helm upgrade --install
로 다시 GitLab을 배포합니다.
테스트에 사용된 백업을 업데이트해야 하는 경우
CI의 특정 작업은 테스트 중에 GitLab의 백업을 사용합니다. 필요할 때 이 백업을 업데이트하려면 아래 단계를 완료하세요:
- 일치하는 안정적인 브랜치에 대한 CI 파이프라인을 실행하여 원하는 백업을 생성합니다.
- 예: 현재 릴리스가
5-5-stable
인 경우 브랜치5-4-stable
에 대한 CI 파이프라인을 실행하여 14.4의 백업을 생성합니다. - 유지자(Maintainer) 역할이 필요합니다.
- 예: 현재 릴리스가
- 해당 파이프라인에서 QA 작업을 취소합니다(그러나 스펙 테스트는 남깁니다)하여 백업에 추가 데이터가 포함되지 않도록 합니다.
- 스펙 테스트가 완료되도록 합니다. 이로써 이전 백업이 설치되고 우리가 원하는 버전으로 인스턴스가 마이그레이션됩니다.
-
gitlab-runner
배포 복제본을 0으로 편집하여 Runner를 끕니다. - UI에 로그인하여 관리자 섹션에서 Runner를 삭제합니다. 이렇게 하면 나중에 암호화 오류를 방지하는 데 도움이 될 것입니다.
- 모든 백그라운드 마이그레이션을 완료했는지 확인하고 필요한 경우 완료하도록 강제합니다.
-
toolbox
Pod를 삭제하여 기존tmp
데이터가 없도록 합니다. 이렇게 하면 백업이 작아집니다. - 백업 내용을 수정하려면 매뉴얼 작업이 필요한 경우에 모든 수작업을 완료한 후 다음 단계로 넘어갑니다.
- 새로운
toolbox
Pod에서 새 백업을 생성합니다. - MinIO의 CI 인스턴스에서 새 백업을 다운로드합니다.
- 새 백업을 Google Cloud Storage (GCS)의 적절한 위치에 업로드합니다:
- 프로젝트:
cloud-native-182609
, 경로:gitlab-charts-ci/test-backups/
- 액세스를 편집하고
Entity=Public
,Name=allUsers
,Access=Reader
를 추가합니다.
- 프로젝트:
- 마지막으로,
.gitlab-ci.yml
의.variables.TEST_BACKUP_PREFIX
를 새 백업의 새 버전으로 업데이트합니다.- 예: 파일 이름이
1708623546_2024_02_22_16.9.1-ee_gitlab_backup
인 경우 접두사는1708623546_2024_02_22_16.9.1-ee
입니다.
- 예: 파일 이름이
향후 파이프라인은 이제 테스트 중에 새 백업 artefact를 사용하게 됩니다.
CI 클러스터에 사용 가능한 리소스가 부족한 경우
하나 이상의 CI 클러스터에서 CPU 및 메모리와 같은 사용 가능한 리소스가 부족한 것을 알 수 있습니다. 클러스터는 일반적으로 사용 가능한 노드를 자동으로 확장하도록 구성되어 있지만, 때로는 상한선에 도달하여 더 이상 노드를 생성할 수 없게 됩니다. 이 경우, 좋은 첫 번째 단계는 클러스터에서 GitLab Helm 차트의 설치 여부를 확인하는 것입니다.
일반적으로 파이프라인의 리뷰 앱 로직에 의해 설치는 자동으로 정리되지만, 이것은 다양한 이유로 실패할 수 있습니다. 자세한 내용은 다음 이슈를 참조하세요:
회피책으로, 이러한 설치는 CI의 연관된 stop_review
작업을 실행하여 매뉴얼으로 삭제할 수 있습니다. 이를 쉽게 만들기 위해 관련된 파이프라인을 열어 stop_review
작업을 실행하려면 helm_ci_triage.sh
스크립트를 사용하세요. 스크립트에서 더 많은 사용법 세부 정보를 참조할 수 있습니다.