GitLab 차트 개발 환경 문제 해결

여기에 기술된 모든 단계는 개발 환경에서만 적용됩니다. 관리자는 이 정보를 유익하게 여길 수 있지만, 제시된 수정 사항은 파괴적이며 프로덕션 시스템에 심각한 부정적인 영향을 미칠 수 있습니다.

암호와 시크릿이 실패하거나 동기화되지 않는 문제

개발자들은 종종 동일한 클러스터로 릴리스를 여러 번 배포, 삭제 및 재배포합니다. StatefulSet에서 생성된 Kubernetes 시크릿 및 지속적인 볼륨 클레임은 helm delete RELEASE_NAME에 의해 의도적으로 제거되지 않습니다.

Kubernetes 시크릿만 제거하면 흥미로운 문제가 발생합니다. 예를 들어, 새로운 배포의 마이그레이션 pod는 GitLab Rails가 잘못된 암호로 인해 데이터베이스에 연결할 수 없게 됩니다.

개발 환경에서 릴리스를 완전히 제거하려면 시크릿과 지속적인 볼륨 클레임을 모두 제거해야 합니다. 

# 절대 프로덕션 환경에서 이러한 명령을 실행하지 마십시오. 재앙이 닥칠 것입니다.
kubectl delete secrets,pvc -lrelease=RELEASE_NAME
note
이로 인해 데이터베이스의 모든 Kubernetes 시크릿 및 TLS 인증서와 데이터가 삭제됩니다. 이는 프로덕션 인스턴스에서 수행해서는 안 됩니다.

데이터베이스가 망가지고 리셋이 필요한 경우

개발 환경에서 데이터베이스 환경을 리셋하려면 다음을 수행하면 됩니다:

  1. PostgreSQL StatefulSet을 삭제합니다.
  2. PostgreSQL PersistentVolumeClaim을 삭제합니다.
  3. helm upgrade --install로 다시 GitLab을 배포합니다.
note
이로 인해 데이터베이스의 모든 데이터가 삭제되므로 프로덕션 환경에서 실행해서는 안 됩니다.

테스트에 사용된 백업을 업데이트해야 하는 경우

CI의 특정 작업은 테스트 중에 GitLab의 백업을 사용합니다. 필요할 때 이 백업을 업데이트하려면 아래 단계를 완료하세요:

  1. 일치하는 안정적인 브랜치에 대한 CI 파이프라인을 실행하여 원하는 백업을 생성합니다.
    1. 예: 현재 릴리스가 5-5-stable인 경우 브랜치 5-4-stable에 대한 CI 파이프라인을 실행하여 14.4의 백업을 생성합니다.
    2. 유지자(Maintainer) 역할이 필요합니다.
  2. 해당 파이프라인에서 QA 작업을 취소합니다(그러나 스펙 테스트는 남깁니다)하여 백업에 추가 데이터가 포함되지 않도록 합니다.
  3. 스펙 테스트가 완료되도록 합니다. 이로써 이전 백업이 설치되고 우리가 원하는 버전으로 인스턴스가 마이그레이션됩니다.
  4. gitlab-runner 배포 복제본을 0으로 편집하여 Runner를 끕니다.
  5. UI에 로그인하여 관리자 섹션에서 Runner를 삭제합니다. 이렇게 하면 나중에 암호화 오류를 방지하는 데 도움이 될 것입니다.
  6. 모든 백그라운드 마이그레이션을 완료했는지 확인하고 필요한 경우 완료하도록 강제합니다.
  7. toolbox Pod를 삭제하여 기존 tmp 데이터가 없도록 합니다. 이렇게 하면 백업이 작아집니다.
  8. 백업 내용을 수정하려면 매뉴얼 작업이 필요한 경우에 모든 수작업을 완료한 후 다음 단계로 넘어갑니다.
  9. 새로운 toolbox Pod에서 새 백업을 생성합니다.
  10. MinIO의 CI 인스턴스에서 새 백업을 다운로드합니다.
  11. 새 백업을 Google Cloud Storage (GCS)의 적절한 위치에 업로드합니다:
    1. 프로젝트: cloud-native-182609, 경로: gitlab-charts-ci/test-backups/
    2. 액세스를 편집하고 Entity=Public, Name=allUsers, Access=Reader를 추가합니다.
  12. 마지막으로, .gitlab-ci.yml의 .variables.TEST_BACKUP_PREFIX를 새 백업의 새 버전으로 업데이트합니다.
    • 예: 파일 이름이 1708623546_2024_02_22_16.9.1-ee_gitlab_backup인 경우 접두사는 1708623546_2024_02_22_16.9.1-ee입니다.

향후 파이프라인은 이제 테스트 중에 새 백업 artefact를 사용하게 됩니다.

CI 클러스터에 사용 가능한 리소스가 부족한 경우

하나 이상의 CI 클러스터에서 CPU 및 메모리와 같은 사용 가능한 리소스가 부족한 것을 알 수 있습니다. 클러스터는 일반적으로 사용 가능한 노드를 자동으로 확장하도록 구성되어 있지만, 때로는 상한선에 도달하여 더 이상 노드를 생성할 수 없게 됩니다. 이 경우, 좋은 첫 번째 단계는 클러스터에서 GitLab Helm 차트의 설치 여부를 확인하는 것입니다.

일반적으로 파이프라인의 리뷰 앱 로직에 의해 설치는 자동으로 정리되지만, 이것은 다양한 이유로 실패할 수 있습니다. 자세한 내용은 다음 이슈를 참조하세요:

회피책으로, 이러한 설치는 CI의 연관된 stop_review 작업을 실행하여 매뉴얼으로 삭제할 수 있습니다. 이를 쉽게 만들기 위해 관련된 파이프라인을 열어 stop_review 작업을 실행하려면 helm_ci_triage.sh 스크립트를 사용하세요. 스크립트에서 더 많은 사용법 세부 정보를 참조할 수 있습니다.