GitLab 차트 개발 환경의 문제 해결

여기에 기록된 모든 단계는 개발 환경 전용입니다.
관리자들은 이 정보를 유익하게 여길 수 있지만, 제시된 수정 사항은 파괴적이며 프로덕션 시스템에 심각한 부정적 영향을 미칠 수 있습니다.

비밀번호 및 시크릿 동기화 실패

개발자들은 보통 동일한 클러스터로 여러 번 릴리스를 배포, 삭제 및 재배포합니다. StatefulSet에 의해 생성된 Kubernetes 시크릿과 지속적인 볼륨 클레임을 helm delete RELEASE_NAME으로 의도적으로 제거하지 않습니다.

오직 Kubernetes 시크릿만 제거하는 것은 흥미로운 문제를 야기합니다. 예를 들어, 새로운 배포의 마이그레이션 파드가 실패하게 됩니다. 왜냐하면 GitLab Rails가 올바른 비밀번호를 가지고 있지 않아 데이터베이스에 연결할 수 없기 때문입니다.

개발 환경에서 릴리스와 시크릿을 완전히 제거하려면, 개발자는 시크릿과 지속적인 볼륨 클레임을 동시에 제거해야 합니다. 

# 본 명령어는 프로덕션 환경에서 실행하지 마십시오. 재앙이 발생합니다.
kubectl delete secrets,pvc -lrelease=RELEASE_NAME

참고: 이는 TLS 인증서 및 데이터베이스의 모든 데이터를 포함하여 모든 Kubernetes 시크릿을 삭제합니다. 이는 프로덕션 환경에서 수행해서는 안 됩니다.

데이터베이스가 손상되어 초기화 필요

개발 환경에서 데이터베이스 환경을 재설정하려면 다음을 수행합니다:

  1. PostgreSQL StatefulSet 삭제
  2. PostgreSQL PersistentVolumeClaim 삭제
  3. helm upgrade --install을 사용하여 다시 GitLab을 배포

참고: 이로써 데이터베이스의 모든 데이터가 삭제되며, 프로덕션 환경에서 실행해서는 안 됩니다.

테스트에 사용된 백업을 업데이트해야 함

CI에서 특정 작업들은 GitLab의 백업을 테스트에 사용합니다. 필요할 때 다음 단계를 완료하여 이 백업을 업데이트합니다:

  1. 일치하는 안정적인 브랜치에 대한 CI 파이프라인을 실행하여 원하는 백업을 생성합니다.
    1. 예: 현재 릴리스가 5-5-stable인 경우 브랜치 5-4-stable에 대한 CI 파이프라인을 실행하여 14.4의 백업을 생성합니다.
    2. 유지자(Maintainer) 역할이 필요함에 유의하세요.
  2. 해당 파이프라인에서 QA 작업을 취소합니다(단, 스펙 테스트는 남김)하여 백업에 추가 데이터를 받지 않습니다.
  3. 스펙 테스트를 완료합니다. 이로써 이전 백업이 설치되고 원하는 버전으로 인스턴스가 마이그레이션됩니다.
  4. gitlab-runner 배포 레플리카를 0으로 편집하여 Runner를 중지시킵니다.
  5. UI에 로그인하여 관리자 섹션에서 Runner를 삭제합니다. 이로써 나중에 암호화 오류를 피할 수 있습니다.
  6. 모든 백그라운드 마이그레이션 작업이 완료되었는지 확인, 필요하다면 완료하도록 합니다.
  7. toolbox Pod를 삭제하여 기존 tmp 데이터가 없도록 합니다. 이로써 백업을 작게 유지합니다.
  8. 백업 내용을 수정해야 하는 경우 수동 작업이 필요하면 다음 단계로 진행하기 전에 완료합니다.
  9. 새로운 toolbox Pod에서 새로운 백업을 생성합니다.
  10. CI 인스턴스의 MinIO에서 새로운 백업을 다운로드합니다. gitlab-backups 버킷에 있습니다.
  11. 백업을 Google Cloud Storage (GCS)의 적절한 위치로 업로드합니다:
    1. 프로젝트: cloud-native-182609, 경로: gitlab-charts-ci/test-backups/
    2. 편집 액세스하고 Entity=Public, Name=allUsers, Access=Reader를 추가합니다.
  12. 마지막으로, .gitlab-ci.yml의 .variables.TEST_BACKUP_PREFIX를 새로운 백업 버전으로 업데이트합니다.
    • 예: 파일 이름이 1708623546_2024_02_22_16.9.1-ee_gitlab_backup인 경우 접두어는 1708623546_2024_02_22_16.9.1-ee입니다.

앞으로의 파이프라인에서는 새로운 백업 artifact를 사용하게 됩니다.

CI 클러스터의 사용 가능한 리소스가 부족함

하나 이상의 CI 클러스터가 CPU 및 메모리와 같은 사용 가능한 리소스가 부족한 것을 알 수 있습니다. 클러스터는 일반적으로 사용 가능한 노드의 자동 확장이 구성되어 있지만, 때로는 상한선에 도달하여 더 이상 노드를 생성할 수 없을 수 있습니다. 이 경우, 좋은 첫 번째 단계는 클러스터에서 GitLab Helm 차트의 설치를 제거할 수 있는지 확인하는 것입니다.

일반적으로 리뷰 앱 로직에서 인스톨레이션은 자동으로 정리되지만, 다양한 이유로 실패할 수 있습니다. 자세한 내용은 다음 이슈를 참조하세요:

임시 방편으로, 관련 CI에서 연관된 stop_review 작업을 수동으로 삭제할 수 있습니다. 이를 더 쉽게 하려면, 연관된 파이프라인을 실행하여 stop_review 작업을 실행하는 스크립트인 helm_ci_triage.sh를 사용하세요. 스크립트에서 추가 사용 방법에 대한 자세한 내용을 확인할 수 있습니다.