GitLab 유지 보수 모드

Tier: Premium, Ultimate Offering: Self-managed

유지 보수 모드를 사용하면 관리자가 유지 보수 작업을 수행하는 동안 쓰기 작업을 최소화할 수 있습니다. 주요 목표는 내부 상태를 변경하는 모든 외부 조치를 차단하는 것입니다. 내부 상태에는 PostgreSQL 데이터베이스뿐만 아니라 특히 파일, Git 저장소 및 컨테이너 저장소가 포함됩니다.

유지 보수 모드가 활성화되면 진행 중인 작업이 상대적으로 빨리 완료되기 때문에 새로운 작업이 들어오지 않고 내부 상태 변경이 최소화됩니다. 그 상태에서 다양한 유지 보수 작업이 쉬워집니다. 서비스를 완전히 중지하거나 그렇지 않다면 필요한 것보다 짧은 시간 동안 더 많이 저하시킬 수 있습니다. 예를 들어 cron 작업을 중지하고 대기열을 비우는 것은 상당히 빨라야합니다.

유지 보수 모드를 통해 내부 상태를 변경하지 않는 대부분의 외부 작업을 허용합니다. 고수준에서 HTTP POST, PUT, PATCH, 및 DELETE 요청이 차단되며 특수 사례 처리 방법에 대한 자세한 내용을 확인할 수 있습니다.

유지 보수 모드 활성화

관리자로서 유지 보수 모드를 다음 중 하나의 방법으로 활성화합니다:

  • 웹 UI:
    1. 왼쪽 사이드바에서 아래쪽에서 관리 영역을 선택합니다.
    2. 왼쪽 사이드바에서 설정 > 일반을 선택합니다.
    3. 유지 보수 모드를 확장하고 유지 보수 모드 활성화를 토글합니다. 선택적으로 배너에 메시지를 추가할 수 있습니다.
    4. 변경 사항 저장을 선택합니다.
  • API:

    curl --request PUT --header "PRIVATE-TOKEN:$ADMIN_TOKEN" "<gitlab-url>/api/v4/application/settings?maintenance_mode=true"
    
  • Rails 콘솔:

    ::Gitlab::CurrentSettings.update!(maintenance_mode: true)
    ::Gitlab::CurrentSettings.update!(maintenance_mode_message: "새 메시지")
    

유지 보수 모드 비활성화

유지 보수 모드를 다음 중 하나의 방법으로 비활성화합니다:

  • 웹 UI:
    1. 왼쪽 사이드바에서 아래쪽에서 관리 영역을 선택합니다.
    2. 왼쪽 사이드바에서 설정 > 일반을 선택합니다.
    3. 유지 보수 모드를 확장하고 유지 보수 모드 활성화를 토글합니다. 선택적으로 배너에 메시지를 추가할 수 있습니다.
    4. 변경 사항 저장을 선택합니다.
  • API:

    curl --request PUT --header "PRIVATE-TOKEN:$ADMIN_TOKEN" "<gitlab-url>/api/v4/application/settings?maintenance_mode=false"
    
  • Rails 콘솔:

    ::Gitlab::CurrentSettings.update!(maintenance_mode: false)
    

유지 보수 모드에서의 GitLab 기능 동작

유지 보수 모드가 활성화되면 페이지 상단에 배너가 표시됩니다. 이 배너는 특정 메시지로 사용자 정의할 수 있습니다.

사용자가 허용되지 않는 쓰기 작업을 수행하려고 시도하면 오류가 표시됩니다.

유지 보수 모드 배너 및 오류 메시지

참고: 일부 경우에서 작업으로 인한 시각적 피드백이 오도될 수 있습니다. 예를 들어 프로젝트에 별표를 찍을 때 Star 버튼이 Unstar 작업을 보여주도록 변경됩니다. 그러나 이것은 단순히 프론트엔드 업데이트이며 POST 요청의 실패 상태를 고려하지 않습니다. 이러한 시각적 버그는 추후 반복에서 수정될 예정입니다.

관리자 기능

시스템 관리자는 애플리케이션 설정을 편집할 수 있습니다. 이를 통해 활성화된 후 유지 보수 모드를 비활성화할 수 있습니다.

인증

모든 사용자가 GitLab 인스턴스에 로그인하고 로그아웃할 수 있지만 새로운 사용자를 생성할 수는 없습니다.

만약 그 시간에 LDAP 동기화가 예약되어 있으면 사용자 생성이 비활성화되기 때문에 실패합니다. 마찬가지로, SAML에 기반한 사용자 생성도 실패합니다.

Git 작업

모든 읽기 전용 Git 작업은 계속해서 작동합니다. 예를 들어 git clonegit pull 같은 모든 쓰기 작업은 오류 메시지와 함께 실패합니다: Git push is not allowed because this GitLab instance is currently in (read-only) maintenance mode.

Geo가 활성화된 경우, Git은 주 서버 및 보조 서버로 푸시하는 것이 실패합니다.

병합 요청, 이슈, 에픽

병합 요청이나 이슈를 업데이트할 수 없는 등 모든 쓰기 작업이 실패합니다.

수신 이메일

이메일로 새로운 이슈 응답, 이슈(서비스 데스크 이슈 포함), 병합 요청 생성이 실패합니다.

발신 이메일

알림 이메일은 계속해서 도착하지만, 비밀번호 재설정과 같이 데이터베이스 작성을 필요로 하는 이메일은 도착하지 않습니다.

REST API

대부분의 JSON 요청에 대해 POST, PUT, PATCH, 그리고 DELETE는 차단되며, API는 오류 메시지 읽기 전용 인스턴스에서 쓰기 작업을 수행할 수 없습니다와 함께 403 응답을 반환합니다. 다음 요청만 허용됩니다:

HTTP 요청 허용된 경로 비고
POST /admin/application_settings/general 관리자 UI에서 응용 프로그램 설정을 업데이트할 수 있도록 허용
PUT /api/v4/application/settings API를 통해 응용 프로그램 설정을 업데이트할 수 있도록 허용
POST /users/sign_in 사용자 로그인을 허용
POST /users/sign_out 사용자 로그아웃을 허용
POST /oauth/token Geo 보조 사이트에 처음으로 로그인할 수 있도록 허용
POST /admin/session, /admin/session/destroy GitLab 관리자를 위한 Admin 모드를 허용
POST /compare로 끝나는 경로 Git 리비전 경로
POST .git/git-upload-pack Git 풀/복제를 허용
POST /api/v4/internal 내부 API 경로
POST /admin/sidekiq 관리자 영역에서 백그라운드 작업 관리를 허용
POST /admin/geo 관리자 UI에서 Geo 노드를 업데이트할 수 있도록 허용
POST /api/v4/geo_replication 보조 사이트에서 일부 특정 Geo 관련 관리자 UI 조치를 허용

GraphQL API

POST /api/graphql 요청은 허용되지만 변이는 읽기 전용 인스턴스에서 쓰기 작업을 수행할 수 없습니다와 함께 차단됩니다.

허용된 유일한 변이는 GeoRegistriesUpdate로, 레지스트리를 다시 동기화하고 다시 확인하는 데 사용됩니다.

연속 통합

  • 새 작업 또는 파이프라인이 시작되지 않습니다.
  • 이미 실행 중인 작업은 GitLab UI에서 여전히 실행 중 상태가 유지됩니다. 심지어 GitLab Runner에서 실행이 완료되더라도요.
  • 프로젝트의 시간 제한을 초과하여 실행 중 상태의 작업은 타임아웃되지 않습니다.
  • 파이프라인을 시작, 다시 시도 또는 취소할 수 없습니다. 새로운 작업을 생성할 수도 없습니다.
  • /admin/runners에서 Runner의 상태가 업데이트되지 않습니다.
  • gitlab-runner verifyERROR: Verifying runner... is removed 오류를 반환합니다.

유지 보수 모드가 비활성화되면 새 작업이 다시 진행됩니다. 유지 보수 모드를 활성화하기 전에 실행 중 상태에 있던 작업을 다시 시작하고, 해당 로그가 다시 업데이트되기 시작합니다.

참고: 유지 보수 모드가 비활성화된 후 이전에 실행 중인 파이프라인을 다시 시작해야 합니다.

배포

파이프라인이 완료되지 않았기 때문에 배포가 이루어지지 않습니다.

유지 보수 모드 중에 자동 배포를 비활성화하고, 비활성화가 해제되면 다시 활성화해야 합니다.

Terraform 통합

Terraform 통합은 CI 파이프라인이 실행되는 것에 의존하기 때문에 차단됩니다.

컨테이너 레지스트리

docker push해당 리소스에 대한 액세스 요청이 거부되었습니다 오류로 실패하지만, docker pull은 작동합니다.

패키지 레지스트리

패키지 레지스트리는 패키지를 설치할 수는 있지만 발행할 수는 없습니다.

백그라운드 작업

백그라운드 작업 (cron 작업, Sidekiq)은 자동으로 비활성화되지 않기 때문에 계속 실행됩니다. 백그라운드 작업은 인스턴스의 내부 상태를 변경할 수 있는 작업을 수행하므로, 유지 보수 모드가 활성화된 동안 일부 또는 모든 작업을 해제하고자 할 수 있습니다.

계속해서 큐를 모니터링하고 작업을 비활성화하려면:

  1. 왼쪽 사이드바에서 하단에서 관리자 영역을 선택하세요.
  2. 모니터링 > 백그라운드 작업을 선택하세요.
  3. Sidekiq 대시보드에서 Cron을 선택하고 모든 작업 비활성화를 선택하거나 개별적으로 작업을 비활성화하세요.

사건 관리

사건 관리 기능이 제한됩니다. 알림사건을 만드는 것이 완전히 일시 중지됩니다. 따라서 알림 및 사건에 대한 알림 및 페이징이 비활성화됩니다.

기능 플래그

  • 개발 기능 플래그은 API를 통해 켜거나 끌 수는 없지만 Rails 콘솔을 통해 토글할 수 있습니다.
  • 기능 플래그 서비스는 기능 플래그 확인에 응답하지만 기능 플래그를 토글할 수는 없습니다

Geo 보조 사본

기본 사본이 유지 관리 모드에 있을 때 보조 사본도 자동으로 유지 관리 모드로 전환됩니다.

유지 관리 모드를 활성화하기 전에 복제를 비활성화하지 않도록 중요합니다.

관리자 UI를 통해 레지스트리의 동기화 및 재확인을 위한 복제, 확인 및 수동 작업을 계속할 수 있지만, 기본 사본으로의 프록시된 Git 푸시는 작동하지 않습니다.

안전한 기능

이슈 생성 또는 병합 요청 생성 또는 승인에 따라 작동하는 기능은 작동하지 않습니다.

취약점 보고서 페이지에서 취약성 목록을 내보내는 것이 작동하지 않습니다.

UI에는 오류가 표시되지 않지만 검사 또는 취약성 객체의 상태를 변경하는 것이 작동하지 않습니다.

SAST 및 Secret Detection은 아티팩트를 생성하기 위해 CI 작업을 통과해야 하므로 시작할 수 없습니다.

예시 사용 사례: 계획된 장애 조치

계획된 장애 조치의 사용 사례에서 기본 데이터베이스에 몇 가지 쓰기는 허용됩니다. 왜냐하면 이러한 쓰기는 빠르게 복제되고 수량적으로 중요하지 않기 때문입니다.

동일한 이유로 유지 관리 모드가 활성화되면 백그라운드 작업을 자동으로 차단하지 않습니다.

결과적으로 데이터베이스 쓰기는 허용됩니다. 여기서의 절충안은 더 많은 서비스 하락과 복제 완료 사이에 있습니다.

그러나 계획된 장애 조치 중에는 비 Geo 관련 cron 작업을 사용자들에게 직접 꺼내도록 요청합니다. 새로운 데이터베이스 쓰기나 비 Geo 관련 cron 작업이 없으면 새로운 백그라운드 작업은 아예 만들어지지 않거나 최소화될 것입니다.