GitLab 백업

Tier: Free, Premium, Ultimate Offering: Self-managed

GitLab의 백업 절차는 다양한 요소에 따라 정확한 프로세스가 달라집니다. 특정 배포의 사용 및 구성에 따라 어떤 종류의 데이터가 존재하고, 어디에 위치하며 얼마나 많은지가 결정됩니다. 이러한 요소는 백업 수행 방법, 저장 방법 및 복원 방법에 영향을 미칩니다.

간단한 백업 절차

대략적인 기준으로, 100GB 미만의 데이터를 처리하는 1k 참조 아키텍처를 사용하고 있다면 다음 단계를 따르세요:

  1. 백업 명령어를 실행합니다.
  2. 객체 저장소를 백업합니다(해당하는 경우).
  3. 구성 파일을 수동으로 백업합니다.

백업 확장

GitLab 데이터 양이 증가함에 따라 백업 명령어의 실행 시간이 더 오래 걸립니다. 백업 옵션Git 저장소를 병행하여 백업하거나 증분 저장소 백업은 실행 시간을 줄이는 데 도움이 될 수 있습니다. 어느 순간이 되면 백업 명령어만으로는 실용적이지 않아집니다. 예를 들어 24시간 이상이 걸릴 수도 있습니다.

경우에 따라서는 백업을 확장하기 위해 아키텍처 변경이 필요할 수 있습니다. GitLab 참조 아키텍처를 사용 중이라면 대형 참조 아키텍처 백업 및 복원을 참조하세요.

자세한 내용은 대체 백업 전략을 참조하세요.

어떤 데이터를 백업해야 하나요?

PostgreSQL 데이터베이스

가장 간단한 경우에는 GitLab이 모든 다른 GitLab 서비스와 동일한 VM에 있는 단일 PostgreSQL 서버에서 하나의 PostgreSQL 데이터베이스를 사용합니다. 그러나 구성에 따라 GitLab은 여러 PostgreSQL 데이터베이스를 여러 PostgreSQL 서버에서 사용할 수 있습니다.

일반적으로 이 데이터는 Web 인터페이스에서 대부분의 사용자 생성 콘텐츠의 싱글 소스인 비진리 데이터, 예를 들어 이슈 및 병합 요청 콘텐츠, 코멘트, 권한 및 자격 증명 등을 저장합니다.

또한 PostgreSQL은 HTML로 렌더링된 Markdown과 병합 요청 차이를 기본적으로 캐시 데이터 저장합니다. 그러나 병합 요청 차이는 파일 시스템 또는 객체 저장소로 오프로드되도록 구성할 수도 있습니다. 자세한 내용은 Blobs를 참조하세요.

Gitaly 클러스터의 Praefect 서비스는 Gitaly 노드를 관리하기 위해 PostgreSQL 데이터베이스를 싱글 소스로 사용합니다.

일반적인 PostgreSQL 유틸리티인 pg_dump는 PostgreSQL 데이터베이스를 복원하는 데 사용할 수 있는 백업 파일을 생성합니다. 백업 명령어는 내부적으로 이 유틸리티를 사용합니다.

불행하게도, 데이터베이스가 클수록 pg_dump 실행에 시간이 더 오래 걸립니다. 상황에 따라서는 일정 시점에 실행 시간이 실용적이지 않아집니다(예: 몇 일). 데이터베이스가 100GB를 초과하면 pg_dump 및 이에 따라 백업 명령어를 사용하는 것이 적합하지 않을 가능성이 높습니다. 자세한 내용은 대체 백업 전략를 참조하세요.

Git 저장소

GitLab 인스턴스는 하나 이상의 저장소 샤드를 가질 수 있습니다. 각 샤드는 로컬로 저장된 Git 저장소에 대한 액세스 및 작업을 허용하는 Gitaly 인스턴스 또는 Gitaly 클러스터를 의미합니다. Gitaly는 다음과 같은 머신에서 실행될 수 있습니다:

  • 단일 디스크를 사용하는 머신.
  • 단일 마운트 포인트로 연결된 여러 디스크를 사용하는 머신(예: RAID 어레이).
  • LVM을 사용하는 머신.

각 프로젝트는 최대 3개의 다른 저장소를 가질 수 있습니다:

  • 소스 코드가 저장되는 프로젝트 저장소.
  • 위키 콘텐츠가 저장되는 위키 저장소.
  • 디자인 자산이 인덱싱되는 디자인 저장소(LFS의 경우, 실제 자산은 LFS에 있습니다).

모두 동일한 샤드에 위치하며 Wiki 및 Design 저장소의 경우 -wiki-design 접미사가 동일한 기본 이름을 공유합니다.

개인 및 프로젝트 스니펫, 그룹 위키 콘텐츠는 Git 저장소에 저장됩니다.

풀 저장소를 사용하여 프로젝트의 포크는 라이브 GitLab 사이트에서 중복 처리됩니다.

백업 명령어는 각 저장소에 대해 Git 번들을 생성하고 모두 tar로 묶습니다. 이로 인해 풀 저장소 데이터가 모든 포크로 복제됩니다. 우리의 테스트에서 100GB의 Git 저장소는 백업 및 S3 업로드에 약 2시간 정도 걸렸습니다. 대략적으로 400GB의 Git 데이터에서는 백업 명령어가 정기적인 백업에 적합하지 않을 가능성이 높습니다. 자세한 내용은 대체 백업 전략를 참조하세요.

Blobs

GitLab은 이슈 첨부 파일이나 LFS 객체와 같은 Blob(또는 파일)을 다음 위치에 저장합니다:

  • 특정 위치의 파일 시스템.
  • 객체 저장소 솔루션. 객체 저장소 솔루션이 다음과 같을 수 있습니다:
    • Amazon S3 및 Google Cloud Storage와 같은 클라우드 기반 솔루션.
    • MinIO와 같이 사용자가 호스팅하는 솔루션.
    • 객체 저장소 호환 API를 노출하는 저장소 장치.

객체 저장소

백업 명령어는 파일 시스템에 저장되지 않은 Blob을 백업하지 않습니다. 객체 저장소를 사용 중이라면 해당 객체 저장소 제공 업체에서 백업을 활성화하세요. 예를 들어 다음을 참조하세요:

컨테이너 레지스트리

GitLab 컨테이너 레지스트리 스토리지는 다음 위치에 구성될 수 있습니다:

  • 특정 위치의 파일 시스템.
  • 객체 저장소 솔루션. 객체 저장소 솔루션이 다음과 같을 수 있습니다:
    • Amazon S3 및 Google Cloud Storage와 같은 클라우드 기반 솔루션.
    • MinIO와 같이 사용자가 호스팅하는 솔루션.
    • 객체 저장소 호환 API를 노출하는 저장소 장치.

백업 명령어는 객체 저장소에 저장된 경우 레지스트리 데이터를 백업하지 않습니다.

구성 파일 저장

경고: GitLab에서 제공하는 백업 Rake 작업은 구성 파일을 저장하지 않습니다. 이것에 대한 주된 이유는 데이터베이스에는 이중 인증 및 CI/CD 안전 변수를 위한 암호화된 정보가 포함되어 있기 때문입니다. 암호화 된 정보를 해당 키와 동일한 위치에 저장하는 것은 암호화를 사용하는 것의 목적을 무효화시킵니다. 예를 들어, 시크릿 파일에는 데이터베이스 암호화 키가 포함되어 있습니다. 그것을 잃게 되면, GitLab 애플리케이션은 데이터베이스의 암호화 된 값들을 복호화할 수 없게 됩니다.

경고: 업그레이드 후에 시크릿 파일이 변경될 수 있습니다.

최소한 최소한 구성 디렉토리를 백업해야 합니다.

Linux 패키지
  • /etc/gitlab/gitlab-secrets.json
  • /etc/gitlab/gitlab.rb

더 많은 정보를 원하신다면, Linux 패키지(Omnibus) 구성 백업 및 복원을(를) 참조하세요.

자체 컴파일
  • /home/git/gitlab/config/secrets.yml
  • /home/git/gitlab/config/gitlab.yml
Docker
  • 구성 파일이 저장된 볼륨을 백업합니다. GitLab 컨테이너를 문서에 따라 만들었다면, /srv/gitlab/config 디렉토리에 있어야 합니다.
GitLab Helm 차트

TLS 키 및 인증서(/etc/gitlab/ssl, /etc/gitlab/trusted-certs) 및 SSH 호스트 키도 백업하고 전체 머신 복원을 수행해야 하는 경우 중간자 공격 경고를 피할 수 있습니다.

시크릿 파일이 손실된 경우, 시크릿 파일이 손실된 경우를 참조하세요.

기타 데이터

GitLab은 캐시 저장소 및 백그라운드 작업 시스템, 사이드킥을 위한 지속적인 데이터로 Redis를 사용합니다. 제공된 백업 명령은 Redis 데이터를 백업하지 않습니다. 이는 백엥 명령을 통한 일관된 백업을 하기 위해서는 보류 중이거나 실행 중인 백그라운드 작업이 없어야 한다는 것을 의미합니다. Redis를 수동으로 백업하는 것이 가능합니다.

Elasticsearch는 고급 검색을 위한 선택적 데이터베이스입니다. 소스 코드 수준과 이슈, 병합 요청, 토론에서 사용자 생성 콘텐츠의 검색을 개선할 수 있습니다. 백업 명령은 Elasticsearch 데이터를 백업하지 않습니다. Elasticsearch 데이터는 복원 후 PostgreSQL 데이터에서 재생성할 수 있습니다. Elasticsearch를 수동으로 백업하는 것이 가능합니다.

명령 줄 인터페이스

GitLab은 다음과 같은 전체 인스턴스를 백업할 수 있는 명령 줄 인터페이스를 제공합니다.

  • 데이터베이스
  • 첨부 파일
  • Git 저장소 데이터
  • CI/CD 작업 출력 로그
  • CI/CD 작업 아티팩트
  • LFS 객체
  • Terraform 상태
  • 컨테이너 레지스트리 이미지
  • GitLab 페이지 콘텐츠
  • 패키지
  • 스니펫
  • 그룹 위키
  • 프로젝트 수준 안전 파일 (GitLab 16.1에 도입됨)
  • 외부 병합 요청 차이점 (GitLab 17.1에 도입됨)

백업에는 다음이 포함되지 않습니다.

경고: GitLab은 /etc/gitlab 구성 파일, TLS 키 및 인증서, 시스템 파일을 백업하지 않습니다. 구성 파일 저장에 대한 정보를 꼭 읽어보시기 바랍니다.

요구사항

백업 및 복원을 위해 시스템에 Rsync가 설치되어 있는지 확인하세요. GitLab을 설치했다면:

  • 리눅스 패키지를 사용하는 경우, Rsync가 이미 설치되어 있습니다.
  • 자체 컴파일을 사용하는 경우, rsync가 설치되어 있는지 확인하세요. Rsync가 설치되어 있지 않은 경우, 설치하세요. 예:

    # Debian/Ubuntu
    sudo apt-get install rsync
    
    # RHEL/CentOS
    sudo yum install rsync
    

백업 명령

경고: 백업 명령은 리눅스 패키지(Omnibus) / Docker / 자체 컴파일 설치의 객체 저장소에 있는 항목을 백업하지 않습니다.

경고: 백업 명령은 PgBouncer를 사용하는 설치에 대한 추가 매개변수가 필요합니다. 이는 성능상의 이유 또는 Patroni 클러스터를 사용할 때입니다.

경고: GitLab 15.5.0 이전에는 백업 명령은 다른 백업이 진행 중인지 확인하지 않습니다. 새로운 백업을 시작하기 전에 모든 백업이 완료되었는지 반드시 확인하시기 바랍니다.

참고: 백업은 생성된 GitLab의 동일한 버전 및 유형(CE/EE)에만 복원할 수 있습니다.

리눅스 패키지 (Omnibus)
sudo gitlab-backup create
Helm 차트 (쿠버네티스)

kubectl을 사용하여 GitLab toolbox pod에서 backup-utility 스크립트를 실행하여 백업 작업을 수행합니다. 자세한 내용은 차트 백업 문서를 참조하세요.

Docker

호스트에서 백업을 실행합니다.

docker exec -t <container name> gitlab-backup create
자체 컴파일
sudo -u git -H bundle exec rake gitlab:backup:create RAILS_ENV=production

GitLab 배포에 복수의 노드가 있는 경우, 백업 명령을 실행할 노드를 선택해야 합니다. 지정된 노드가 다음을 보장해야 합니다:

  • 지속적이고 자동으로 확장되지 않습니다.
  • GitLab 레일스 애플리케이션이 이미 설치되어 있습니다. Puma 또는 Sidekiq가 실행 중이면 레일스가 설치되어 있습니다.
  • 백업 파일을 생성할 충분한 저장 공간과 메모리가 있어야 합니다.

사용 예시 출력:

데이터베이스 테이블 덤프:
- 이벤트 테이블 덤프... [완료]
- 이슈 테이블 덤프... [완료]
- 키 테이블 덤프... [완료]
- 병합 요청 테이블 덤프... [완료]
- 마일스톤 테이블 덤프... [완료]
- 네임스페이스 테이블 덤프... [완료]
- 노트 테이블 덤프... [완료]
- 프로젝트 테이블 덤프... [완료]
- 보호된 브랜치 테이블 덤프... [완료]
- 스키마 마이그레이션 테이블 덤프... [완료]
- 서비스 테이블 덤프... [완료]
- 스니펫 테이블 덤프... [완료]
- 태깅 테이블 덤프... [완료]
- 사용자 테이블 덤프... [완료]
- 사용자 프로젝트 테이블 덤프... [완료]
- 웹 후크 테이블 덤프... [완료]
- 위키 테이블 덤프... [완료]
저장소 덤프:
- 저장소 abcd 덤프... [완료]
백업 아카이브 생성: <백업-id>_gitlab_backup.tar [완료]
임시 디렉토리 삭제...[완료]
이전 백업 삭제... [건너뛰기]

자세한 백업 프로세스에 대한 정보는 백업 아카이브 프로세스를 참조하세요.

백업 옵션

GitLab의 명령줄 도구는 인스턴스를 백업할 수 있는 옵션을 더 많이 받아들일 수 있습니다.

백업 전략 옵션

기본 백업 전략은 리눅스 명령어인 targzip을 사용하여 해당 데이터 위치에서 데이터를 백업으로 스트리밍하는 것입니다. 이는 대부분의 경우에 잘 작동하지만 데이터가 빠르게 변경될 때 문제를 유발할 수 있습니다.

tar가 데이터를 읽는 동안 데이터가 변경되면 오류 file changed as we read it가 발생하여 백업 프로세스가 실패할 수 있습니다. 이 경우 copy라는 백업 전략을 사용할 수 있습니다. 이 전략은 데이터 파일을 targzip을 호출하기 전에 임시 위치로 복사하여 오류를 피합니다.

부작용으로는 백업 프로세스가 추가적으로 1배의 디스크 공간을 차지합니다. 프로세스는 각 단계에서 임시 파일을 청소하기 위해 최선을 다하지만, 대규모 설치에는 상당한 변화가 될 수 있습니다.

기본 스트리밍 전략 대신 copy 전략을 사용하려면 Rake 작업 명령어에 STRATEGY=copy를 명시하면 됩니다. 예를 들어:

sudo gitlab-backup create STRATEGY=copy

백업 파일 이름

경고: 사용자 정의 백업 파일 이름을 사용하는 경우 백업 수명을 제한할 수 없습니다.

백업 파일은 특정 기본값에 따라 이름이 지정됩니다. 그러나 BACKUP 환경 변수를 설정하여 파일 이름의 <backup-id> 부분을 덮어쓸 수 있습니다. 예를 들어:

sudo gitlab-backup create BACKUP=dump

결과 파일의 이름은 dump_gitlab_backup.tar입니다. 이는 rsync 및 점진적 백업을 사용하는 시스템에 유용하며 전송 속도가 훨씬 빨라집니다.

백업 압축

기본적으로 PostgreSQL 데이터베이스 덤프 및 업로드, 작업 아티팩트, 외부 병합 요청의 예와 같이 blobs의 백업 중에 Gzip 고속 압축이 적용됩니다.

기본 명령어는 gzip -c -1입니다. 이 명령어를 COMPRESS_CMD로 덮어쓸 수 있습니다. 마찬가지로 압축 해제 명령어를 DECOMPRESS_CMD로 덮어써도 됩니다.

주의사항:

  • 압축 명령어는 파이프라인에서 사용되므로 사용자 정의 명령어는 반드시 stdout로 출력해야 합니다.
  • GitLab에 포함되지 않은 명령어를 지정하는 경우 직접 설치해야 합니다.
  • 결과 파일 이름은 여전히 .gz로 끝납니다.
  • 복원 중에 기본 해제 명령어는 gzip -cd입니다. 따라서 압축 명령어를 gzip -cd로 해제할 수 없는 형식으로 덮어쓴 경우 복원 중에 해제 명령어를 덮어써야 합니다.
  • 백업 명령어 뒤에 환경 변수를 배치하지 마십시오. 예를 들어, gitlab-backup create COMPRESS_CMD="pigz -c --best"는 의도한 대로 작동하지 않습니다.
기본 압축: 가장 빠른 방법을 사용한 Gzip
gitlab-backup create
가장 느린 방법의 Gzip
COMPRESS_CMD="gzip -c --best" gitlab-backup create

만약 백업에 gzip이 사용되었다면, 복원에는 특별한 옵션이 필요하지 않습니다:

gitlab-backup restore
압축하지 않음

백업 대상 장소에 내장된 자동 압축이 있는 경우 압축을 건너뛰기를 원할 수 있습니다.

tee 명령어는 stdinstdout으로 전달합니다.

COMPRESS_CMD=tee gitlab-backup create

그리고 복원할 때:

DECOMPRESS_CMD=tee gitlab-backup restore
pigz를 사용한 병렬 압축

경고: 기본 Gzip 압축 라이브러리를 기본 옵션으로 사용하는 것을 지원하지만, 다른 압축 라이브러리를 사용하는 것은 일반적인 백업의 경우 최선의 실천 방법으로 테스트 및 확인을 권장합니다. 다른 압축 라이브러리로 발생하는 문제를 해결하려면 기본값으로 되돌아가야 합니다. 다른 라이브러리와 관련된 문제 해결 및 수정은 GitLab의 하위 우선 순위입니다.

참고: pigz는 GitLab 리눅스 패키지에 포함되어 있지 않습니다. 직접 설치해야 합니다.

4개의 프로세스를 사용하여 pigz로 백업을 압축하는 예:

COMPRESS_CMD="pigz --compress --stdout --fast --processes=4" sudo gitlab-backup create

pigzgzip 형식으로 압축하므로, pigz로 압축된 백업을 해제하기 위해 pigz를 사용할 필요가 없습니다. 그러나 pigz를 사용하는 것이 여전히 gzip보다 성능상의 이점을 가질 수 있습니다. pigz로 백업을 해제하는 예:

DECOMPRESS_CMD="pigz --decompress --stdout" sudo gitlab-backup restore
zstd를 사용한 병렬 압축

경고: 기본 Gzip 압축 라이브러리를 기본 옵션으로 사용하는 것을 지원하지만, 다른 압축 라이브러리를 사용하는 것은 일반적인 백업의 경우 최선의 실천 방법으로 테스트 및 확인을 권장합니다. 다른 압축 라이브러리로 발생하는 문제를 해결하려면 기본값으로 되돌아가야 합니다. 다른 라이브러리와 관련된 문제 해결 및 수정은 GitLab의 하위 우선 순위입니다.

참고: zstd는 GitLab 리눅스 패키지에 포함되어 있지 않습니다. 직접 설치해야 합니다.

4개의 스레드를 사용하여 zstd로 백업을 압축하는 예:

COMPRESS_CMD="zstd --compress --stdout --fast --threads=4" sudo gitlab-backup create

zstd를 사용한 백업을 해제하는 예:

DECOMPRESS_CMD="zstd --decompress --stdout" sudo gitlab-backup restore

아카이브를 전송할 수 있는지 확인

rsync에서 생성된 아카이브를 전송할 수 있도록 하려면 GZIP_RSYNCABLE=yes 옵션을 설정할 수 있습니다. 이 옵션은 gzip--rsyncable 옵션을 설정하며, 백업 파일 이름 옵션을 설정하는 경우에만 유용합니다.

gzip--rsyncable 옵션은 모든 배포판에서 항상 사용할 수 있는 것은 아닙니다. 사용 가능한지 확인하려면 gzip --help를 실행하거나 man 페이지를 참조하십시오.

sudo gitlab-backup create BACKUP=dump GZIP_RSYNCABLE=yes

백업에서 특정 데이터 제외

설치 유형에 따라 백업 생성 시 약간 다른 구성 요소를 제외할 수 있습니다.

Linux 패키지 (Omnibus) / Docker / Self-compiled
  • db (데이터베이스)
  • repositories (Git 저장소 데이터, 위키 포함)
  • uploads (첨부 파일)
  • builds (CI 작업 출력 로그)
  • artifacts (CI 작업 아티팩트)
  • pages (페이지 콘텐츠)
  • lfs (LFS 오브젝트)
  • terraform_state (테라폼 상태)
  • registry (컨테이너 레지스트리 이미지)
  • packages (패키지)
  • ci_secure_files (프로젝트별 보안 파일)
  • external_diffs (외부 머지 요청 차이)
Helm 차트 (Kubernetes)
  • db (데이터베이스)
  • repositories (Git 저장소 데이터, 위키 포함)
  • uploads (첨부 파일)
  • artifacts (CI 작업 아티팩트 및 출력 로그)
  • pages (페이지 콘텐츠)
  • lfs (LFS 오브젝트)
  • terraform_state (테라폼 상태)
  • registry (컨테이너 레지스트리 이미지)
  • packages (패키지 레지스트리)
  • ci_secure_files (프로젝트별 보안 파일)
  • external_diffs (머지 요청 차이)
Linux 패키지 (Omnibus)
sudo gitlab-backup create SKIP=db,uploads
Helm 차트 (Kubernetes)

차트 백업 문서의 구성 요소 제외를 참조하십시오.

Self-compiled
sudo -u git -H bundle exec rake gitlab:backup:create SKIP=db,uploads RAILS_ENV=production

SKIP=은 다음과 같이도 사용됩니다:

tar 파일 생성 제외

참고: 백업에서 객체 저장소를 사용하는 경우 tar 생성을 제외할 수 없습니다.

백업 생성의 마지막 단계는 모든 부분을 포함하는 .tar 파일을 생성하는 것입니다. 경우에 따라 .tar 파일을 만드는 것은 노력을 낭비하거나 직접적으로 해로울 수 있으므로 SKIP 환경 변수에 tar을 추가하여이 단계를 건너 뛸 수 있습니다. 예시 사용 사례:

  • 백업이 다른 백업 소프트웨어에서 가져가질 경우
  • 증분 백업을 가속화하기 위해 백업을 매번 추출하지 않고 .tar 파일을 생성하지 않도록 함. (이 경우 PREVIOUS_BACKUPBACKUP이 지정되지 않아야 합니다. 그렇지 않으면 지정된 백업이 추출되지만 맨 끝에 .tar 파일이 생성되지 않습니다.)

SKIP 변수에 tar을 추가하면 백업 중간 파일을 사용한 디렉토리에 있는 백업을 포함하는 파일과 디렉토리를 그대로 남겨 둡니다. 이러한 파일은 새로운 백업이 생성될 때 덮어씌워지므로 다음과 같은 이유로 다른 곳에 복사해 두어야 합니다. 시스템에는 하나의 백업만 보관할 수 있습니다.

Linux 패키지 (Omnibus)
sudo gitlab-backup create SKIP=tar
Self-compiled
sudo -u git -H bundle exec rake gitlab:backup:create SKIP=tar RAILS_ENV=production

서버 측 저장소 백업 생성

  • GitLab 16.3의 gitlab-backup에서 소개.
  • 최신 백업이 아닌 지정된 백업을 복원하는 서버 측 gitlab-backup 지원은 GitLab 16.6에서 소개.
  • 증분 백업 생성을 위한 서버 측 gitlab-backup 지원은 GitLab 16.6에서 소개.
  • 서버 측 backup-utility에서의 지원은 GitLab 17.0에서 소개.

백업 아카이브에 대형 저장소 백업을 저장하는 대신 각 저장소를 호스팅하는 Gitaly 노드가 백업을 생성하고 객체 저장소로 스트리밍하는 방식으로 구성할 수 있습니다. 이를 통해 백업을 생성하고 복원하는 데 필요한 네트워크 리소스를 줄일 수 있습니다.

  1. Gitaly에서 서버 측 백업 대상 구성.
  2. 리포지토리 서버 측 옵션을 사용하여 백업 생성. 다음 예제를 참조하세요.
Linux 패키지 (Omnibus)
sudo gitlab-backup create REPOSITORIES_SERVER_SIDE=true
Self-compiled
sudo -u git -H bundle exec rake gitlab:backup:create REPOSITORIES_SERVER_SIDE=true
Helm 차트 (Kubernetes)
kubectl exec <Toolbox pod 이름> -it -- backup-utility --repositories-server-side

크론 기반 백업을 사용하는 경우 추가 인수에 --repositories-server-side 플래그를 추가합니다.

Git 저장소 동시에 백업

여러 저장소 저장소를 사용하는 경우 CPU 시간을 완전히 활용하기 위해 저장소를 동시에 백업하거나 복원할 수 있습니다. Rake 작업의 기본 동작을 수정하는 데 사용할 수있는 다음 변수가 사용 가능합니다.

  • GITLAB_BACKUP_MAX_CONCURRENCY: 동시에 백업할 프로젝트의 최대 수. 논리 CPU 수로 기본 설정됩니다.
  • GITLAB_BACKUP_MAX_STORAGE_CONCURRENCY: 각 저장소에서 동시에 백업할 프로젝트의 최대 수. 이를 통해 저장소 백업을 분산할 수 있습니다. 기본 설정은 2입니다.

예를 들어, 4개의 저장소 저장소를 사용하는 경우:

Linux 패키지 (Omnibus)
sudo gitlab-backup create GITLAB_BACKUP_MAX_CONCURRENCY=4 GITLAB_BACKUP_MAX_STORAGE_CONCURRENCY=1
Self-compiled
sudo -u git -H bundle exec rake gitlab:backup:create GITLAB_BACKUP_MAX_CONCURRENCY=4 GITLAB_BACKUP_MAX_STORAGE_CONCURRENCY=1

점진적 저장소 백업

자체 관리 GitLab에서는 기본적으로 이 기능을 사용할 수 있습니다. 이 기능을 숨기려면 관리자가 incremental_repository_backup이라는 feature flag을 비활성화할 수 있습니다.

GitLab.com 및 전용 GitLab에서는 이 기능을 사용할 수 없습니다.

note
저장소만이 증분 백업을 지원합니다. 따라서 INCREMENTAL=yes를 사용하면 작업이 독립된 백업 tar 아카이브를 생성합니다. 이는 저장소 이외의 모든 하위 작업이 여전히 전체 백업을 생성하기 때문입니다(기존 전체 백업을 덮어씁니다). 모든 하위 작업에 대한 증분 백업 지원에 대한 기능 요청(issue 19256)을 위해 참조하세요.

점진적 저장소 백업은 각 저장소에 대한 마지막 백업 이후의 변경 사항만 백업 번들에 패킹하기 때문에 전체 저장소 백업보다 빠를 수 있습니다. 증분 백업 아카이브는 서로 연결되어 있지 않습니다. 각 아카이브는 인스턴스의 독립된 백업입니다. 증분 백업을 생성하려면 기존 백업이 있어야 합니다.

PREVIOUS_BACKUP=<백업-id> 옵션을 사용하여 사용할 백업을 선택합니다. 기본적으로 백업 파일은 백업 ID 섹션에서 문서화된대로 생성됩니다. 파일 이름의 <백업-id> 부분을 BACKUP 환경 변수를 설정하여 재정의할 수 있습니다.

증분 백업을 생성하려면 다음 명령을 실행하세요:

sudo gitlab-backup create INCREMENTAL=yes PREVIOUS_BACKUP=<백업-id>

압축 해제(I-untarred) 증분 백업을 tar로부터 만들려면 SKIP=tar를 사용하세요:

sudo gitlab-backup create INCREMENTAL=yes SKIP=tar

특정 저장소 저장 백업

여러 저장소 저장소를 사용하는 경우, 특정 저장소 저장소에서 저장소를 별도로 백업할 수 있습니다. REPOSITORIES_STORAGES 옵션을 사용합니다. 이 옵션은 저장소 이름의 쉼표로 구분된 목록을 허용합니다.

예:

Linux package (Omnibus)
sudo gitlab-backup create REPOSITORIES_STORAGES=storage1,storage2
Self-compiled
sudo -u git -H bundle exec rake gitlab:backup:create REPOSITORIES_STORAGES=storage1,storage2

특정 저장소 백업

REPOSITORIES_PATHS 옵션을 사용하여 특정 저장소를 백업할 수 있습니다. 마찬가지로 SKIP_REPOSITORIES_PATHS를 사용하여 특정 저장소를 건너뛸 수 있습니다. 두 옵션 모두 프로젝트 또는 그룹 경로의 쉼표로 구분된 목록을 허용합니다. 그룹 경로를 지정하면 해당 옵션에 따라 그룹 및 하위 그룹의 모든 프로젝트의 모든 저장소가 포함되거나 건너뛰어집니다.

예를 들어 Group A(group-a)에 있는 모든 프로젝트의 모든 저장소, Group B(group-b)의 Project C에 있는 저장소를 백업하고, Group A(group-a)의 Project D를 건너뛰려면:

Linux package (Omnibus)
  sudo gitlab-backup create REPOSITORIES_PATHS=group-a,group-b/project-c SKIP_REPOSITORIES_PATHS=group-a/project-d
Self-compiled
  sudo -u git -H bundle exec rake gitlab:backup:create REPOSITORIES_PATHS=group-a,group-b/project-c SKIP_REPOSITORIES_PATHS=group-a/project-d

원격(클라우드) 저장소에 백업 업로드

note
백업을 위한 객체 저장소 사용 시 tar 생성을 건너뛸 수 없습니다.

백업 스크립트에서 생성한 .tar 파일을 업로드하도록 할 수 있습니다(Fog 라이브러리를 사용). 다음 예제에서는 스토리지로서 아마존 S3를 사용하지만, Fog를 사용하면 다른 스토리지 제공업체들을 사용할 수도 있습니다. GitLab은 또한 AWS, Google 및 Aliyun을 위한 클라우드 드라이버를 가져옵니다. 로컬 드라이버 또한 사용 가능합니다.

GitLab에서 객체 저장소 사용에 대해 더 많이 읽어보세요.

아마존 S3 사용

Linux 패키지 (Omnibus)의 경우:

  1. 다음을 /etc/gitlab/gitlab.rb에 추가하세요:

    gitlab_rails['backup_upload_connection'] = {
      'provider' => 'AWS',
      'region' => 'eu-west-1',
      'aws_access_key_id' => 'AKIAKIAKI',
      'aws_secret_access_key' => 'secret123'
      # IAM 프로필 사용 시 aws_access_key_id 및 aws_secret_access_key를 구성하지 마세요
      # 'use_iam_profile' => true
    }
    gitlab_rails['backup_upload_remote_directory'] = 'my.s3.bucket'
    # 파일 크기가 100MB에 도달하면 다중 부분 업로드를 고려하세요. 바이트 단위의 숫자 입력.
    # gitlab_rails['backup_multipart_chunk_size'] = 104857600
    
  2. 변경사항이 적용되려면 GitLab을 재구성하세요.

S3 암호화된 버킷

AWS는 서버 측 암호화 모드로 다음을 지원합니다:

  • Amazon S3-Managed Keys (SSE-S3)
  • AWS 키 관리 서비스(AWS KMS)에 저장된 고객 마스터 키(CMK)(SSE-KMS)
  • 고객 제공 키(SSE-C)

GitLab에서 원하는 모드를 사용하세요. 각 모드는 유사하지만 약간 다른 구성 방법이 있습니다.

SSE-S3

SSE-S3를 활성화하려면 백업 저장 옵션에서 server_side_encryption 필드를 AES256로 설정하세요. 예를 들어, Linux 패키지(Omnibus)에서:

gitlab_rails['backup_upload_storage_options'] = {
  'server_side_encryption' => 'AES256'
}
SSE-KMS

SSE-KMS를 활성화하려면 arn:aws:kms:region:acct-id:key/key-id 형식의 KMS 키의 Amazon 리소스 이름(ARN)을 사용해야 합니다. 구성 설정에서 다음을 설정하세요:

  • server_side_encryptionaws:kms로.
  • server_side_encryption_kms_key_id를 키의 ARN으로.

예를 들어, Linux 패키지(Omnibus)에서:

gitlab_rails['backup_upload_storage_options'] = {
  'server_side_encryption' => 'aws:kms',
  'server_side_encryption_kms_key_id' => 'arn:aws:<YOUR KMS KEY ID>:'
}
SSE-C

SSE-C를 활성화하려면 다음과 같이 암호화 옵션을 설정해야 합니다:

  • backup_encryption: AES256.
  • backup_encryption_key: 인코딩되지 않은 32바이트(256비트) 키. 이 값이 정확히 32바이트가 아니면 업로드가 실패합니다.

예를 들어, Linux 패키지(Omnibus)에서:

gitlab_rails['backup_encryption'] = 'AES256'
gitlab_rails['backup_encryption_key'] = '<YOUR 32-BYTE KEY HERE>'

키에 바이너리 문자가 포함되어 있어 UTF-8로 인코딩할 수 없는 경우, 대신 GITLAB_BACKUP_ENCRYPTION_KEY 환경 변수로 키를 지정하세요. 예를 들어:

gitlab_rails['env'] = { 'GITLAB_BACKUP_ENCRYPTION_KEY' => "\xDE\xAD\xBE\xEF" * 8 }
Digital Ocean Spaces

이 예제는 암스테르담(AMS3)에 있는 버킷에 사용할 수 있습니다:

  1. /etc/gitlab/gitlab.rb에 다음을 추가하세요:

    gitlab_rails['backup_upload_connection'] = {
      'provider' => 'AWS',
      'region' => 'ams3',
      'aws_access_key_id' => 'AKIAKIAKI',
      'aws_secret_access_key' => 'secret123',
      'endpoint'              => 'https://ams3.digitaloceanspaces.com'
    }
    gitlab_rails['backup_upload_remote_directory'] = 'my.s3.bucket'
    
  2. 변경 사항이 적용되도록 하려면 GitLab을 다시 구성하세요.

Digital Ocean Spaces를 사용할 때 400 Bad Request 오류 메시지가 표시되는 경우, 이는 백업 암호화를 사용했을 때 발생할 수 있습니다. Digital Ocean Spaces는 암호화를 지원하지 않으므로 gitlab_rails['backup_encryption']을 제거하거나 주석 처리하세요.

기타 S3 제공자

모든 S3 제공자가 Fog 라이브러리와 완전히 호환되는 것은 아닙니다. 예를 들어, 업로드를 시도한 후 411 Length Required 오류 메시지를 보는 경우, 기본값에서 aws_signature_version 값을 2로 낮춰야 하는 이 이슈가 있을 수 있습니다.

자체 컴파일된 설치의 경우:

  1. home/git/gitlab/config/gitlab.yml을 편집하세요:

      backup:
        # 일부분
        upload:
          # Fog 저장소 연결 설정, https://fog.io/storage/ 참조
          connection:
            provider: AWS
            region: eu-west-1
            aws_access_key_id: AKIAKIAKI
            aws_secret_access_key: 'secret123'
            # IAM 프로필을 사용하는 경우, aws_access_key_id 및 aws_secret_access_key를 비워두세요
            # 즉, aws_access_key_id: ''
            # use_iam_profile: 'true'
          # 백업을 저장할 원격 '디렉터리'. S3의 경우 버킷 이름이 됩니다.
          remote_directory: 'my.s3.bucket'
          # 백업에 사용할 Amazon S3 저장 클래스를 지정합니다. 이것은 선택 사항입니다.
          # storage_class: 'STANDARD'
          #
          # 백업을 위해 Amazon Customer-Provided Encryption Keys로 AWS 서버 측 암호화를 사용합니다. 이것은 선택 사항입니다.
          #   'encryption'은 이 설정이 어떤 영향을 미치려면 설정되어야 합니다.
          #   'encryption_key'는 Amazon S3가 암호화하거나 복호화하는 데 사용할 256비트 암호화 키여야 합니다.
          #   디스크에 키를 저장하지 않으려면 키를 `GITLAB_BACKUP_ENCRYPTION_KEY`로 지정할 수도 있습니다.
          # encryption: 'AES256'
          # encryption_key: '<key>'
          #
          #
          # Amazon S3-Managed keys로 AWS 서버 측 암호화를 사용합니다(선택 사항).
          # https://docs.aws.amazon.com/AmazonS3/latest/userguide/serv-side-encryption.html
          # SSE-S3의 경우 'server_side_encryption'을 'AES256'로 설정하세요.
          # SS3-KMS의 경우 'server_side_encryption'을 'aws:kms'로 설정하세요.
          # 'server_side_encryption_kms_key_id'를 고객 마스터 키의 ARN으로 설정하세요.
          # storage_options:
          #   server_side_encryption: 'aws:kms'
          #   server_side_encryption_kms_key_id: 'arn:aws:kms:YOUR-KEY-ID-HERE'
    
  2. 변경 사항이 적용되도록 하려면 GitLab을 다시 시작하세요.

S3에 백업을 업로드하는 경우, 업로드 권한이 제한된 IAM 사용자를 만들어야 합니다. 백업 업로드를 위한 사용자에게 업로드 권한만 부여하려면 다음 IAM 프로필을 만드세요. my.s3.bucket을 버킷 이름으로 대체하세요.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Stmt1412062044000",
      "Effect": "Allow",
      "Action": [
        "s3:AbortMultipartUpload",
        "s3:GetBucketAcl",
        "s3:GetBucketLocation",
        "s3:GetObject",
        "s3:GetObjectAcl",
        "s3:ListBucketMultipartUploads",
        "s3:PutObject",
        "s3:PutObjectAcl"
      ],
      "Resource": [
        "arn:aws:s3:::my.s3.bucket/*"
      ]
    },
    {
      "Sid": "Stmt1412062097000",
      "Effect": "Allow",
      "Action": [
        "s3:GetBucketLocation",
        "s3:ListAllMyBuckets"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Sid": "Stmt1412062128000",
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::my.s3.bucket"
      ]
    }
  ]
}
Google Cloud Storage 사용

Google Cloud Storage를 사용하여 백업을 저장하려면 먼저 Google 콘솔에서 액세스 키를 생성해야 합니다:

  1. Google storage settings 페이지로 이동합니다.
  2. Interoperability를 선택한 다음 액세스 키를 생성합니다.
  3. Access KeySecret을 확인하고 다음 구성에 대체합니다.
  4. 버킷 고급 설정에서 객체 수준 및 버킷 수준 권한 설정 옵션이 선택되었는지 확인합니다.
  5. 이미 버킷을 만들었는지 확인합니다.

Linux 패키지(Omnibus)의 경우:

  1. /etc/gitlab/gitlab.rb 파일을 편집합니다:

    gitlab_rails['backup_upload_connection'] = {
      'provider' => 'Google',
      'google_storage_access_key_id' => 'Access Key',
      'google_storage_secret_access_key' => 'Secret',
    
      ## CNAME 버킷(예: foo.example.com)을 사용하는 경우 백업 업로드 시 SSL 문제가 발생할 수 있습니다
      ## ("hostname foo.example.com.storage.googleapis.com does not match the server certificate"). 이 경우 다음 설정을 주석 처리합니다. 자세한 내용은 다음을 참조하십시오: https://github.com/fog/fog/issues/2834
      #'path_style' => true
    }
    gitlab_rails['backup_upload_remote_directory'] = 'my.google.bucket'
    
  2. 변경 사항이 적용되도록 하려면 GitLab 재구성을 수행합니다

자체 컴파일된 설치의 경우:

  1. home/git/gitlab/config/gitlab.yml 파일을 편집합니다:

      backup:
        upload:
          connection:
            provider: 'Google'
            google_storage_access_key_id: 'Access Key'
            google_storage_secret_access_key: 'Secret'
          remote_directory: 'my.google.bucket'
    
  2. 변경 사항이 적용되도록 하려면 GitLab 재시작을 수행합니다

Azure Blob Storage 사용
Linux package (Omnibus)
  1. /etc/gitlab/gitlab.rb 파일을 편집합니다:

    gitlab_rails['backup_upload_connection'] = {
     'provider' => 'AzureRM',
     'azure_storage_account_name' => '<AZURE STORAGE ACCOUNT NAME>',
     'azure_storage_access_key' => '<AZURE STORAGE ACCESS KEY>',
     'azure_storage_domain' => 'blob.core.windows.net', # Optional
    }
    gitlab_rails['backup_upload_remote_directory'] = '<AZURE BLOB CONTAINER>'
    
  2. 변경 사항이 적용되도록 하려면 GitLab 재구성을 수행합니다

Self-compiled
  1. home/git/gitlab/config/gitlab.yml 파일을 편집합니다:

      backup:
        upload:
          connection:
            provider: 'AzureRM'
            azure_storage_account_name: '<AZURE STORAGE ACCOUNT NAME>'
            azure_storage_access_key: '<AZURE STORAGE ACCESS KEY>'
          remote_directory: '<AZURE BLOB CONTAINER>'
    
  2. 변경 사항이 적용되도록 하려면 GitLab 재시작을 수행합니다

자세한 내용은 Azure 매개변수 표를 참조하십시오.

백업용 사용자 정의 디렉토리 지정

이 옵션은 원격 저장소에 대해서만 작동합니다. 백업을 그룹화하려는 경우 DIRECTORY 환경 변수를 전달할 수 있습니다:

sudo gitlab-backup create DIRECTORY=daily
sudo gitlab-backup create DIRECTORY=weekly

원격 스토리지로의 백업 업로드 건너뛰기

GitLab을 원격 스토리지에 백업 업로드하도록 구성한 경우 SKIP=remote 옵션을 사용하여 백업 업로드를 건너뛸 수 있습니다.

Linux package (Omnibus)
sudo gitlab-backup create SKIP=remote
Self-compiled
sudo -u git -H bundle exec rake gitlab:backup:create SKIP=remote RAILS_ENV=production

로컬에 마운트된 공유에 업로드

Fog Local 스토리지 제공자를 사용하여 로컬에 마운트된 공유(예: NFS, CIFS, 또는 SMB)로 백업을 전송할 수 있습니다.

이를 위해 다음 구성 키를 설정해야 합니다:

  • backup_upload_connection.local_root: 백업이 복사된 마운트된 디렉토리입니다.
  • backup_upload_remote_directory: backup_upload_connection.local_root 디렉토리의 하위 디렉토리입니다. 없으면 생성됩니다. tar볼을 마운트된 디렉토리의 루트로 복사하려면 .을 사용하십시오.

마운트된 상태에서 local_root 키에 설정된 디렉토리는 다음 중 하나에 의해 소유되어야 합니다: - git 사용자. 따라서 CIFSSMB를 위해 uid=로 마운트하는 경우 git 사용자의 uid로 마운트합니다. - 백업 작업을 실행하는 사용자. Linux 패키지(Omnibus)의 경우 이는 git 사용자입니다.

파일 시스템 성능이 전체적인 GitLab 성능에 영향을 미칠 수 있으므로 스토리지로 클라우드 기반 파일 시스템 사용을 권장하지 않습니다.

충돌하는 구성 피하기

다음 구성 키를 동일한 경로로 설정하지 않도록하십시오:

  • gitlab_rails['backup_path'] (자체 컴파일된 설치의 경우 backup.path).
  • gitlab_rails['backup_upload_connection'].local_root (자체 컴파일된 설치의 경우 backup.upload.connection.local_root).

backup_path 구성 키는 백업 파일의 로컬 위치를 설정합니다. upload 구성 키는 백업 파일이 아마도 보관용으로 별도 서버로 업로드되는 경우에 사용합니다.

이러한 구성 키가 동일한 위치로 설정되면 백업이 이미 업로드 위치에 존재하기 때문에 업로드 기능이 실패합니다. 이 실패로 인해 업로드 기능이 백업이 이미 업로드 위치에 남아있는 잔존 파일로 간주하여 해당 백업을 삭제합니다.

로컬에 마운트된 공유에 대한 업로드 구성
Linux package (Omnibus)
  1. /etc/gitlab/gitlab.rb 파일을 편집합니다:

    gitlab_rails['backup_upload_connection'] = {
      :provider => 'Local',
      :local_root => '/mnt/backups'
    }
    
    # 마운트된 폴더 내부의 디렉토리에 백업을 복사하려면
    # '.'을 사용하세요.
    gitlab_rails['backup_upload_remote_directory'] = 'gitlab_backups'
    
  2. 변경 사항이 적용되도록 하려면 GitLab 재구성을 수행합니다.

Self-compiled
  1. home/git/gitlab/config/gitlab.yml 파일을 편집합니다:

    backup:
      upload:
        # Fog storage connection settings, see https://fog.io/storage/ .
        connection:
          provider: Local
          local_root: '/mnt/backups'
        # 마운트된 폴더 내부의 디렉토리에 백업을 복사하려면
        # '.'을 사용하세요.
        remote_directory: 'gitlab_backups'
    
  2. 변경 사항이 적용되도록 하려면 GitLab 재시작을 수행합니다.

백업 아카이브 권한

GitLab에서 생성된 백업 아카이브(1393513186_2014_02_27_gitlab_backup.tar)는 기본적으로 소유자/그룹이 git/git이고 0600 권한을 갖습니다. 이는 다른 시스템 사용자가 GitLab 데이터를 읽는 것을 피하기 위한 것입니다. 백업 아카이브에 다른 권한을 부여하려면 archive_permissions 설정을 사용할 수 있습니다.

Linux 패키지 (Omnibus)
  1. /etc/gitlab/gitlab.rb를 편집합니다:

    gitlab_rails['backup_archive_permissions'] = 0644 # 백업 아카이브를 전체 읽기 가능하게 설정합니다
    
  2. 변경 사항이 적용되려면 GitLab 다시 구성을 실행합니다.

직접 컴파일
  1. /home/git/gitlab/config/gitlab.yml을 편집합니다:

    backup:
      archive_permissions: 0644 # 백업 아카이브를 전체 읽기 가능하게 설정합니다
    
  2. 변경 사항이 적용되려면 GitLab 재시작을 실행합니다.

크론 구성하여 매일 백업 만들기

경고: 다음 크론 작업은 GitLab 구성 파일 또는 SSH 호스트 키를 백업하지 않습니다.

크론 작업을 예약하여 저장소와 GitLab 메타데이터를 백업할 수 있습니다.

Linux 패키지 (Omnibus)
  1. root 사용자의 크론탭을 편집합니다:

    sudo su -
    crontab -e
    
  2. 매일 새벽 2시에 백업을 예약하려면 다음 줄을 추가합니다:

    0 2 * * * /opt/gitlab/bin/gitlab-backup create CRON=1
    
직접 컴파일
  1. git 사용자의 크론탭을 편집합니다:

    sudo -u git crontab -e
    
  2. 맨 아래에 다음 줄을 추가합니다:

    # 매일 새벽 2시에 GitLab 저장소와 SQL 데이터베이스의 완전한 백업을 생성합니다
    0 2 * * * cd /home/git/gitlab && PATH=/usr/local/bin:/usr/bin:/bin bundle exec rake gitlab:backup:create RAILS_ENV=production CRON=1
    

CRON=1 환경 설정은 에러가 없는 경우 모든 진행 상황 출력을 숨기도록 백업 스크립트에 지시합니다. 크론 스팸을 줄이기 위해 권장됩니다. 그러나 백업 문제를 해결할 때는 CRON=1--trace로 대체하여 자세한 로그를 기록할 수 있습니다.

로컬 파일의 백업 수명 제한하기 (이전 백업 정리)

경고: 이 섹션에서 설명하는 프로세스는 백업에 사용자 정의 파일 이름을 사용한 경우에는 작동하지 않습니다.

정기적인 백업이 디스크 공간을 모두 사용하는 것을 방지하려면, 백업의 제한된 수명을 설정할 수 있습니다. 백업 작업이 실행될 때 backup_keep_time보다 오래된 백업은 정리됩니다.

이 구성 옵션은 로컬 파일만 관리합니다. 사용자는 원격 클라우드 스토리지에 백업 업로드한 이전 파일을 목록 및 삭제할 권한이 없을 수 있으므로 GitLab은 이러한 파일을 정리하지 않습니다. 따라서 해당 클라우드 스토리지에 적절한 보존 정책을 구성하는 것이 권장됩니다 (예: AWS S3).

Linux 패키지 (Omnibus)
  1. /etc/gitlab/gitlab.rb를 편집합니다:

    ## 백업 수명을 7일로 제한 - 604800 초
    gitlab_rails['backup_keep_time'] = 604800
    
  2. 변경 사항이 적용되려면 GitLab 다시 구성을 실행합니다.

직접 컴파일
  1. /home/git/gitlab/config/gitlab.yml을 편집합니다:

    backup:
      ## 백업 수명을 7일로 제한 - 604800 초
      keep_time: 604800
    
  2. 변경 사항이 적용되려면 GitLab 재시작을 실행합니다.

PgBouncer를 사용하는 설치의 백업 및 복원

PgBouncer 연결을 통해 GitLab을 백업하거나 복원해서는 안 됩니다. 이러한 작업은 PgBouncer를 우회하고 PostgreSQL 주 데이터베이스 노드에 직접 연결해야 하거나 GitLab 장애가 발생합니다.

PgBouncer와 함께 GitLab 백업 또는 복원 작업을 수행하면 다음 오류 메시지가 표시됩니다:

ActiveRecord::StatementInvalid: PG::UndefinedTable

GitLab 백업을 실행할 때마다 GitLab은 500 오류를 생성하고 테이블 부재에 관한 오류가 PostgreSQL에서 기록됩니다:

ERROR: relation "tablename" does not exist at character 123

이는 작업이 pg_dump을 사용하여 CVE-2018-1058을 해결하기 위해 각 SQL 쿼리에 스키마를 명시적으로 포함하는 것을 특징으로 하여 기본 public 스키마 검색 경로를 null로 설정합니다.

PgBouncer의 트랜잭션 풀링 모드에서 연결을 재사용하므로 PostgreSQL은 기본 public 스키마를 탐색하지 못합니다. 결과적으로 검색 경로의 초기화로 인해 테이블 및 열이 누락된 것으로 보입니다.

PgBouncer 우회

이러한 문제를 해결하기 위해 두 가지 방법이 있습니다:

  1. 백업 작업을 위해 환경 변수를 사용하여 데이터베이스 설정을 무시합니다.
  2. 노드를 PostgreSQL 주 데이터베이스 노드에 직접 연결하도록 다시 구성합니다.
환경 변수 덮어쓰기

기본적으로 GitLab은 구성 파일(database.yml)에 저장된 데이터베이스 구성을 사용합니다. 그러나 백업 및 복원 작업을 위해 GITLAB_BACKUP_ 접두사가 있는 환경 변수를 설정하여 데이터베이스 설정을 덮어쓸 수 있습니다:

  • GITLAB_BACKUP_PGHOST
  • GITLAB_BACKUP_PGUSER
  • GITLAB_BACKUP_PGPORT
  • GITLAB_BACKUP_PGPASSWORD
  • GITLAB_BACKUP_PGSSLMODE
  • GITLAB_BACKUP_PGSSLKEY
  • GITLAB_BACKUP_PGSSLCERT
  • GITLAB_BACKUP_PGSSLROOTCERT
  • GITLAB_BACKUP_PGSSLCRL
  • GITLAB_BACKUP_PGSSLCOMPRESSION

예를 들어, Linux 패키지 (Omnibus)에서 데이터베이스 호스트를 192.168.1.10으로, 포트를 5432로 설정하려면 다음과 같이 환경 변수를 덮어쓸 수 있습니다:

sudo GITLAB_BACKUP_PGHOST=192.168.1.10 GITLAB_BACKUP_PGPORT=5432 /opt/gitlab/bin/gitlab-backup create

GitLab을 다중 데이터베이스에서 실행하는 경우, 데이터베이스 이름을 환경 변수에 포함하여 데이터베이스 설정을 덮어쓸 수 있습니다. 예를 들어 mainci 데이터베이스가 각기 다른 데이터베이스 서버에서 호스팅되는 경우, GITLAB_BACKUP_ 접두사 뒤에 이름을 붙여 PG* 이름은 그대로 유지합니다:

sudo GITLAB_BACKUP_MAIN_PGHOST=192.168.1.10 GITLAB_BACKUP_CI_PGHOST=192.168.1.12 /opt/gitlab/bin/gitlab-backup create

이러한 매개변수가 하는 일에 대한 자세한 내용은 PostgreSQL 문서를 참조하십시오.

gitaly-backup로 저장소 백업 및 복원

gitaly-backup 바이너리는 백업 Rake 작업에서 Gitaly로부터 저장소 백업을 생성하고 복원하는 데 사용됩니다. gitaly-backup은 이전에 GitLab에서 Gitaly에 직접 RPCs를 호출하던 이전 백업 방법을 대체합니다.

백업 Rake 작업은 이 실행 파일을 찾을 수 있어야 합니다. 대부분의 경우, 이진 파일의 경로를 변경할 필요가 없습니다. 기본 경로 /opt/gitlab/embedded/bin/gitaly-backup에서 잘 작동해야 합니다. 경로를 변경할 특별한 이유가 있는 경우에만 Linux 패키지 (Omnibus)에서 구성할 수 있습니다:

  1. /etc/gitlab/gitlab.rb에 다음을 추가합니다.

    gitlab_rails['backup_gitaly_backup_path'] = '/경로/대상/gitaly-backup'
    
  2. 변경 사항이 적용되려면 GitLab 재구성을 해야 합니다.

대체 백업 전략

모든 배포별로 다른 기능을 가질 수 있으므로, 백업해야 하는 데이터를 먼저 검토하여 이를 활용할 수 있는지, 그리고 어떻게 활용할 수 있는지를 더 잘 이해해야 합니다.

예를 들어, Amazon RDS를 사용하는 경우 PostgreSQL 데이터를 다루기 위해 기본 백업 및 복원 기능을 사용할 수 있습니다. 또한 백업 명령을 사용할 때 PostgreSQL 데이터를 제외할 수 있습니다.

다음과 같은 경우, 파일 시스템 데이터 전송이나 스냅샷을 백업 전략의 일부로 고려하세요:

  • GitLab 인스턴스에 많은 Git 저장소 데이터가 있고 GitLab 백업 스크립트가 너무 느립니다.
  • GitLab 인스턴스에 많은 포크된 프로젝트가 있고 정기적인 백업 작업이 모든 프로젝트의 Git 데이터를 중복으로 처리합니다.
  • GitLab 인스턴스에 문제가 있어 정기적인 백업 및 가져오기 Rake 작업을 사용할 수 없는 경우.

경고: Gitaly Cluster는 스냅샷 백업을 지원하지 않습니다.

파일 시스템 데이터 전송이나 스냅샷을 사용하는 것을 고려할 때:

  • 이러한 방법을 사용하여 한 운영 체제에서 다른 운영 체제로 마이그레이션하지 마세요. 소스 및 대상 운영 체제가 최대한 유사해야 합니다. 예를 들어, Ubuntu에서 RHEL로 마이그레이션하는 데 이러한 방법을 사용하지 마십시오.
  • 데이터 일관성이 매우 중요합니다. 파일 시스템 전송(rsync 등) 또는 스냅샷을 촬영하기 전에 GitLab을 중지해야 합니다.

예: Amazon Elastic Block Store (EBS)

  • Amazon AWS에서 호스팅되는 Linux 패키지 (Omnibus)를 사용하는 GitLab 서버.
  • /var/opt/gitlab에 마운트된 ext4 파일 시스템을 포함하는 EBS 드라이브가 있습니다.
  • 이 경우 EBS 스냅샷을 촬영함으로써 애플리케이션 백업을 만들 수 있습니다.
  • 백업에는 모든 저장소, 업로드 및 PostgreSQL 데이터가 포함됩니다.

예: Logical Volume Manager (LVM) 스냅샷 + rsync

  • Linux 패키지 (Omnibus)를 사용하는 GitLab 서버이며, /var/opt/gitlab에 마운트된 LVM 논리 볼륨이 있습니다.
  • rsync를 사용하여 /var/opt/gitlab 디렉터리를 복제하는 것은 너무 많은 파일이 변경되므로 신뢰할 수 없습니다.
  • /var/opt/gitlab을 rsync하는 대신 읽기 전용 파일 시스템으로 마운트된 임시 LVM 스냅샷을 생성합니다(/mnt/gitlab_backup에).
  • 이제 원격 서버에 일관된 복제본을 만드는 좀 더 오래 실행되는 rsync 작업을 실행할 수 있습니다.
  • 복제본에는 모든 저장소, 업로드 및 PostgreSQL 데이터가 포함됩니다.

GitLab을 가상화된 서버에서 실행 중이라면, 전체 GitLab 서버의 VM 스냅샷을 촬영할 수도 있습니다. 그러나 VM 스냅샷을 촬영할 때 서버를 종료해야 하는 경우가 종종 있어서 이해관계 있게 솔루션 사용이 제한됩니다.

별도로 저장소 데이터 백업

먼저 저장소를 제외하고 GitLab 데이터를 백업할 때 기존 GitLab 데이터를 확인하세요:

Linux 패키지 (Omnibus)
sudo gitlab-backup create SKIP=repositories
Self-compiled
sudo -u git -H bundle exec rake gitlab:backup:create SKIP=repositories RAILS_ENV=production

디스크에 있는 Git 저장소 데이터를 수동으로 백업하려면 여러 가지 전략을 사용할 수 있습니다:

쓰기를 방지하고 Git 저장소 데이터를 복사

Git 저장소는 일관된 방식으로 복사되어야 합니다. 복사 동안 동시 쓰기 작업이 발생하면 불일치 및 손상 문제가 발생할 수 있습니다. 자세한 내용은 이슈 #270422 에서 동시성 쓰기에 대한 잠재적인 문제를 설명하는 더 긴 토론이 있습니다.

Git 저장소 데이터에 대한 쓰기를 방지하려면 두 가지 접근 방법이 있습니다:

  • 유지 보수 모드를 사용하여 GitLab을 읽기 전용 상태로 만듭니다.
  • 저장소를 백업하기 전에 모든 Gitaly 서비스를 중지하여 명시적 다운타임을 만듭니다:

    sudo gitlab-ctl stop gitaly
    # git 데이터 복사 단계 실행
    sudo gitlab-ctl start gitaly
    

추천 방법과 안전성 순서대로, 데이터 복사를 하되 복사 중 쓰기를 방지해야 합니다:

  1. 아카이브 모드, 삭제 및 체크섬 옵션을 사용하여 rsync를 사용합니다. 예를 들어:

    rsync -aR --delete --checksum 소스 대상 # 순서가 잘못 사용되면 기존 데이터를 삭제하므로 조심하세요
    
  2. tar 파이프를 사용하여 다른 서버 또는 위치로 전체 저장소 디렉터리를 복사합니다.

  3. sftp, scp, cp 또는 다른 복사 방법을 사용합니다.

온라인 백업을 통한 저장소 표시하기(실험중)

인스턴스 전체 다운타임이 필요 없이 저장소를 백업하는 한 가지 방법은 기반 데이터를 복사하는 동안 프로젝트를 프로그래밍적으로 읽기 전용으로 표시하는 것입니다.

이에는 몇 가지 가능한 단점이 있습니다:

  • 저장소는 저장소의 크기에 비례하여 일정 기간 동안 읽기 전용으로 설정됩니다.
  • 각 프로젝트를 읽기 전용으로 표시하는 데 시간이 더 오래 걸려 백업이 완료되는 데 더 오랜 시간이 걸릴 수 있으며, 결과적으로 일관성 문제가 발생할 수 있습니다. 예를 들어, 백업되는 첫 번째 프로젝트의 마지막 데이터와 백업되는 마지막 프로젝트의 마지막 데이터 간의 가능한 날짜 불일치가 있을 수 있습니다.
  • 포크 네트워크는 잠재적인 풀 저장소의 변경을 방지하기 위해 백업 프로젝트 내에서 완전히 읽기 전용이어야 합니다.

Geo 팀 실행북 프로젝트에는 이 프로세스를 자동화하려는 실험적 스크립트가 있습니다.