- 간단한 백업 절차
- 백업 확장
- 백업할 데이터는 무엇인가요?
-
명령줄 인터페이스
- 요구 사항
- 백업 명령어
-
백업 옵션
- 백업 전략 옵션
- 백업 파일 이름
- 백업 압축
- 아카이브 전송 확인
- 백업에서 특정 데이터 제외
- tar 생성 건너뛰기
- 서버 측 리포지터리 백업 만들기
- 동시에 Git 리포지터리 백업
- 증분 리포지터리 백업
- 특정 리포지터리 스토리지 백업
- 특정 리포지터리 백업
- 원격 (클라우드) 스토리지에 백업 업로드
- Skip uploading backups to remote storage
- Upload to locally-mounted shares
- 백업 아카이브 권한
- 크론(Cron)을 구성하여 매일 백업 만들기
- 로컬 파일의 백업 수명 제한 설정 (이전 백업 제거)
- PgBouncer를 사용하는 설치의 백업 및 복원
- 리포지터리 백업 및 복원을 위한
gitaly-backup
- 대체 백업 전략
GitLab 백업
GitLab을 백업하는 정확한 절차는 여러 요소에 따라 다릅니다. 특정 배포의 사용 및 구성에 따라 어떤 종류의 데이터가 존재하고, 어디에 위치하며, 얼마나 많은지가 결정됩니다. 이러한 요소들은 데이터를 백업하는 방법, 저장하는 방법 및 복원하는 방법에 영향을 미칩니다.
간단한 백업 절차
대략적인 지침으로, 100GB 미만의 데이터를 사용하는 1k 레퍼런스 아키텍처를 사용한다면 다음 단계를 따르세요:
백업 확장
GitLab 데이터의 양이 증가함에 따라 백업 명령의 실행 시간도 늘어납니다. 백업 옵션인 Git 리포지터리를 동시에 백업하거나 점진적 리포지터리 백업은 실행 시간을 줄이는 데 도움이 될 수 있습니다. 어느 시점에서는 백업 명령만으로는 실용적이지 않아집니다. 예를 들어, 24시간 이상 소요될 수 있습니다.
어떤 경우에는 백업을 확장하기 위해 아키텍처 변경이 필요할 수 있습니다. GitLab 레퍼런스 아키텍처를 사용 중이라면, 대용량 레퍼런스 아키텍처를 백업하고 복원을 참조하세요.
자세한 내용은 대체 백업 전략을 참조하세요.
백업할 데이터는 무엇인가요?
PostgreSQL 데이터베이스
가장 간단한 경우에는 GitLab에는 하나의 PostgreSQL 데이터베이스가 있고, 다른 GitLab 서비스와 동일한 VM에서 하나의 PostgreSQL 서버에 있습니다. 그러나 구성에 따라 GitLab은 여러 PostgreSQL 데이터베이스를 여러 PostgreSQL 서버에서 사용할 수도 있습니다.
일반적으로 이 데이터는 Web 인터페이스에서 사용자가 생성한 대부분의 콘텐츠에 대한 참 소스입니다. 예를 들어 이슈 및 Merge Request 콘텐츠, 댓글, 권한 및 자격 증명을 포함합니다.
또한, PostgreSQL은 HTML로 렌더링된 Markdown과 기본적으로 Merge Request 차이를 보관합니다. 그러나 Merge Request 차이는 파일 시스템 또는 객체 리포지터리로 오프로드되도록 구성할 수도 있습니다. Blobs을 참조하세요.
Gitaly Cluster의 Praefect 서비스는 Gitaly 노드를 관리하기 위해 PostgreSQL 데이터베이스를 단일 소스로 사용합니다.
일반적인 PostgreSQL 유틸리티인 pg_dump
는 PostgreSQL 데이터베이스를 복원하는 데 사용할 수 있는 백업 파일을 생성합니다. 백업 명령은 내부에서 이 유틸리티를 사용합니다.
불행히도 데이터베이스가 클수록 pg_dump
의 실행에 더 오랜 시간이 걸립니다. 상황에 따라 실행 시간이 어느 시점에서는 비실용적해집니다(예: 며칠). 데이터베이스가 100GB 이상인 경우 pg_dump
및 이에 따라 백업 명령을 사용할 수 없을 확률이 높습니다. 자세한 내용은 대체 백업 전략을 참조하세요.
Git 리포지터리
GitLab 인스턴스는 하나 이상의 리포지터리 샤드를 가질 수 있습니다. 각 샤드는 로컬에 저장된 Git 리포지터리에서의 액세스 및 작업을 허용하는 Gitaly 인스턴스 또는 Gitaly Cluster를 담당합니다. Gitaly는 다음과 같은 기계에서 실행될 수 있습니다.
- 단일 디스크를 사용하는 경우
- 단일 마운트 포인트로 여러 디스크를 마운트한 경우 (예: RAID 어레이를 사용한 경우)
- LVM을 사용하는 경우
각 프로젝트는 최대 3개의 서로 다른 리포지터리를 가질 수 있습니다:
- 프로젝트 리포지터리: 소스 코드가 저장된 곳
- 위키 리포지터리: 위키 콘텐츠가 저장된 곳
- 디자인 리포지터리: 디자인 아티팩트가 색인된 곳 (실제 자산은 LFS에 있습니다)
모두 동일한 샤드에 속하며, 위키 및 디자인 리포지터리의 경우 -wiki
및 -design
접미사가 있는 동일한 기본 이름을 공유합니다.
개인 및 프로젝트 스니펫, 그룹 위키 콘텐츠는 Git 리포지터리에 저장됩니다.
풀 리포지터리를 사용하여 라이브 GitLab 사이트에서 프로젝트 포크를 중복으로 처리합니다.
백업 명령은 각 리포지터리에 대해 Git 번들을 생성하고 이를 모두 tars up합니다. 이렇게 하면 모든 포크에 대한 풀 리포지터리 데이터가 중복됩니다. 테스트 결과에 따르면, 100GB의 Git 리포지터리를 백업하고 S3에 업로드하는 데 2시간이 조금 넘었습니다. 약 400GB의 Git 데이터가 되면, 백업 명령을 사용하는 것이 정기적인 백업 목적으로는 적합하지 않을 것입니다. 자세한 내용은 대체 백업 전략을 참조하세요.
블롭
GitLab은 이슈 첨부 파일이나 LFS 객체와 같은 블롭(또는 파일)을 다음 위치에 저장합니다.
- 특정 위치의 파일 시스템.
-
객체 리포지터리 솔루션. 객체 리포지터리 솔루션은 다음과 같을 수 있습니다:
- Amazon S3 및 Google Cloud Storage와 같은 클라우드 기반 솔루션.
- MinIO와 같이 당신이 호스팅하는 솔루션.
- 객체 리포지터리 호환 API를 노출하는 리포지터리 장치.
객체 리포지터리
백업 명령은 파일 시스템에 저장되지 않은 블롭을 백업하지 않습니다. 객체 리포지터리를 사용하는 경우, 객체 리포지터리 제공업체와 백업을 활성화해야 합니다. 예를 들어 다음을 참조하세요:
컨테이너 레지스트리
GitLab 컨테이너 레지스트리 리포지터리는 다음 위치에 구성할 수 있습니다.
- 특정 위치의 파일 시스템.
-
객체 리포지터리 솔루션. 객체 리포지터리 솔루션은 다음과 같을 수 있습니다:
- Amazon S3 및 Google Cloud Storage와 같은 클라우드 기반 솔루션.
- MinIO와 같이 당신이 호스팅하는 솔루션.
- 객체 리포지터리 호환 API를 노출하는 리포지터리 장치.
백업 명령은 레지스트리 데이터를 파일 시스템의 기본 위치에 저장된 경우에 백업합니다.
객체 리포지터리
백업 명령은 파일 시스템에 저장되지 않은 블롭을 백업하지 않습니다. 객체 리포지터리를 사용하는 경우, 객체 리포지터리 제공업체와 백업을 활성화해야 합니다. 예를 들어 다음을 참조하세요:
구성 파일 저장
구성 디렉터리를 백업해야 합니다. 매우 최소한, 다음을 백업해야 합니다:
/etc/gitlab/gitlab-secrets.json
/etc/gitlab/gitlab.rb
더 많은 정보는 백업 및 복원 Linux 패키지 (Omnibus) 구성을 참조하세요.
/home/git/gitlab/config/secrets.yml
/home/git/gitlab/config/gitlab.yml
- 구성 파일이 저장된 볼륨을 백업합니다. GitLab 컨테이너를 설명서에 따라 생성한 경우,
/srv/gitlab/config
디렉터리에 있어야 합니다.
- 비밀 백업 지침을 따르세요.
TLS 키 및 인증서 (/etc/gitlab/ssl
, /etc/gitlab/trusted-certs
)와
SSH 호스트 키
를 백업하여 전체 머신 복원 시 중간자 공격 경고를 피할 수도 있습니다.
비밀 파일이 잃어버린 경우에 대비하여, 전체적으로 머신 복원을 수행해야 하는 경우 비밀 파일이 잃어버렸을 때를 참조하세요.
기타 데이터
GitLab은 Redis를 캐시 리포지터리 및 백그라운드 작업 시스템인 Sidekiq에 지속적인 데이터를 저장하는 용도로 사용합니다. 제공된 백업 명령은 Redis 데이터를 백업하지 않습니다. 이는 백업 명령으로 일관된 백업을 수행하기 위해서는 보류 중이거나 실행 중인 백그라운드 작업이 없어야 함을 의미합니다. 매뉴얼으로 Redis 백업하는 것이 가능합니다.
Elasticsearch는 고급 검색을 위한 선택적인 데이터베이스입니다. 이는 소스 코드 수준 및 이슈, Merge Request, 토론 등에서 사용자가 생성한 콘텐츠의 검색을 개선할 수 있습니다. 백업 명령은 Elasticsearch 데이터를 백업지 않습니다. Elasticsearch 데이터는 복구 후 PostgreSQL 데이터로부터 재생성할 수 있습니다. 매뉴얼으로 Elasticsearch 백업하는 것이 가능합니다.
명령줄 인터페이스
GitLab은 전체 인스턴스를 백업하기 위한 명령줄 인터페이스를 제공합니다. 이는 다음을 포함합니다:
- 데이터베이스
- 첨부 파일
- Git 리포지터리 데이터
- CI/CD 작업 출력 로그
- CI/CD 작업 아티팩트
- LFS 오브젝트
- Terraform 상태 (GitLab 14.7에서 도입됨)
- 컨테이너 레지스트리 이미지
- GitLab 페이지 콘텐츠
- 패키지 (GitLab 14.7에서 도입됨)
- 스니펫
- 그룹 위키
- 프로젝트 수준의 보안 파일 (GitLab 16.1에서 도입됨)
- Merge Request 차이 (Helm 차트 설치 시에만)
백업에는 다음이 포함되지 않습니다:
- Mattermost 데이터
- Redis (따라서 Sidekiq 작업 포함)
- 리눅스 패키지 (Omnibus) / Docker / 직접 컴파일한 설치에서의 객체 리포지터리
/etc/gitlab
), TLS 키 및 인증서 또는 시스템 파일을 백업하지 않습니다. 구성 파일 저장 방법에 대해 자세히 읽는 것이 매우 권장됩니다.요구 사항
백업 및 복원을 위해 시스템에 Rsync가 설치되어 있는지 확인하세요. GitLab을 설치했다면:
- 리눅스 패키지를 사용하는 경우 Rsync가 이미 설치되어 있습니다.
-
직접 컴파일한 경우
rsync
가 설치되어 있는지 확인하십시오. Rsync가 설치되어 있지 않은 경우 다음과 같이 설치하십시오:# Debian/Ubuntu sudo apt-get install rsync # RHEL/CentOS sudo yum install rsync
백업 명령어
sudo gitlab-backup create
kubectl
을 사용하여 GitLab toolbox pod에서 backup-utility
스크립트를 실행하여 백업 작업을 수행합니다. 자세한 내용은 차트 백업 문서를 참조하세요.
호스트에서 백업을 실행합니다.
docker exec -t <container name> gitlab-backup create
sudo -u git -H bundle exec rake gitlab:backup:create RAILS_ENV=production
GitLab 배포에 여러 노드가 있는 경우 백업 명령을 실행할 노드를 선택해야 합니다. 지정된 노드가:
- 영구적이며 자동 확장에 영향을 받지 않아야 합니다.
- GitLab Rails 애플리케이션이 이미 설치되어 있어야 합니다. Puma 또는 Sidekiq가 실행 중인 경우, Rails가 설치되어 있습니다.
- 충분한 저장 공간과 메모리를 가지고 백업 파일을 생성할 수 있어야 합니다.
예시 출력:
데이터베이스 테이블 덤프:
- 이벤트 테이블 덤프... [완료]
- 이슈 테이블 덤프... [완료]
- 키 테이블 덤프... [완료]
- Merge Request 테이블 덤프... [완료]
- 마일스톤 테이블 덤프... [완료]
- 네임스페이스 테이블 덤프... [완료]
- 노트 테이블 덤프... [완료]
- 프로젝트 테이블 덤프... [완료]
- 보호된 브랜치 테이블 덤프... [완료]
- 스키마 마이그레이션 테이블 덤프... [완료]
- 서비스 테이블 덤프... [완료]
- 스니펫 테이블 덤프... [완료]
- 태그 테이블 덤프... [완료]
- 사용자 테이블 덤프... [완료]
- 사용자 프로젝트 테이블 덤프... [완료]
- 웹 후크 테이블 덤프... [완료]
- 위키 테이블 덤프... [완료]
리포지터리 덤프:
- 리포지터리 abcd 덤프... [완료]
백업 아카이브 생성: <backup-id>_gitlab_backup.tar [완료]
임시 디렉터리 삭제...[완료]
이전 백업 삭제... [건너뛰기]
백업 옵션
GitLab의 command-line 도구는 인스턴스를 백업할 때 더 많은 옵션을 받을 수 있습니다.
백업 전략 옵션
기본 백업 전략은 기본적으로 해당 데이터 위치에서 데이터를 백업으로 tar
및 gzip
명령어를 사용하여 스트리밍하는 것입니다. 이 방법은 대부분의 경우에 잘 작동하지만 데이터가 빠르게 변경될 때 문제를 일으킬 수 있습니다.
데이터가 tar
가 읽고 있는 동안 변경되면 file changed as we read it
오류가 발생하여 백업 프로세스가 실패할 수 있습니다. 이 경우 copy
라는 백업 전략을 사용할 수 있습니다. 이 전략은 데이터 파일을 tar
및 gzip
을 호출하기 전에 임시 위치로 복사하여 오류를 피합니다.
부작용으로는 백업 프로세스가 추가 1X 디스크 공간을 차지하게 됩니다. 프로세스는 각 단계에서 임시 파일을 정리하도록 최선을 다하지만, 큰 설치에 대해서는 상당한 변화가 될 수 있습니다.
기본 스트리밍 전략 대신 copy
전략을 사용하려면 Rake 작업 명령에 STRATEGY=copy
를 지정하면 됩니다. 예:
sudo gitlab-backup create STRATEGY=copy
백업 파일 이름
백업 파일은 특정 기본값에 따라 파일 이름이 지정됩니다. 그러나 BACKUP
환경 변수를 설정하여 파일 이름의 <backup-id>
부분을 덮어쓸 수 있습니다. 예:
sudo gitlab-backup create BACKUP=dump
결과 파일은 dump_gitlab_backup.tar
로 명명됩니다. 이는 rsync 및 점진적 백업을 사용하는 시스템에 유용하며, 전송 속도가 상당히 빨라집니다.
백업 압축
기본적으로 Gzip 빠른 압축이 다음의 백업에서 적용됩니다:
- PostgreSQL 데이터베이스 덤프.
- 블롭, 예를 들어 업로드, 작업 artifacts, 외부 Merge Request 차이.
기본 명령은 gzip -c -1
입니다. 이 명령을 COMPRESS_CMD
로 덮어쓸 수 있습니다. 마찬가지로 복원 중에 압축 해제 명령을 덮어쓸 수 있습니다.
- 압축 명령은 파이프라인에서 사용되므로 사용자 지정 명령은 반드시
stdout
로 출력해야 합니다. - GitLab에 포함되지 않은 명령을 지정하는 경우 직접 설치해야 합니다.
- 결과 파일 이름은 여전히
.gz
로 끝납니다. - 복원 중에 사용되는 기본 압축 해제 명령은
gzip -cd
입니다. 따라서 압축 명령을gzip -cd
로 압축 해제할 수 없는 형식으로 덮어썼다면 복원 중에 압축 해제 명령을 덮어써야 합니다. -
백업 명령 이후에 환경 변수를 두지 마십시오. 예를 들어,
gitlab-backup create COMPRESS_CMD="pigz -c --best"
는 의도한 대로 작동하지 않습니다.
기본 압축: 가장 빠른 방법의 Gzip
gitlab-backup create
가장 느린 방법의 Gzip
COMPRESS_CMD="gzip -c --best" gitlab-backup create
gzip
을 사용했다면, 복원에는 추가 옵션이 필요하지 않습니다:
gitlab-backup restore
압축 없음
백업 대상이 자동으로 압축되는 경우 압축을 건너뛰고 싶을 수 있습니다.
tee
명령은 stdin
을 stdout
으로 파이핑합니다.
COMPRESS_CMD=tee gitlab-backup create
그리고 복원에:
DECOMPRESS_CMD=tee gitlab-backup restore
pigz
를 사용한 병렬 압축
pigz
가 GitLab Linux 패키지에 포함되어 있지 않습니다. 직접 설치해야 합니다.pigz
를 사용하여 4개 프로세스로 백업을 압축하는 예시:
COMPRESS_CMD="pigz --compress --stdout --fast --processes=4" sudo gitlab-backup create
pigz
가 gzip
형식으로 압축하기 때문에 pigz
로 압축한 백업을 압축 해제하는 데 pigz
를 사용할 필요는 없지만, 여전히 gzip
보다 성능상의 이점이 있을 수 있습니다. pigz
로 백업을 압축 해제하는 예시:
DECOMPRESS_CMD="pigz --decompress --stdout" sudo gitlab-backup restore
zstd
를 사용한 병렬 압축
COMPRESS_CMD
와 DECOMPRESS_CMD
를 사용하여 기본 Gzip 압축 라이브러리를 무시하는 것을 지원하지만, 우리는 현재 일반적으로 기본 Gzip 라이브러리의 기본 옵션과 함께만 정기적으로 테스트합니다. 백업의 신뢰성을 테스트하고 검증하는 것은 귀하의 책임입니다. 압축 명령을 무시하든 말든, 백업에 대한 일반적인 최상의 실천 사례로 강력히 추천합니다. 다른 압축 라이브러리로 문제가 발생하면 기본값으로 되돌려야 합니다. 대체 라이브러리의 문제 해결 및 수정은 GitLab에서 덜 중요한 우선 순위를 가지고 있습니다.zstd
는 GitLab Linux 패키지에 포함되어 있지 않습니다. 직접 설치해야 합니다.4개의 스레드를 사용하여 zstd
로 백업을 압축하는 예:
COMPRESS_CMD="zstd --compress --stdout --fast --threads=4" sudo gitlab-backup create
zstd
를 사용하여 백업을 압축 해제하는 예:
DECOMPRESS_CMD="zstd --decompress --stdout" sudo gitlab-backup restore
아카이브 전송 확인
생성된 아카이브를 rsync로 전송할 수 있도록 하려면 GZIP_RSYNCABLE=yes
옵션을 설정할 수 있습니다. 이 옵션은 gzip
에 --rsyncable
옵션을 설정하여 유용하며, 이는 백업 파일 이름 옵션을 설정할 때에만 유용합니다.
--rsyncable
옵션의 gzip
사용은 모든 배포판에서 보장되지는 않습니다. 배포판에서 사용 가능한지 확인하려면 gzip --help
를 실행하거나 man 페이지를 참조하십시오.
sudo gitlab-backup create BACKUP=dump GZIP_RSYNCABLE=yes
백업에서 특정 데이터 제외
설치 유형에 따라 백업 생성 시 약간 다른 컴포넌트를 건너뛸 수 있습니다.
-
db
(데이터베이스) -
repositories
(Git 리포지터리 데이터, 위키 포함) -
uploads
(첨부 파일) -
builds
(CI 작업 출력 로그) -
artifacts
(CI 작업 아티팩트) -
pages
(페이지 내용) -
lfs
(LFS 객체) -
terraform_state
(테라폼 상태) -
registry
(컨테이너 레지스트리 이미지) -
packages
(패키지) -
ci_secure_files
(프로젝트 수준 보안 파일)
-
db
(데이터베이스) -
repositories
(Git 리포지터리 데이터, 위키 포함) -
uploads
(첨부 파일) -
artifacts
(CI 작업 아티팩트 및 출력 로그) -
pages
(페이지 내용) -
lfs
(LFS 객체) -
terraform_state
(테라폼 상태) -
registry
(컨테이너 레지스트리 이미지) -
packages
(패키지 레지스트리) -
ci_secure_files
(프로젝트 수준 보안 파일) -
external_diffs
(Merge Request 차이)
sudo gitlab-backup create SKIP=db,uploads
차트 백업 문서에서 컴포넌트 건너뛰기 참조.
sudo -u git -H bundle exec rake gitlab:backup:create SKIP=db,uploads RAILS_ENV=production
SKIP=
은 다음과 같은 용도로도 사용됩니다:
-
tar 파일 생성 건너뛰기 (
SKIP=tar
). -
원격 리포지터리에 백업 업로드 건너뛰기 (
SKIP=remote
).
tar 생성 건너뛰기
백업 생성의 마지막 단계는 모든 부분을 포함하는 .tar
파일을 생성하는 것입니다. 경우에 따라 .tar
파일을 생성하는 것은 불필요한 노력이 될 수도 있거나 직접적으로 해로울 수 있습니다. 따라서 SKIP
환경 변수에 tar
를 추가하여이 단계를 건너뛸 수 있습니다. 예를 들어 사용 사례:
- 백업이 다른 백업 소프트웨어에서 사용되는 경우.
- 백업을 추출하는 데 시간을 절약하기 위해 증분 백업 속도를 높이기 위해. (이 경우
PREVIOUS_BACKUP
및BACKUP
을 지정해서는 안되며, 그렇지 않으면 지정한 백업은 추출되지만 마지막에.tar
파일은 생성되지 않습니다.)
SKIP
변수에 tar
를 추가하면 백업을 포함하는 파일과 디렉터리가 중간 파일을위한 디렉터리에 남아 있습니다. 이러한 파일은 새로운 백업이 생성될 때 덮어쓰이므로 다른 곳에 복사해 두어야 합니다. 따라서 시스템에는 하나의 백업만 보유할 수 있습니다.
sudo gitlab-backup create SKIP=tar
sudo -u git -H bundle exec rake gitlab:backup:create SKIP=tar RAILS_ENV=production
서버 측 리포지터리 백업 만들기
- 소개됨 GitLab 16.3에서.
- 소개된 서버 측 특정 백업을 복원하는 데 대신 가장 최근 백업이 아닌 지정된 백업 지원이 GitLab 16.6에서.
- 소개된 증분 백업을 만드는 서버 측 지원이 GitLab 16.6에서.
백업 아카이브에 대용량 리포지터리 백업을 저장하는 대신, 리포지터리 백업은 각 리포지터리를 호스팅하는 Gitaly 노드가 백업을 생성하고 객체 리포지터리로 스트리밍하는 방식으로 구성될 수 있습니다. 이렇게하면 백업을 만들고 복원하는 데 필요한 네트워크 리소스가 줄어듭니다.
- Gitaly에서 서버 측 백업 대상 구성.
- 다음 예시를 참조하여
REPOSITORIES_SERVER_SIDE
변수를 사용하여 백업을 만듭니다.
sudo gitlab-backup create REPOSITORIES_SERVER_SIDE=true
sudo -u git -H bundle exec rake gitlab:backup:create REPOSITORIES_SERVER_SIDE=true
동시에 Git 리포지터리 백업
- GitLab 13.3에서 소개됨.
- 동시 복원이 소개됨 GitLab 14.3에서.
여러 리포지터리 스토리지를 사용할 때, CPU 시간을 최대한 활용할 수 있도록 리포지터리는 백업 또는 복원할 수 있습니다. 다음 변수가 사용 가능하여 리소스 작업을 수정할 수 있습니다.
-
GITLAB_BACKUP_MAX_CONCURRENCY
: 동시에 백업할 프로젝트 최대 수. 기본값은 논리 CPU 수(14.1 GitLab 이전에는 기본값은1
). -
GITLAB_BACKUP_MAX_STORAGE_CONCURRENCY
: 개별 리포지터리에서 동시에 백업할 프로젝트 최대 수. 이를 통해 리포지터리 백업을 여러 리포지터리에 분산시킬 수 있습니다. 기본값은2
(14.1 GitLab 이전에는 기본값은1
).
예시: 4개의 리포지터리 스토리지를 가지고 있을 때:
sudo gitlab-backup create GITLAB_BACKUP_MAX_CONCURRENCY=4 GITLAB_BACKUP_MAX_STORAGE_CONCURRENCY=1
sudo -u git -H bundle exec rake gitlab:backup:create GITLAB_BACKUP_MAX_CONCURRENCY=4 GITLAB_BACKUP_MAX_STORAGE_CONCURRENCY=1
증분 리포지터리 백업
- GitLab 14.9에서 플래그인
incremental_repository_backup
으로 소개됨. 기본으로 비활성화됨. - GitLab 14.10에서 Self-managed가 활성화됨.
- GitLab 15.0에서
PREVIOUS_BACKUP
옵션이 소개됨. - 서버 측 증분 백업 생성을 위한 지원이 GitLab 16.6에서 소개됨.
incremental_repository_backup
이라는 피처 플래그를 비활성화할 수 있습니다.
GitLab.com 및 전용 GitLab에서는 이 기능을 사용할 수 없습니다.INCREMENTAL=yes
를 사용하는 경우 해당 작업은 자체 포함 백업 tar 아카이브를 생성합니다. 모든 하위 작업은 여전히 완전한 백업을 만들고 있으므로(이들은 기존 완전한 백업을 덮어쓰기 때문입니다), 리포지터리를 제외한 모든 하위 작업은 변경되지 않습니다. 모든 하위 작업을 지원하는 증분 백업 기능을 요청하는 issue 19256을 확인하세요.증분 리포지터리 백업은 마지막 백업 이후의 변경 사항만 백업 번들로 압축하므로 전체 리포지터리 백업보다 빠를 수 있습니다. 증분 백업 아카이브는 서로 연결되지 않습니다. 각 아카이브는 인스턴스의 자체 포함 백업입니다. 증분 백업을 만들려면 기존 백업이 있어야 합니다.
- GitLab 14.9와 14.10 버전에서,
BACKUP=<backup-id>
옵션을 사용하여 선택한 이전 백업을 덮어씁니다. 기존 이전 백업이 덮어씌워집니다. - GitLab 15.0 이상에서,
PREVIOUS_BACKUP=<backup-id>
옵션을 사용하여 사용할 백업을 선택합니다. 기본적으로 백업 파일이 백업 ID 섹션에 문서화된 대로 만들어집니다.BACKUP
환경 변수를 설정하여 파일 이름의<backup-id>
부분을 재정의할 수 있습니다.
증분 백업을 만들려면 다음을 실행합니다:
-
GitLab 15.0 이상에서:
sudo gitlab-backup create INCREMENTAL=yes PREVIOUS_BACKUP=<backup-id>
-
GitLab 14.9와 14.10에서:
sudo gitlab-backup create INCREMENTAL=yes BACKUP=<backup-id>
압축 해제되지 않은 증분 백업을 tarred 백업에서 만들려면 SKIP=tar
를 사용하세요:
sudo gitlab-backup create INCREMENTAL=yes SKIP=tar
특정 리포지터리 스토리지 백업
- GitLab 15.0에서 도입되었습니다.
다중 리포지터리 스토리지를 사용할 때, 특정 리포지터리 스토리지의 리포지터리는 REPOSITORIES_STORAGES
옵션을 사용하여 별도로 백업할 수 있습니다. 이 옵션은 쉼표로 구분된 리포지터리 이름 디렉터리을 허용합니다.
예를 들어:
sudo gitlab-backup create REPOSITORIES_STORAGES=storage1,storage2
sudo -u git -H bundle exec rake gitlab:backup:create REPOSITORIES_STORAGES=storage1,storage2
특정 리포지터리 백업
- GitLab 15.1에서 도입되었습니다.
- GitLab 16.1에서 특정 리포지터리 건너뛰기가 추가되었습니다.
REPOSITORIES_PATHS
옵션을 사용하여 특정 리포지터리를 백업할 수 있습니다. 마찬가지로 SKIP_REPOSITORIES_PATHS
를 사용하여 특정 리포지터리를 건너뛸 수도 있습니다. 두 옵션 모두 프로젝트 또는 그룹 경로의 쉼표로 구분된 디렉터리을 허용합니다. 그룹 경로를 지정하면 해당 옵션에 따라 그룹 및 하위 그룹의 모든 프로젝트의 모든 리포지터리가 포함되거나 건너뛰어집니다.
예를 들어, Group A (group-a
)의 모든 프로젝트의 모든 리포지터리, Group B (group-b
)의 Project C의 리포지터리, 그리고 Group A (group-a
)의 Project D를 건너뛰려면:
sudo gitlab-backup create REPOSITORIES_PATHS=group-a,group-b/project-c SKIP_REPOSITORIES_PATHS=group-a/project-d
sudo -u git -H bundle exec rake gitlab:backup:create REPOSITORIES_PATHS=group-a,group-b/project-c SKIP_REPOSITORIES_PATHS=group-a/project-d
원격 (클라우드) 스토리지에 백업 업로드
백업 스크립트를 사용하여 생성된 .tar
파일을 업로드하도록 할 수 있습니다. 다음 예에서는 스토리지로 아마존 S3를 사용하지만, Fog를 사용하면 다른 스토리지 제공업체도 사용할 수 있습니다. GitLab은 또한 AWS, Google, Aliyun을 위한 클라우드 드라이버를 가져옵니다. 로컬 드라이버도 사용 가능합니다.
GitLab과 객체 리포지터리를 사용에 대해 더 읽어보기 object storage with GitLab.
아마존 S3 사용하기
리눅스 패키지 (Omnibus)에서:
-
/etc/gitlab/gitlab.rb
에 다음을 추가합니다:gitlab_rails['backup_upload_connection'] = { 'provider' => 'AWS', 'region' => 'eu-west-1', 'aws_access_key_id' => 'AKIAKIAKI', 'aws_secret_access_key' => 'secret123' # IAM 프로필을 사용할 경우 aws_access_key_id 및 aws_secret_access_key를 구성하지 마십시오 # 'use_iam_profile' => true } gitlab_rails['backup_upload_remote_directory'] = 'my.s3.bucket' # 파일 크기가 100MB에 도달하면 분할 업로드를 고려하십시오. 바이트 단위의 숫자를 입력하십시오. # gitlab_rails['backup_multipart_chunk_size'] = 104857600
-
변경 사항이 적용되도록 GitLab을 다시 구성하십시오.
S3 암호화된 버킷
- GitLab 14.3에서 도입되었습니다.
AWS는 이러한 서버 측 암호화 모드를 지원합니다:
- Amazon S3-Managed Keys (SSE-S3)
- AWS Key Management Service(KMS)에 저장된 고객 마스터 키 (SSE-KMS)
- 고객 제공 키 (SSE-C)
GitLab에서 선택한 모드를 사용할 수 있습니다. 각 모드에는 유사하지만 약간 다른 구성 방법이 있습니다.
SSE-S3
To enable SSE-S3, in the backup storage options set the server_side_encryption
field to AES256
. For example, in the Linux package (Omnibus):
gitlab_rails['backup_upload_storage_options'] = {
'server_side_encryption' => 'AES256'
}
SSE-KMS
To enable SSE-KMS, you need the
KMS key via its Amazon Resource Name (ARN) in the arn:aws:kms:region:acct-id:key/key-id
format.
Under the backup_upload_storage_options
configuration setting, set:
-
server_side_encryption
toaws:kms
. -
server_side_encryption_kms_key_id
to the ARN of the key.
For example, in the Linux package (Omnibus):
gitlab_rails['backup_upload_storage_options'] = {
'server_side_encryption' => 'aws:kms',
'server_side_encryption_kms_key_id' => 'arn:aws:<YOUR KMS KEY ID>:'
}
SSE-C
SSE-C requires you to set these encryption options:
-
backup_encryption
: AES256. -
backup_encryption_key
: Unencoded, 32-byte (256 bits) key. The upload fails if this isn’t exactly 32 bytes.
For example, in the Linux package (Omnibus):
gitlab_rails['backup_encryption'] = 'AES256'
gitlab_rails['backup_encryption_key'] = '<YOUR 32-BYTE KEY HERE>'
If the key contains binary characters and cannot be encoded in UTF-8,
instead, specify the key with the GITLAB_BACKUP_ENCRYPTION_KEY
environment variable.
For example:
gitlab_rails['env'] = { 'GITLAB_BACKUP_ENCRYPTION_KEY' => "\xDE\xAD\xBE\xEF" * 8 }
Digital Ocean Spaces
This example can be used for a bucket in Amsterdam (AMS3):
-
Add the following to
/etc/gitlab/gitlab.rb
:gitlab_rails['backup_upload_connection'] = { 'provider' => 'AWS', 'region' => 'ams3', 'aws_access_key_id' => 'AKIAKIAKI', 'aws_secret_access_key' => 'secret123', 'endpoint' => 'https://ams3.digitaloceanspaces.com' } gitlab_rails['backup_upload_remote_directory'] = 'my.s3.bucket'
-
Reconfigure GitLab for the changes to take effect
If you see a 400 Bad Request
error message when using Digital Ocean Spaces,
the cause may be the use of backup encryption. Because Digital Ocean Spaces
doesn’t support encryption, remove or comment the line that contains
gitlab_rails['backup_encryption']
.
Other S3 Providers
Not all S3 providers are fully compatible with the Fog library. For example,
if you see a 411 Length Required
error message after attempting to upload,
you may need to downgrade the aws_signature_version
value from the default
value to 2
, due to this issue.
For self-compiled installations:
-
Edit
home/git/gitlab/config/gitlab.yml
:backup: # snip upload: # Fog storage connection settings, see https://fog.io/storage/ . connection: provider: AWS region: eu-west-1 aws_access_key_id: AKIAKIAKI aws_secret_access_key: 'secret123' # If using an IAM Profile, leave aws_access_key_id & aws_secret_access_key empty # ie. aws_access_key_id: '' # use_iam_profile: 'true' # The remote 'directory' to store your backups. For S3, this would be the bucket name. remote_directory: 'my.s3.bucket' # Specifies Amazon S3 storage class to use for backups, this is optional # storage_class: 'STANDARD' # # Turns on AWS Server-Side Encryption with Amazon Customer-Provided Encryption Keys for backups, this is optional # 'encryption' must be set in order for this to have any effect. # 'encryption_key' should be set to the 256-bit encryption key for Amazon S3 to use to encrypt or decrypt. # To avoid storing the key on disk, the key can also be specified via the `GITLAB_BACKUP_ENCRYPTION_KEY` your data. # encryption: 'AES256' # encryption_key: '<key>' # # # Turns on AWS Server-Side Encryption with Amazon S3-Managed keys (optional) # https://docs.aws.amazon.com/AmazonS3/latest/userguide/serv-side-encryption.html # For SSE-S3, set 'server_side_encryption' to 'AES256'. # For SS3-KMS, set 'server_side_encryption' to 'aws:kms'. Set # 'server_side_encryption_kms_key_id' to the ARN of customer master key. # storage_options: # server_side_encryption: 'aws:kms' # server_side_encryption_kms_key_id: 'arn:aws:kms:YOUR-KEY-ID-HERE'
-
Restart GitLab for the changes to take effect
If you’re uploading your backups to S3, you should create a new
IAM user with restricted access rights. To give the upload user access only for
uploading backups create the following IAM profile, replacing my.s3.bucket
with the name of your bucket:
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "Stmt1412062044000",
"Effect": "Allow",
"Action": [
"s3:AbortMultipartUpload",
"s3:GetBucketAcl",
"s3:GetBucketLocation",
"s3:GetObject",
"s3:GetObjectAcl",
"s3:ListBucketMultipartUploads",
"s3:PutObject",
"s3:PutObjectAcl"
],
"Resource": [
"arn:aws:s3:::my.s3.bucket/*"
]
},
{
"Sid": "Stmt1412062097000",
"Effect": "Allow",
"Action": [
"s3:GetBucketLocation",
"s3:ListAllMyBuckets"
],
"Resource": [
"*"
]
},
{
"Sid": "Stmt1412062128000",
"Effect": "Allow",
"Action": [
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::my.s3.bucket"
]
}
]
}
Using Google Cloud Storage
To use Google Cloud Storage to save backups, you must first create an access key from the Google console:
- Go to the Google storage settings page.
- Select Interoperability, and then create an access key.
- Make note of the Access Key and Secret and replace them in the following configurations.
- In the buckets advanced settings ensure the Access Control option Set object-level and bucket-level permissions is selected.
- Ensure you have already created a bucket.
For the Linux package (Omnibus):
-
Edit
/etc/gitlab/gitlab.rb
:gitlab_rails['backup_upload_connection'] = { 'provider' => 'Google', 'google_storage_access_key_id' => 'Access Key', 'google_storage_secret_access_key' => 'Secret', ## If you have CNAME buckets (foo.example.com), you might run into SSL issues ## when uploading backups ("hostname foo.example.com.storage.googleapis.com ## does not match the server certificate"). In that case, uncomment the following ## setting. See: https://github.com/fog/fog/issues/2834 #'path_style' => true } gitlab_rails['backup_upload_remote_directory'] = 'my.google.bucket'
-
Reconfigure GitLab for the changes to take effect
For self-compiled installations:
-
Edit
home/git/gitlab/config/gitlab.yml
:backup: upload: connection: provider: 'Google' google_storage_access_key_id: 'Access Key' google_storage_secret_access_key: 'Secret' remote_directory: 'my.google.bucket'
-
Restart GitLab for the changes to take effect
Using Azure Blob storage
- Introduced in GitLab 13.4.
-
Edit
/etc/gitlab/gitlab.rb
:gitlab_rails['backup_upload_connection'] = { 'provider' => 'AzureRM', 'azure_storage_account_name' => '<AZURE STORAGE ACCOUNT NAME>', 'azure_storage_access_key' => '<AZURE STORAGE ACCESS KEY>', 'azure_storage_domain' => 'blob.core.windows.net', # Optional } gitlab_rails['backup_upload_remote_directory'] = '<AZURE BLOB CONTAINER>'
-
Reconfigure GitLab for the changes to take effect
-
Edit
home/git/gitlab/config/gitlab.yml
:backup: upload: connection: provider: 'AzureRM' azure_storage_account_name: '<AZURE STORAGE ACCOUNT NAME>' azure_storage_access_key: '<AZURE STORAGE ACCESS KEY>' remote_directory: '<AZURE BLOB CONTAINER>'
-
Restart GitLab for the changes to take effect
For more details, see the table of Azure parameters.
Specifying a custom directory for backups
This option works only for remote storage. If you want to group your backups,
you can pass a DIRECTORY
environment variable:
sudo gitlab-backup create DIRECTORY=daily
sudo gitlab-backup create DIRECTORY=weekly
Skip uploading backups to remote storage
If you have configured GitLab to upload backups in a remote storage,
you can use the SKIP=remote
option to skip uploading your backups to the remote storage.
sudo gitlab-backup create SKIP=remote
sudo -u git -H bundle exec rake gitlab:backup:create SKIP=remote RAILS_ENV=production
Upload to locally-mounted shares
You can send backups to a locally-mounted share (for example, NFS
,CIFS
, or SMB
) using the Fog
Local
storage provider.
To do this, you must set the following configuration keys:
-
backup_upload_connection.local_root
: mounted directory that backups are copied to. -
backup_upload_remote_directory
: subdirectory of thebackup_upload_connection.local_root
directory. It is created if it doesn’t exist. If you want to copy the tarballs to the root of your mounted directory, use.
.
When mounted, the directory set in the local_root
key must be owned by either:
- The
git
user. So, mounting with theuid=
of thegit
user forCIFS
andSMB
. - The user that you are executing the backup tasks as. For the Linux package (Omnibus), this is the
git
user.
Because file system performance may affect overall GitLab performance, we don’t recommend using cloud-based file systems for storage.
충돌하는 구성 피하기
다음 구성 키를 동일한 경로로 설정하지 마십시오.
-
gitlab_rails['backup_path']
(Self-Compiled 설치에 대한backup.path
). -
gitlab_rails['backup_upload_connection'].local_root
(Self-Compiled 설치에 대한backup.upload.connection.local_root
).
backup_path
구성 키는 백업 파일의 로컬 위치를 설정합니다. upload
구성 키는 아마도 백업 파일을 아카이브 목적으로 별도 서버에 업로드할 때 사용되도록 의도되었습니다.
이러한 구성 키가 동일한 위치로 설정되어 있으면 업로드 기능이 실패하게 됩니다. 그 이유는 업로드 위치에 이미 백업 파일이 존재하기 때문입니다. 이 실패로 인해 업로드 기능이 백업을 삭제하게 되는데, 이것은 실패한 업로드 시도 후에 남아 있는 잔여 파일로 인식되기 때문입니다.
로컬로 마운트된 공유에 업로드 구성하기
-
/etc/gitlab/gitlab.rb
를 편집:gitlab_rails['backup_upload_connection'] = { :provider => 'Local', :local_root => '/mnt/backups' } # 백업을 복사할 마운트된 폴더 내 디렉터리 # 루트 디렉터리에 저장하려면 '.'를 사용하세요 gitlab_rails['backup_upload_remote_directory'] = 'gitlab_backups'
-
변경 사항이 적용되도록 GitLab 재구성 하십시오.
-
home/git/gitlab/config/gitlab.yml
를 편집:backup: upload: # Fog storage connection settings, see https://fog.io/storage/ . connection: provider: Local local_root: '/mnt/backups' # 마운트된 폴더 내 디렉터리 # 루트 디렉터리에 저장하려면 '.'를 사용하세요 remote_directory: 'gitlab_backups'
-
변경 사항이 적용되도록 GitLab 재시작 하십시오.
백업 아카이브 권한
GitLab에서 생성한 백업 아카이브(1393513186_2014_02_27_gitlab_backup.tar
)
기본적으로 소유자/그룹은 git
/git
이고 허가 권한은 0600입니다. 이렇게 설정된 것은
다른 시스템 사용자가 GitLab 데이터를 읽지 못하게 하기 위함입니다. 백업 아카이브를
다른 권한으로 설정해야 하는 경우 archive_permissions
설정을 사용할 수 있습니다.
-
/etc/gitlab/gitlab.rb
를 편집:gitlab_rails['backup_archive_permissions'] = 0644 # 백업 아카이브를 전 세계에서 읽을 수 있게 만듭니다
-
변경 사항이 적용되도록 GitLab 재구성 하십시오.
-
/home/git/gitlab/config/gitlab.yml
를 편집:backup: archive_permissions: 0644 # 백업 아카이브를 전 세계에서 읽을 수 있게 만듭니다
-
변경 사항이 적용되도록 GitLab 재시작 하십시오.
크론(Cron)을 구성하여 매일 백업 만들기
데이터베이스 및 리포지터리를 백업하는 크론 작업을 예약할 수 있습니다.
-
root
사용자의 크론탭을 편집:sudo su - crontab -e
-
다음 행을 추가하여 매일 새벽 2시에 백업을 예약하세요:
0 2 * * * /opt/gitlab/bin/gitlab-backup create CRON=1
-
git
사용자의 크론탭을 편집:sudo -u git crontab -e
-
아래와 같은 행을 맨 아래에 추가하세요:
# 매일 새벽 2시에 GitLab 리포지터리와 SQL 데이터베이스를 전체 백업함 0 2 * * * cd /home/git/gitlab && PATH=/usr/local/bin:/usr/bin:/bin bundle exec rake gitlab:backup:create RAILS_ENV=production CRON=1
CRON=1
환경 설정은 모든 진행 상황 출력을 숨기도록 백업 스크립트에 지시합니다. 이것은 크론 스팸을 줄이기 위해 권장되는 설정입니다. 그러나 백업 문제를 해결할 때는 CRON=1
을 --trace
로 대체하여 자세히 로깅하도록 하십시오.
로컬 파일의 백업 수명 제한 설정 (이전 백업 제거)
정기적 백업이 디스크 공간을 모두 사용하는 것을 방지하기 위해 백업의 제한된 수명을 설정하고 있을 것입니다. 다음 번 백업 작업 실행 시 backup_keep_time
보다 오래된 백업은 삭제됩니다.
이 구성 옵션은 로컬 파일에만 적용됩니다. GitLab은 외부 스토리지에 저장된 오래된 파일을 제거하지 않습니다. 외부 스토리지에서 파일 디렉터리을 확인하고 삭제할 수 있는 권한이 없을 수 있기 때문입니다. 따라서 해당 외부 스토리지에 적절한 유지 정책을 구성하는 것이 권장됩니다 (예: AWS S3).
-
/etc/gitlab/gitlab.rb
를 편집:## 백업 수명을 7일 - 604800초로 제한 gitlab_rails['backup_keep_time'] = 604800
-
변경 사항이 적용되도록 GitLab 재구성 하십시오.
-
/home/git/gitlab/config/gitlab.yml
를 편집:backup: ## 백업 수명을 7일 - 604800초로 제한 keep_time: 604800
-
변경 사항이 적용되도록 GitLab 재시작 하십시오.
PgBouncer를 사용하는 설치의 백업 및 복원
PgBouncer 연결을 통해 GitLab을 백업하거나 복원하지 마십시오. 이러한 작업은 PgBouncer를 우회하고 직접 PostgreSQL 주 노드에 연결해야 하며 그렇지 않으면 GitLab에 장애가 발생할 수 있습니다.
GitLab 백업 또는 복원 작업에 PgBouncer를 사용할 때 다음 오류 메시지가 표시됩니다.
ActiveRecord::StatementInvalid: PG::UndefinedTable
GitLab 백업이 실행될 때마다 GitLab은 500 오류를 생성하기 시작하고 테이블이 없다는 오류가 PostgreSQL에 의해 기록됩니다.
ERROR: relation "tablename" does not exist at character 123
이는 이 작업이 pg_dump
를 사용하고, 모든 SQL 쿼리에 스키마를 명시적으로 포함하고 검색 경로를 널로 설정하여 CVE-2018-1058를 해결하기 때문에 발생합니다.
PgBouncer에서 트랜잭션 풀링 모드로 연결이 재사용되기 때문에 PostgreSQL은 기본 public
스키마를 검색하지 못합니다. 이로 인해 검색 경로를 지우면 테이블과 열이 없는 것으로 나타납니다.
PgBouncer 우회
이 문제를 해결하는 두 가지 방법이 있습니다:
- 백업 작업을 위해 환경 변수를 사용하여 데이터베이스 설정을 재정의합니다.
- 노드를 다시 구성하여 PostgreSQL 주 데이터베이스 노드에 직접 연결합니다.
환경 변수 재정의
- GitLab 16.5에서 다중 데이터베이스 지원이 도입되었습니다.
기본적으로 GitLab은 구성 파일(database.yml
)에 저장된 데이터베이스 구성을 사용합니다. 그러나 환경 변수를 설정하여 백업 및 복원 작업을 위한 데이터베이스 설정을 재정의할 수 있습니다. 이를 위해 GITLAB_BACKUP_
으로 접두사가 지정된 환경 변수를 설정합니다.
GITLAB_BACKUP_PGHOST
GITLAB_BACKUP_PGUSER
GITLAB_BACKUP_PGPORT
GITLAB_BACKUP_PGPASSWORD
GITLAB_BACKUP_PGSSLMODE
GITLAB_BACKUP_PGSSLKEY
GITLAB_BACKUP_PGSSLCERT
GITLAB_BACKUP_PGSSLROOTCERT
GITLAB_BACKUP_PGSSLCRL
GITLAB_BACKUP_PGSSLCOMPRESSION
예를 들어 Linux 패키지(Omnibus)에서 데이터베이스 호스트를 192.168.1.10 및 포트를 5432로 재정의하려면:
sudo GITLAB_BACKUP_PGHOST=192.168.1.10 GITLAB_BACKUP_PGPORT=5432 /opt/gitlab/bin/gitlab-backup create
다중 데이터베이스에서 GitLab을 실행하는 경우 데이터베이스 이름을 환경 변수에 포함하여 데이터베이스 설정을 재정의할 수 있습니다. 예를 들어 main
및 ci
데이터베이스가 서로 다른 데이터베이스 서버에 호스팅되는 경우 GITLAB_BACKUP_
접두사 뒤에 각각의 이름을 덧붙여 PG*
이름을 그대로 두면 됩니다.
sudo GITLAB_BACKUP_MAIN_PGHOST=192.168.1.10 GITLAB_BACKUP_CI_PGHOST=192.168.1.12 /opt/gitlab/bin/gitlab-backup create
이러한 매개변수가 하는 일에 대한 자세한 내용은 PostgreSQL 문서를 참조하세요.
리포지터리 백업 및 복원을 위한 gitaly-backup
- GitLab 14.2에서 도입되었습니다.
- 기본적으로 사용 가능한 상태에서 피처 플래그로 배포되었습니다.
- GitLab 14.10에서 피처 플래그
gitaly_backup
가 제거되었습니다.
gitaly-backup
이진 파일은 백업 Rake 작업에서 Gitaly에서 리포지터리 백업을 생성하고 복원하는 데 사용됩니다. gitaly-backup
은 GitLab에서 Gitaly에 직접 RPC를 호출하는 이전 백업 방법을 대체합니다.
백업 Rake 작업은 이 실행 파일을 찾을 수 있어야 합니다. 대부분의 경우 별도의 경로를 지정할 필요가 없으며 기본 경로 /opt/gitlab/embedded/bin/gitaly-backup
에서 잘 작동해야 합니다. 특정 이유로 경로를 변경해야 하는 경우 Linux 패키지(Omnibus)에서 구성할 수 있습니다:
-
/etc/gitlab/gitlab.rb
에 다음을 추가합니다.gitlab_rails['backup_gitaly_backup_path'] = '/path/to/gitaly-backup'
-
변경 사항이 적용되려면 GitLab을 다시 구성하십시오.
대체 백업 전략
각 배포마다 다른 기능을 가질 수 있으므로 먼저 백업이 필요한 데이터를 검토하여 어떻게 그 데이터를 활용할 수 있는지 이해하는 것이 좋습니다.
예를 들어 Amazon RDS를 사용하는 경우 PostgreSQL 데이터를 처리하기 위해 내장된 백업 및 복원 기능을 사용하거나 백업 명령을 사용할 때 특정 PostgreSQL 데이터를 제외할 수 있습니다.
다음 경우에는 백업 전략의 일환으로 파일 시스템 데이터 전송이나 스냅샷을 고려해보세요:
- GitLab 인스턴스에는 많은 Git 리포지터리 데이터가 포함되어 있고 GitLab 백업 스크립트가 너무 느린 경우.
- GitLab 인스턴스에는 많은 포크된 프로젝트가 있고 정기 백업 작업이 모든 프로젝트의 Git 데이터를 복제하는 경우.
- GitLab 인스턴스에 문제가 있어 일반 백업 및 가져오기 Rake 작업을 사용할 수 없는 경우.
파일 시스템 데이터 전송이나 스냅샷을 사용할 때 고려해야 할 사항:
- 이러한 방법을 사용하여 운영 체제를 변경하지 마십시오. 원본 및 대상의 운영 체제는 가능한 한 유사해야 합니다. 예를 들어, Ubuntu에서 RHEL로 마이그레이션하는 경우 이러한 방법을 사용하지 마십시오.
- 데이터 일관성은 매우 중요합니다. 파일 시스템 전송(예:
rsync
) 또는 스냅샷을 가져오기 전에sudo gitlab-ctl stop
를 사용하여 GitLab을 중지해야 합니다.
예: Amazon Elastic Block Store (EBS)
- Amazon AWS에 호스팅된 Linux 패키지(Omnibus)를 사용하는 GitLab 서버.
- ext4 파일 시스템을 포함한 EBS 드라이브가
/var/opt/gitlab
에 마운트되어 있습니다. - 이 경우 EBS 스냅샷을 찍어 애플리케이션 백업을 만들 수 있습니다.
- 백업에는 모든 리포지터리, 업로드 및 PostgreSQL 데이터가 포함됩니다.
예: Logical Volume Manager (LVM) 스냅샷 + rsync
- Linux 패키지(Omnibus)를 사용하는 GitLab 서버에서
/var/opt/gitlab
에 마운트된 LVM 논리 볼륨을 사용합니다. - rsync를 사용하여
/var/opt/gitlab
디렉터리를 복제하면 너무 많은 파일이 rsync 실행 중에 변경되어 신뢰할 수 없게 됩니다. - 대신
/var/opt/gitlab
을 rsync하는 대신 임시 LVM 스냅샷을 만들고 이를/mnt/gitlab_backup
에 읽기 전용 파일 시스템으로 마운트합니다. - 이제 원격 서버에서 일관된 복제를 생성하는 데 더 오래 실행되는 rsync 작업을 수행할 수 있습니다.
- 복제에는 모든 리포지터리, 업로드 및 PostgreSQL 데이터가 포함됩니다.
GitLab을 가상화된 서버에서 실행 중인 경우 전체 GitLab 서버의 VM 스냅샷도 생성할 수 있습니다. 그러나 VM 스냅샷을 사용하면 서버를 종료해야 하는 경우가 종종 발생하므로 이 솔루션의 실용성이 제한될 수 있습니다.
리포지터리 데이터 따로 백업
먼저, 리포지터리를 제외한 기존 GitLab 데이터를 백업하는지 확인해 주세요:
sudo gitlab-backup create SKIP=repositories
sudo -u git -H bundle exec rake gitlab:backup:create SKIP=repositories RAILS_ENV=production
디스크에 있는 Git 리포지터리 데이터를 매뉴얼으로 백업하는 데 가능한 전략:
- 이전의 Amazon EBS 드라이브 스냅샷 또는 LVM 스냅샷 + rsync의 예와 같이 스냅샷 사용.
- GitLab Geo를 사용하고 Geo 보조 사이트의 리포지터리 데이터에 의존.
- 쓰기를 방지하고 Git 리포지터리 데이터를 복사.
- 리포지터리를 읽기 전용으로 표시하여 온라인 백업 (실험).
쓰기를 방지하고 Git 리포지터리 데이터를 복사
Git 리포지터리는 일관된 방식으로 복사되어야 합니다. 동시에 쓰기 작업 중에 복사해서는 안 되며, 이는 일관성 또는 손상 문제로 이어질 수 있습니다. 더 자세한 내용은 이슈 #270422에서 해당 문제에 대한 토론이 있습니다.
Git 리포지터리 데이터에 쓰기를 방지하려면 두 가지 방법이 있습니다:
- GitLab을 읽기 전용 상태로 두기 위해 유지 보수 모드를 사용합니다.
-
리포지터리를 백업하기 전에 모든 Gitaly 서비스를 중지하여 명시적인 다운타임을 만듭니다.
sudo gitlab-ctl stop gitaly # git 데이터 복사 단계 실행 sudo gitlab-ctl start gitaly
데이터가 복사되는 동안 데이터에 쓰기가 방지되도록 하면서 회사 규모의 보안을 유지한 채로 복사할 수 있는 여러 방법을 사용할 수 있습니다. 우선순위와 안전을 고려할 때 권장되는 방법입니다:
-
rsync
를 사용하여 아카이브 모드, 삭제 및 체크섬 옵션을 사용합니다. 예를 들어:rsync -aR --delete --checksum source destination # 순서를 역으로 지정하여 기존 데이터를 삭제하지 않도록 조심하세요
-
sftp
,scp
,cp
또는 다른 복사 방법을 사용합니다.
온라인 백업을 통한 리포지터리 표시를 읽기 전용으로 표시하기 (실험적)
인스턴스 전체 다운타임을 필요로 하지 않고 리포지터리를 백업하는 한 가지 방법은 프로그래밍적으로 프로젝트를 읽기 전용으로 표시하는 것입니다.
이에는 몇 가지 가능한 단점이 있습니다:
- 리포지터리는 리포지터리의 크기에 따라 스케일되는 시간 동안 읽기 전용 상태로 유지됩니다.
- 각 프로젝트를 읽기 전용으로 표시하는 데 시간이 더 소요되어 백업이 일관성에 영향을 줄 수 있는 더 긴 시간이 소요됩니다. 예를 들어, 백업을 시작하는 첫 번째 프로젝트의 마지막 사용 가능한 데이터와 백업을 받는 마지막 프로젝트의 마지막 데이터 간의 가능한 날짜 불일치가 있을 수 있습니다.
- 포크 네트워크는 풀장 리포지터리에 잠재적인 변경을 방지하기 위해 내부 프로젝트가 백업을 받는 동안 완전히 읽기 전용이어야 합니다.
Geo 팀 Runbooks 프로젝트에는 이 프로세스를 자동화하려는 실험적 스크립트가 있습니다.