다중 데이터베이스
- GitLab 15.7에서 소개됨.
기본적으로 GitLab은 main
데이터베이스로 참조되는 단일 애플리케이션 데이터베이스를 사용합니다.
GitLab을 확장하기 위해 GitLab을 다중 애플리케이션 데이터베이스를 사용하도록 구성할 수 있습니다.
다중 데이터베이스로 GitLab을 구성하는 것은 알려진 문제로 인해 제한된 Beta 상태입니다.
다중 데이터베이스를 설정한 후, GitLab은 CI/CD 기능을 위해 두 번째 애플리케이션 데이터베이스를 사용합니다. 여기서 두 데이터베이스를 하나의 PostgreSQL 인스턴스에 호스팅하는 것을 제외하지 않습니다.
모든 테이블은 main
및 ci
데이터베이스에 동일한 구조로 있습니다. 몇 가지 예시:
- 여러 데이터베이스가 구성되어있을 때,
ci_pipelines
테이블은main
및ci
데이터베이스에 모두 존재하지만, GitLab은ci
데이터베이스의ci_pipelines
테이블에만 읽고 씁니다. - 마찬가지로,
projects
테이블은main
및ci
데이터베이스에 모두 존재하지만, GitLab은main
데이터베이스의projects
테이블에만 읽고 씁니다. - 일부 테이블 (예:
loose_foreign_keys_deleted_records
)의 경우 GitLab은main
및ci
데이터베이스에 읽고 씁니다. 개발 문서 참조
알려진 문제
- 데이터를
ci
데이터베이스로 마이그레이션한 후에는 되돌릴 수 없습니다. - 큰 설치(100GB 이상의 데이터베이스 크기)의 경우 상당한 다운타임이 예상됩니다.
스크립트를 사용하여 기존 설치 마이그레이션
- 기존 Linux 패키지 설치를 위한 스크립트는 GitLab 16.8에서 소개되었습니다.
기존 Linux 패키지 설치
이 마이그레이션에는 다운타임이 필요합니다. 마이그레이션 중 예기치 않은 문제가 발생하면 다시 시작해도 안전합니다.
준비
-
사용 가능한 디스크 공간을 확인하세요:
-
gitlabhq_production_ci
데이터베이스의 데이터를 저장할 디스크 공간이 필요합니다:gitlabhq_production
의 사본을 만듭니다. 필요한 공간을 확인하려면 다음 SQL 쿼리를 실행하세요. 디스크 공간이 부족하지 않도록 25%를 추가하세요.
sudo gitlab-psql -c "SELECT pg_size_pretty( pg_database_size('gitlabhq_production') );"
- 프로세스 중에
gitlabhq_production
데이터베이스의 덤프를 임시로 노드 파일 시스템에 저장해야합니다. 사용되는 로컬 디스크 공간 양을 확인하려면 다음 SQL 문을 실행하세요. 디스크 공간이 부족하지 않도록 25%를 추가하세요.
sudo gitlab-psql -c "select sum(pg_table_size(concat(table_schema,'.',table_name))) from information_schema.tables where table_catalog = 'gitlabhq_production' and table_type = 'BASE TABLE'"
-
-
다운타임 계획을 수립하세요. 다운타임은
gitlabhq_production
데이터베이스의 크기에 따라 달라집니다.- 우리는
gitlabhq_production
을 덤프하고 새gitlabhq_production_ci
데이터베이스로 복원합니다. 데이터베이스 크기가 100GB 미만이면 30분 이내에 완료할 수 있어야 합니다. - 구성 수정과 같은 작은 작업에도 일정을 계획하는 것을 권장합니다.
- 우리는
-
새
gitlabhq_production_ci
데이터베이스를 생성하세요:sudo gitlab-psql -c "CREATE DATABASE gitlabhq_production_ci WITH OWNER 'gitlab'"
마이그레이션
이 프로세스에는 다운타임이 포함됩니다. 마이그레이션 스크립트를 실행하면 GitLab 인스턴스가 중지됩니다. 마이그레이션이 완료되면 인스턴스가 다시 시작됩니다.
-
구성의 백업을 만드세요:
sudo cp /etc/gitlab/gitlab.rb /etc/gitlab/gitlab.rb.org
-
/etc/gitlab/gitlab.rb
를 편집하고 변경 사항을 저장하세요. 리컨피깅 명령을 실행하지 마세요. 마이그레이션 스크립트가 대신 실행할 것입니다.gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' } gitlab_rails['databases']['ci']['enable'] = true gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'
-
마이그레이션 스크립트를 실행하세요:
sudo gitlab-ctl pg-decomposition-migration
이 시점에서 GitLab 인스턴스는 시작되어 정상 작동해야 합니다.
프로시저를 중단하고 아무것도 변경하지 않고 GitLab을 시작하려면 다음 명령을 실행하세요:
sudo cp /etc/gitlab/gitlab.rb.org /etc/gitlab/gitlab.rb
sudo gitlab-ctl reconfigure
sudo gitlab-ctl restart
청소
모든 것이 예상대로 작동하면 불필요한 데이터를 정리할 수 있습니다:
- 메인 데이터베이스에서 CI 데이터 삭제:
sudo gitlab-rake gitlab:db:truncate_legacy_tables:main
- CI 데이터베이스에서 메인 데이터 삭제:
sudo gitlab-rake gitlab:db:truncate_legacy_tables:ci
기존 설치 마이그레이션(매뉴얼 절차)
main
데이터베이스에서 ci
데이터베이스로 기존 데이터를 마이그레이션하려면 데이터베이스를 복사할 수 있습니다.
참고: 마이그레이션 중에 예상치 못한 문제가 발생하면 다시 시작해도 안전합니다.
기존 소스 컴파일 설치
-
GitLab을 PostgreSQL을 제외하고 중지하세요:
sudo service gitlab stop sudo service postgresql start
-
main
데이터베이스를 덤프하세요:sudo -u git pg_dump -f gitlabhq_production.sql gitlabhq_production
-
ci
데이터베이스를 생성하고 이전 덤프에서 데이터를 복사하세요:sudo -u postgres psql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER git;" sudo -u git psql -f gitlabhq_production.sql gitlabhq_production_ci
-
GitLab을 다중 데이터베이스 사용하도록 구성하세요.
기존 Linux 패키지 설치
-
GitLab을 PostgreSQL을 제외하고 중지하세요:
sudo gitlab-ctl stop sudo gitlab-ctl start postgresql
-
main
데이터베이스를 덤프하세요:sudo -u gitlab-psql /opt/gitlab/embedded/bin/pg_dump -h /var/opt/gitlab/postgresql -f gitlabhq_production.sql gitlabhq_production
-
ci
데이터베이스를 생성하고 이전 덤프에서 데이터를 복사하세요:sudo -u gitlab-psql /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER gitlab;" sudo -u gitlab-psql /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -f gitlabhq_production.sql gitlabhq_production_ci
-
GitLab을 다중 데이터베이스 사용하도록 구성하세요.
기존 Linux 패키지 설치에 스트리밍 복제 사용
다운타임을 최소화하기 위해 기존 데이터를 main
데이터베이스에서 ci
데이터베이스로 마이그레이션하려면 스트리밍 복제를 설정할 수 있습니다.
이 절차는 두 개의 데이터베이스 클러스터를 만들어냅니다.
이 절차는 시간과 리소스를 모두 소비할 수 있습니다. 실행하기 전에 가용성과의 교환 관계를 고려하십시오.
두 개의 데이터베이스 클러스터를 만들기 위해 스트리밍 복제를 설정하려면:
- GitLab 데이터베이스에서 새 데이터베이스 인스턴스로 스트리밍 복제를 설정합니다.
- 새 복제본이 따라잡았을 때 백그라운드 마이그레이션을 비활성화합니다.
- 모든 백그라운드 마이그레이션이 완료되었는지 확인합니다.
-
PostgreSQL을 제외한 GitLab을 중지합니다:
sudo gitlab-ctl stop sudo gitlab-ctl start postgresql
- 복제가 완료되면, 스트리밍 복제를 중지하고 복제본을 기본 인스턴스로 승격시킵니다.
이제
main
을 위한 하나,ci
를 위한 하나의 데이터베이스 클러스터가 있습니다. - GitLab을 여러 데이터베이스로 설정합니다.
스트리밍 복제를 설정하는 방법에 대한 자세한 정보는 Linux 패키지 설치를 위한 PostgreSQL 복제 및 장애 조치를 참조하십시오.
여러 데이터베이스 설정
GitLab을 여러 애플리케이션 데이터베이스로 구성하려면 설치 유형에 따라 아래 지침을 따르십시오.
main
데이터가 ci
데이터베이스에 쓰이지 않도록 하는 스플릿 브레인 상황을 방지할 수 있습니다.직접 컴파일된 설치
- 기존 설치에 대해서는, 먼저 데이터를 마이그레이션합니다.
- 예기치 않은 문제가 발생할 경우를 대비하여 GitLab을 백업합니다.
-
GitLab을 중지합니다:
sudo service gitlab stop
-
config/database.yml
를 열고,production:
아래에ci:
섹션을 추가합니다. 이 새로운ci:
섹션에 대한 가능한 값에 대해서는config/database.yml.decomposed-postgresql
을 참조하십시오. 수정한 후,config/database.yml
은 다음과 같아야 합니다:production: main: # ... ci: adapter: postgresql encoding: unicode database: gitlabhq_production_ci # ...
-
config/database.yml
파일을 저장합니다. - 서비스 파일을 업데이트하여
GITLAB_ALLOW_SEPARATE_CI_DATABASE
환경 변수를true
로 설정합니다. -
새로운 설치에 한하여.
gitlabhq_production_ci
데이터베이스를 생성합니다:sudo -u postgres psql -d template1 -c "CREATE DATABASE gitlabhq_production OWNER git;" sudo -u git -H bundle exec rake db:schema:load:ci
-
main
데이터베이스의ci
테이블에 대해 쓰기 잠금을 설정하고, 반대로도 설정합니다:sudo -u git -H bundle exec rake gitlab:db:lock_writes
-
GitLab을 재시작합니다:
sudo service gitlab restart
- 백그라운드 마이그레이션을 활성화합니다.
Linux 패키지 설치
- 기존 설치에 대해서는, 먼저 데이터를 마이그레이션합니다.
- 예기치 않은 문제가 발생할 경우를 대비하여 GitLab을 백업합니다.
-
GitLab을 중지합니다:
sudo gitlab-ctl stop
-
/etc/gitlab/gitlab.rb
을 열고, 다음 라인을 추가합니다:gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' } gitlab_rails['databases']['ci']['enable'] = true gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'
-
/etc/gitlab/gitlab.rb
파일을 저장합니다. -
GitLab을 다시 구성합니다:
sudo gitlab-ctl reconfigure
-
새로운 설치에 한하여. GitLab을 다시 구성하면
gitlabhq_production_ci
데이터베이스가 자동으로 생성됩니다. 데이터베이스가 자동으로 생성되지 않은 경우 매뉴얼으로 생성합니다:sudo gitlab-ctl start postgresql sudo -u gitlab-psql /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER gitlab;" sudo gitlab-rake db:schema:load:ci
-
main
데이터베이스의ci
테이블에 대해 쓰기 잠금을 설정하고, 반대로도 설정합니다:sudo gitlab-ctl start postgresql sudo gitlab-rake gitlab:db:lock_writes
-
GitLab을 재시작합니다:
sudo gitlab-ctl restart
- 백그라운드 마이그레이션을 활성화합니다.
추가 정보
여러 데이터베이스에 대한 자세한 정보는 issue 6168를 참조하십시오.
GitLab에서 여러 데이터베이스가 작동하는 방법에 대한 자세한 정보는 다중 데이터베이스 개발 가이드를 참조하십시오.
2022-07-02부터 GitLab.com은 두 개의 별도 데이터베이스로 실행되고 있습니다. 자세한 내용은 이 블로그 포스트를 참조하십시오.