다중 데이터베이스

Tier: Free, Premium, Ultimate Offering: Self-Managed
caution
이 기능은 프로덕션 환경에서 사용할 준비가 되지 않았습니다.

기본적으로 GitLab은 main 데이터베이스로 참조되는 단일 애플리케이션 데이터베이스를 사용합니다.

GitLab을 확장하기 위해 GitLab을 다중 애플리케이션 데이터베이스를 사용하도록 구성할 수 있습니다.

다중 데이터베이스로 GitLab을 구성하는 것은 알려진 문제로 인해 제한된 Beta 상태입니다.

다중 데이터베이스를 설정한 후, GitLab은 CI/CD 기능을 위해 두 번째 애플리케이션 데이터베이스를 사용합니다. 여기서 두 데이터베이스를 하나의 PostgreSQL 인스턴스에 호스팅하는 것을 제외하지 않습니다.

모든 테이블은 main 및 ci 데이터베이스에 동일한 구조로 있습니다. 몇 가지 예시:

  • 여러 데이터베이스가 구성되어있을 때, ci_pipelines 테이블은 main 및 ci 데이터베이스에 모두 존재하지만, GitLab은 ci 데이터베이스의 ci_pipelines 테이블에만 읽고 씁니다.
  • 마찬가지로, projects 테이블은 main 및 ci 데이터베이스에 모두 존재하지만, GitLab은 main 데이터베이스의 projects 테이블에만 읽고 씁니다.
  • 일부 테이블 (예: loose_foreign_keys_deleted_records)의 경우 GitLab은 main 및 ci 데이터베이스에 읽고 씁니다. 개발 문서 참조

알려진 문제

  • 데이터를 ci 데이터베이스로 마이그레이션한 후에는 되돌릴 수 없습니다.
  • 큰 설치(100GB 이상의 데이터베이스 크기)의 경우 상당한 다운타임이 예상됩니다.

스크립트를 사용하여 기존 설치 마이그레이션

  • 기존 Linux 패키지 설치를 위한 스크립트는 GitLab 16.8에서 소개되었습니다.

기존 Linux 패키지 설치

이 마이그레이션에는 다운타임이 필요합니다. 마이그레이션 중 예기치 않은 문제가 발생하면 다시 시작해도 안전합니다.

준비

  1. 사용 가능한 디스크 공간을 확인하세요:

    • gitlabhq_production_ci 데이터베이스의 데이터를 저장할 디스크 공간이 필요합니다: gitlabhq_production의 사본을 만듭니다. 필요한 공간을 확인하려면 다음 SQL 쿼리를 실행하세요. 디스크 공간이 부족하지 않도록 25%를 추가하세요. 
     sudo gitlab-psql -c "SELECT pg_size_pretty( pg_database_size('gitlabhq_production') );"
    • 프로세스 중에 gitlabhq_production 데이터베이스의 덤프를 임시로 노드 파일 시스템에 저장해야합니다. 사용되는 로컬 디스크 공간 양을 확인하려면 다음 SQL 문을 실행하세요. 디스크 공간이 부족하지 않도록 25%를 추가하세요. 
     sudo gitlab-psql -c "select sum(pg_table_size(concat(table_schema,'.',table_name))) from information_schema.tables where table_catalog = 'gitlabhq_production' and table_type = 'BASE TABLE'"

  2. 다운타임 계획을 수립하세요. 다운타임은 gitlabhq_production 데이터베이스의 크기에 따라 달라집니다.

    • 우리는gitlabhq_production을 덤프하고 새 gitlabhq_production_ci 데이터베이스로 복원합니다. 데이터베이스 크기가 100GB 미만이면 30분 이내에 완료할 수 있어야 합니다.
    • 구성 수정과 같은 작은 작업에도 일정을 계획하는 것을 권장합니다.

  3. 새 gitlabhq_production_ci 데이터베이스를 생성하세요: 

    sudo gitlab-psql -c "CREATE DATABASE gitlabhq_production_ci WITH OWNER 'gitlab'"

마이그레이션

이 프로세스에는 다운타임이 포함됩니다. 마이그레이션 스크립트를 실행하면 GitLab 인스턴스가 중지됩니다. 마이그레이션이 완료되면 인스턴스가 다시 시작됩니다.

  1. 구성의 백업을 만드세요: 

    sudo cp /etc/gitlab/gitlab.rb /etc/gitlab/gitlab.rb.org

  2. /etc/gitlab/gitlab.rb를 편집하고 변경 사항을 저장하세요. 리컨피깅 명령을 실행하지 마세요. 마이그레이션 스크립트가 대신 실행할 것입니다. 

    gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' }
gitlab_rails['databases']['ci']['enable'] = true
gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'

  3. 마이그레이션 스크립트를 실행하세요: 

    sudo gitlab-ctl pg-decomposition-migration

이 시점에서 GitLab 인스턴스는 시작되어 정상 작동해야 합니다.

프로시저를 중단하고 아무것도 변경하지 않고 GitLab을 시작하려면 다음 명령을 실행하세요: 

sudo cp /etc/gitlab/gitlab.rb.org /etc/gitlab/gitlab.rb
sudo gitlab-ctl reconfigure
sudo gitlab-ctl restart

청소

모든 것이 예상대로 작동하면 불필요한 데이터를 정리할 수 있습니다:

  • 메인 데이터베이스에서 CI 데이터 삭제: 
sudo gitlab-rake gitlab:db:truncate_legacy_tables:main
  • CI 데이터베이스에서 메인 데이터 삭제: 
sudo gitlab-rake gitlab:db:truncate_legacy_tables:ci

기존 설치 마이그레이션(매뉴얼 절차)

main 데이터베이스에서 ci 데이터베이스로 기존 데이터를 마이그레이션하려면 데이터베이스를 복사할 수 있습니다.

참고: 마이그레이션 중에 예상치 못한 문제가 발생하면 다시 시작해도 안전합니다.

기존 소스 컴파일 설치

  1. 백그라운드 마이그레이션 비활성화.

  2. 모든 백그라운드 마이그레이션이 완료되었는지 확인.

  3. GitLab을 PostgreSQL을 제외하고 중지하세요: 

    sudo service gitlab stop
sudo service postgresql start

  4. main 데이터베이스를 덤프하세요: 

    sudo -u git pg_dump -f gitlabhq_production.sql gitlabhq_production

  5. ci 데이터베이스를 생성하고 이전 덤프에서 데이터를 복사하세요: 

    sudo -u postgres psql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER git;"
sudo -u git psql -f gitlabhq_production.sql gitlabhq_production_ci

  6. GitLab을 다중 데이터베이스 사용하도록 구성하세요.

기존 Linux 패키지 설치

  1. 백그라운드 마이그레이션 비활성화

  2. 모든 백그라운드 마이그레이션이 완료되었는지 확인

  3. GitLab을 PostgreSQL을 제외하고 중지하세요: 

    sudo gitlab-ctl stop
sudo gitlab-ctl start postgresql

  4. main 데이터베이스를 덤프하세요: 

    sudo -u gitlab-psql /opt/gitlab/embedded/bin/pg_dump -h /var/opt/gitlab/postgresql -f gitlabhq_production.sql gitlabhq_production

  5. ci 데이터베이스를 생성하고 이전 덤프에서 데이터를 복사하세요: 

    sudo -u gitlab-psql /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER gitlab;"
sudo -u gitlab-psql  /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -f gitlabhq_production.sql gitlabhq_production_ci

  6. GitLab을 다중 데이터베이스 사용하도록 구성하세요.

기존 Linux 패키지 설치에 스트리밍 복제 사용

다운타임을 최소화하기 위해 기존 데이터를 main 데이터베이스에서 ci 데이터베이스로 마이그레이션하려면 스트리밍 복제를 설정할 수 있습니다. 이 절차는 두 개의 데이터베이스 클러스터를 만들어냅니다.

이 절차는 시간과 리소스를 모두 소비할 수 있습니다. 실행하기 전에 가용성과의 교환 관계를 고려하십시오.

두 개의 데이터베이스 클러스터를 만들기 위해 스트리밍 복제를 설정하려면:

  1. GitLab 데이터베이스에서 새 데이터베이스 인스턴스로 스트리밍 복제를 설정합니다.
  2. 새 복제본이 따라잡았을 때 백그라운드 마이그레이션을 비활성화합니다.
  3. 모든 백그라운드 마이그레이션이 완료되었는지 확인합니다.

  4. PostgreSQL을 제외한 GitLab을 중지합니다: 

    sudo gitlab-ctl stop
sudo gitlab-ctl start postgresql
  5. 복제가 완료되면, 스트리밍 복제를 중지하고 복제본을 기본 인스턴스로 승격시킵니다. 이제 main을 위한 하나, ci를 위한 하나의 데이터베이스 클러스터가 있습니다.
  6. GitLab을 여러 데이터베이스로 설정합니다.

스트리밍 복제를 설정하는 방법에 대한 자세한 정보는 Linux 패키지 설치를 위한 PostgreSQL 복제 및 장애 조치를 참조하십시오.

여러 데이터베이스 설정

GitLab을 여러 애플리케이션 데이터베이스로 구성하려면 설치 유형에 따라 아래 지침을 따르십시오.

caution
여러 데이터베이스를 설정하기 전에 반드시 GitLab을 중지해야 합니다. 이렇게 하면 main 데이터가 ci 데이터베이스에 쓰이지 않도록 하는 스플릿 브레인 상황을 방지할 수 있습니다.

직접 컴파일된 설치

  1. 기존 설치에 대해서는, 먼저 데이터를 마이그레이션합니다.
  2. 예기치 않은 문제가 발생할 경우를 대비하여 GitLab을 백업합니다.

  3. GitLab을 중지합니다: 

    sudo service gitlab stop

  4. config/database.yml를 열고, production: 아래에 ci: 섹션을 추가합니다. 이 새로운 ci: 섹션에 대한 가능한 값에 대해서는 config/database.yml.decomposed-postgresql을 참조하십시오. 수정한 후, config/database.yml은 다음과 같아야 합니다: 

    production:
  main:
    # ...
  ci:
    adapter: postgresql
    encoding: unicode
    database: gitlabhq_production_ci
    # ...
  5. config/database.yml 파일을 저장합니다.
  6. 서비스 파일을 업데이트하여 GITLAB_ALLOW_SEPARATE_CI_DATABASE 환경 변수를 true로 설정합니다.

  7. 새로운 설치에 한하여. gitlabhq_production_ci 데이터베이스를 생성합니다: 

    sudo -u postgres psql -d template1 -c "CREATE DATABASE gitlabhq_production OWNER git;"
sudo -u git -H bundle exec rake db:schema:load:ci

  8. main 데이터베이스의 ci 테이블에 대해 쓰기 잠금을 설정하고, 반대로도 설정합니다: 

    sudo -u git -H bundle exec rake gitlab:db:lock_writes

  9. GitLab을 재시작합니다: 

    sudo service gitlab restart
  10. 백그라운드 마이그레이션을 활성화합니다.

Linux 패키지 설치

  1. 기존 설치에 대해서는, 먼저 데이터를 마이그레이션합니다.
  2. 예기치 않은 문제가 발생할 경우를 대비하여 GitLab을 백업합니다.

  3. GitLab을 중지합니다: 

    sudo gitlab-ctl stop

  4. /etc/gitlab/gitlab.rb을 열고, 다음 라인을 추가합니다: 

    gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' }
gitlab_rails['databases']['ci']['enable'] = true
gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'

  5. /etc/gitlab/gitlab.rb 파일을 저장합니다.

  6. GitLab을 다시 구성합니다: 

    sudo gitlab-ctl reconfigure

  7. 새로운 설치에 한하여. GitLab을 다시 구성하면 gitlabhq_production_ci 데이터베이스가 자동으로 생성됩니다. 데이터베이스가 자동으로 생성되지 않은 경우 매뉴얼으로 생성합니다: 

    sudo gitlab-ctl start postgresql
sudo -u gitlab-psql /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER gitlab;"
sudo gitlab-rake db:schema:load:ci

  8. main 데이터베이스의 ci 테이블에 대해 쓰기 잠금을 설정하고, 반대로도 설정합니다: 

    sudo gitlab-ctl start postgresql
sudo gitlab-rake gitlab:db:lock_writes

  9. GitLab을 재시작합니다: 

    sudo gitlab-ctl restart
  10. 백그라운드 마이그레이션을 활성화합니다.

추가 정보

여러 데이터베이스에 대한 자세한 정보는 issue 6168를 참조하십시오.

GitLab에서 여러 데이터베이스가 작동하는 방법에 대한 자세한 정보는 다중 데이터베이스 개발 가이드를 참조하십시오.

2022-07-02부터 GitLab.com은 두 개의 별도 데이터베이스로 실행되고 있습니다. 자세한 내용은 이 블로그 포스트를 참조하십시오.