다중 데이터베이스

Tier: Free, Premium, Ultimate
Offering: Self-Managed
caution

이 기능은 프로덕션 환경에서 사용할 준비가 되지 않았습니다.

기본적으로 GitLab은 main 데이터베이스로 참조되는 단일 응용 프로그램 데이터베이스를 사용합니다.

GitLab을 확장하기 위해 GitLab을 여러 응용 프로그램 데이터베이스로 구성할 수 있습니다.

여러 데이터베이스를 사용하도록 GitLab을 구성하는 것은 알려진 이슈로 GitLab이 여러 데이터베이스로 구성된 경우 실험 입니다.

여러 데이터베이스를 설정한 후 GitLab은 두 번째 응용 프로그램 데이터베이스를 CI/CD 기능으로 사용하며, 이를 ci 데이터베이스로 참조합니다. 두 데이터베이스를 단일 PostgreSQL 인스턴스에 호스팅하는 것을 제외합니다.

모든 테이블은 main 및 ci 데이터베이스에 정확히 동일한 구조를 갖습니다. 일부 예시:

  • 여러 데이터베이스가 구성된 경우, ci_pipelines 테이블은 main 및 ci 데이터베이스에 모두 존재하지만, GitLab은 ci 데이터베이스의 ci_pipelines 테이블만을 읽고 씁니다.
  • 마찬가지로, projects 테이블은 main 및 ci 데이터베이스에 모두 존재하지만, GitLab은 main 데이터베이스의 projects 테이블만을 읽고 씁니다.
  • 일부 테이블 (예: loose_foreign_keys_deleted_records)의 경우 GitLab은 main 및 ci 데이터베이스에 읽고 씁니다. 개발 문서를 참조하세요.

알려진 이슈

  • 데이터가 ci 데이터베이스로 마이그레이션된 후에는 데이터를 다시 마이그레이션할 수 없습니다.
  • 이 절차로는 아직 HA 설정 또는 PgBouncer 설정을 지원하지 않습니다.

스크립트를 사용하여 기존 설치 마이그레이션

  • 기존 Linux 패키지 설치를 마이그레이션하는 스크립트가 GitLab 16.8에서 소개되었습니다.
note

마이그레이션 중 예상치 못한 문제가 발생하면 다시 시작해도 안전합니다.

기존 Linux 패키지 설치

준비

  1. 사용 가능한 디스크 공간 확인:

    • gitlabhq_production_ci 데이터베이스를 저장할 데이터베이스 노드에 충분한 공간이 필요합니다. 기존 데이터베이스의 사본을 저장합니다. 필요한 공간을 알아내기 위해 다음 SQL 쿼리를 실행합니다. 디스크 공간이 부족하지 않도록 25%를 추가합니다. 
     sudo gitlab-psql -c "SELECT pg_size_pretty( pg_database_size('gitlabhq_production') );"
    • 프로세스 중에 gitlabhq_production 데이터베이스의 덤프를 임시로 노드의 파일 시스템에 저장해야 합니다. 얼마나 많은 로컬 디스크 공간을 사용할지 알아내기 위해 다음 SQL 문을 실행합니다. 디스크 공간이 부족하지 않도록 25%를 추가합니다. 
     sudo gitlab-psql -c "select sum(pg_table_size(concat(table_schema,'.',table_name))) from information_schema.tables where table_catalog = 'gitlabhq_production' and table_type = 'BASE TABLE'"

  2. 다운타임을 계획합니다. 다운타임은 gitlabhq_production 데이터베이스의 크기에 따라 달라집니다.

    • 우리는 gitlabhq_production 데이터베이스를 덤프하여 새 gitlabhq_production_ci 데이터베이스로 복원합니다. 100GB 미만의 데이터베이스 크기는 30분 이내에 완료되어야 합니다.
    • 구성 수정과 같은 적은 작업에도 시간을 할애하는 것이 좋습니다.

  3. 새 gitlabhq_production_ci 데이터베이스를 생성합니다: 

    sudo gitlab-psql -c "CREATE DATABASE gitlabhq_production_ci WITH OWNER 'gitlab'"

마이그레이션

이 프로세스는 다운타임을 포함합니다. 마이그레이션 스크립트를 실행하면 GitLab 인스턴스가 중지됩니다. 마이그레이션이 완료되면 인스턴스가 다시 시작됩니다.

  1. 구성의 백업을 만듭니다: 

    sudo cp /etc/gitlab/gitlab.rb /etc/gitlab/gitlab.rb.org

  2. /etc/gitlab/gitlab.rb를 편집하고 변경 사항을 저장합니다. reconfigure 명령을 실행하지 마세요. 마이그레이션 스크립트가 대신 실행합니다. 

    gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' }
gitlab_rails['databases']['ci']['enable'] = true
gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'

  3. 마이그레이션 스크립트를 실행합니다: 

    sudo gitlab-ctl pg-decomposition-migration

이 시점에서 GitLab 인스턴스가 시작되어 기능적이어야 합니다.

절차를 중단하고 변경 사항 없이 GitLab을 시작하려면 다음 명령을 실행하세요: 

sudo cp /etc/gitlab/gitlab.rb.org /etc/gitlab/gitlab.rb
sudo gitlab-ctl reconfigure
sudo gitlab-ctl restart

정리

모든 것이 예상대로 작동하면, 불필요한 데이터를 정리할 수 있습니다:

  • Main 데이터베이스에서 CI 데이터 삭제: 
sudo gitlab-rake gitlab:db:truncate_legacy_tables:main
  • CI 데이터베이스에서 Main 데이터 삭제: 
sudo gitlab-rake gitlab:db:truncate_legacy_tables:ci

기존 설치 이전 마이그레이션(수동 절차)

main 데이터베이스에서 기존 데이터를 ci 데이터베이스로 마이그레이션하려면 데이터베이스를 복사할 수 있습니다.

참고: 마이그레이션 중에 예상치 못한 문제가 발생하면 처음부터 다시 시작해도 안전합니다.

기존 자체 컴파일 설치

  1. 백그라운드 마이그레이션 비활성화.

  2. 모든 백그라운드 마이그레이션이 완료되었는지 확인.

  3. PostgreSQL을 제외한 GitLab 중지: 

    sudo service gitlab stop
sudo service postgresql start

  4. main 데이터베이스 덤프: 

    sudo -u git pg_dump -f gitlabhq_production.sql gitlabhq_production

  5. ci 데이터베이스 생성하고 이전 덤프 데이터 복사: 

    sudo -u postgres psql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER git;"
sudo -u git psql -f gitlabhq_production.sql gitlabhq_production_ci

  6. GitLab을 다중 데이터베이스 사용하도록 구성.

기존 리눅스 패키지 설치

  1. 백그라운드 마이그레이션 비활성화.

  2. 모든 백그라운드 마이그레이션이 완료되었는지 확인.

  3. PostgreSQL을 제외한 GitLab 중지: 

    sudo gitlab-ctl stop
sudo gitlab-ctl start postgresql

  4. main 데이터베이스 덤프: 

    sudo -u gitlab-psql /opt/gitlab/embedded/bin/pg_dump -h /var/opt/gitlab/postgresql -f gitlabhq_production.sql gitlabhq_production

  5. ci 데이터베이스 생성하고 이전 덤프 데이터 복사: 

    sudo -u gitlab-psql /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER gitlab;"
sudo -u gitlab-psql  /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -f gitlabhq_production.sql gitlabhq_production_ci

  6. GitLab을 다중 데이터베이스 사용하도록 구성.

다중 데이터베이스 설정

GitLab을 다중 애플리케이션 데이터베이스 사용하도록 구성하려면 설치 유형에 따라 아래 지침을 따르세요.

경고: 다중 데이터베이스를 설정하기 전에 GitLab을 중지해야 합니다. 그렇지 않으면 ‘main’ 데이터가 ‘ci’ 데이터베이스에 작성되거나 그 반대로 발생할 수 있는 split-brain 상황을 방지합니다.

자체 컴파일 설치

  1. 기존 설치의 경우, 먼저 데이터를 마이그레이션하세요.

  2. 예기치 못한 문제 발생 시 GitLab을 백업하여 예기치 못한 문제에 대비하세요.

  3. GitLab 중지: 

    sudo service gitlab stop

  4. config/database.yml 파일을 열고, production: 하위에 ci: 섹션을 추가해야 합니다. 이 새로운 ci: 섹션에 대한 가능한 값은 config/database.yml.decomposed-postgresql을 참조하세요. 수정한 후 config/database.yml 파일은 다음과 같아야 합니다: 

    production:
  main:
    # ...
  ci:
    adapter: postgresql
    encoding: unicode
    database: gitlabhq_production_ci
    # ...

  5. config/database.yml 파일을 저장하세요.

  6. 서비스 파일을 열어 GITLAB_ALLOW_SEPARATE_CI_DATABASE 환경 변수를 true로 설정하세요.

  7. 새 설치에 대해서만 해당됨. gitlabhq_production_ci 데이터베이스를 생성하세요: 

    sudo -u postgres psql -d template1 -c "CREATE DATABASE gitlabhq_production OWNER git;"
sudo -u git -H bundle exec rake db:schema:load:ci

  8. main 데이터베이스의 ci 테이블에 대한 작성 잠금 및 그 반대로: 

    sudo -u git -H bundle exec rake gitlab:db:lock_writes

  9. GitLab 재시작: 

    sudo service gitlab restart

  10. 백그라운드 마이그레이션 활성화

Linux 패키지 설치

  1. 기존 설치에 대해서는 먼저 데이터를 이전하세요.

  2. 예기치 않은 문제가 발생할 경우를 대비하여 GitLab을 백업하세요.

  3. GitLab을 중지하세요: 

    sudo gitlab-ctl stop

  4. /etc/gitlab/gitlab.rb 파일을 편집하고 다음 라인을 추가하세요: 

    gitlab_rails['env'] = { 'GITLAB_ALLOW_SEPARATE_CI_DATABASE' => 'true' }
gitlab_rails['databases']['ci']['enable'] = true
gitlab_rails['databases']['ci']['db_database'] = 'gitlabhq_production_ci'

  5. /etc/gitlab/gitlab.rb 파일을 저장하세요.

  6. GitLab을 재구성하세요: 

    sudo gitlab-ctl reconfigure

  7. 선택 사항입니다. 새 설치에 대해서만 해당됩니다. GitLab을 재구성하면 gitlabhq_production_ci 데이터베이스가 자동으로 생성됩니다. 데이터베이스가 자동으로 생성되지 않는 경우 수동으로 생성하세요: 

    sudo gitlab-ctl start postgresql
sudo -u gitlab-psql /opt/gitlab/embedded/bin/psql -h /var/opt/gitlab/postgresql -d template1 -c "CREATE DATABASE gitlabhq_production_ci OWNER gitlab;"
sudo gitlab-rake db:schema:load:ci

  8. main 데이터베이스의 ci 테이블에 대한 쓰기 잠금을 설정하고, 그 반대로 수행하세요: 

    sudo gitlab-ctl start postgresql
sudo gitlab-rake gitlab:db:lock_writes

  9. GitLab을 재시작하세요: 

    sudo gitlab-ctl restart

  10. 백그라운드 마이그레이션 활성화

추가 정보

다중 데이터베이스에 대한 자세한 내용은 이슈 6168을 참조하세요.

GitLab에서 다중 데이터베이스가 작동하는 방법에 대한 자세한 내용은 다중 데이터베이스를 위한 개발 가이드를 참조하세요.

2022-07-02부터 GitLab.com은 두 개의 별도 데이터베이스로 운영되고 있습니다. 자세한 내용은 블로그 글을 참조하세요.