ClickHouse 통합 가이드라인

Status: 실험

이 기능은 실험입니다.

GitLab과 ClickHouse 데이터베이스 간의 통합 설정 방법에 대한 지침입니다.

설정

GitLab 데이터 저장소로 ClickHouse를 설정하려면 다음을 수행하세요:

  1. ClickHouse 클러스터를 실행하고 데이터베이스를 구성합니다.
  2. GitLab과의 연결을 ClickHouse에 구성합니다.
  3. ClickHouse 마이그레이션을 실행합니다.

ClickHouse 실행 및 구성

ClickHouse를 실행하는 가장 직접적인 방법은 ClickHouse Cloud를 사용하는 것입니다. 또는 자체 서버에서 ClickHouse를 실행할 수 있습니다. ClickHouse에 대한 자체 관리 인스턴스의 권장 사항은 ClickHouse 문서를 참조하십시오 (https://clickhouse.com/docs/en/install#recommendations-for-self-managed-clickhouse).

ClickHouse를 호스팅된 서버에서 실행할 때는 매월 인스턴스에서 실행되는 빌드 수, 선택한 하드웨어, ClickHouse를 호스팅할 데이터 센터 선택 및 기타 여러 데이터 포인트가 리소스 소비에 영향을 줄 수 있습니다. 그러나 비용은 상당히 크지 않아야 합니다.

참고: ClickHouse는 GitLab의 보조 데이터 저장소입니다. 모든 데이터는 여전히 Postgres에 저장되며 분석 목적으로만 ClickHouse에 중복으로 저장됩니다.

필요한 사용자 및 데이터베이스 객체를 생성하려면:

  1. 안전한 암호를 생성하고 저장합니다.
  2. ClickHouse SQL 콘솔에 로그인합니다.

  3. 다음 명령을 실행합니다. 생성된 암호로 PASSWORD_HERE를 대체합니다. 

     CREATE DATABASE gitlab_clickhouse_main_production;
 CREATE USER gitlab IDENTIFIED WITH sha256_password BY 'PASSWORD_HERE';
 CREATE ROLE gitlab_app;
 GRANT SELECT, INSERT, ALTER, CREATE, UPDATE, DROP, TRUNCATE, OPTIMIZE ON gitlab_clickhouse_main_production.* TO gitlab_app;
 GRANT gitlab_app TO gitlab;

GitLab과의 연결을 ClickHouse에 구성

Linux 패키지

GitLab에 ClickHouse 자격 증명을 제공하려면:

  1. /etc/gitlab/gitlab.rb 파일을 편집합니다: 

     gitlab_rails['clickhouse_databases']['main']['database'] = 'gitlab_clickhouse_main_production'
 gitlab_rails['clickhouse_databases']['main']['url'] = 'https://example.com/path'
 gitlab_rails['clickhouse_databases']['main']['username'] = 'gitlab'
 gitlab_rails['clickhouse_databases']['main']['password'] = 'PASSWORD_HERE' # 실제 암호로 대체

  2. 파일을 저장하고 GitLab을 다시 구성합니다: 

    sudo gitlab-ctl reconfigure
Helm 차트 (Kubernetes)

  1. ClickHouse 암호를 Kubernetes 비밀로 저장합니다: 

    kubectl create secret generic gitlab-clickhouse-password --from-literal="main_password=PASSWORD_HERE"

  2. Helm 값 내보내기: 

    helm get values gitlab > gitlab_values.yaml

  3. gitlab_values.yaml 파일을 편집합니다: 

     global:
   clickhouse:
     enabled: true
     main:
       username: default
       password:
         secret: gitlab-clickhouse-password
         key: main_password
       database: gitlab_clickhouse_main_production
       url: 'http://example.com'

  4. 파일을 저장하고 새로운 값을 적용합니다: 

    helm upgrade -f gitlab_values.yaml gitlab gitlab/gitlab

연결이 성공적으로 설정되었는지 확인하려면:

  1. Rails 콘솔에 로그인합니다

  2. 다음을 실행합니다: 

     ClickHouse::Client.select('SELECT 1', :main)

    성공하면 해당 명령은 [{"1"=>1}]을 반환합니다.

ClickHouse 마이그레이션 실행

필요한 데이터베이스 객체를 생성하려면 다음을 실행합니다: 

sudo gitlab-rake gitlab:clickhouse:migrate