ClickHouse 통합 가이드

Status: Experiment

이 기능은 Experiment 상태입니다.

GitLab과 ClickHouse 데이터베이스 간의 통합 설정 방법에 대한 지침.

설정

GitLab 데이터 리포지터리로 ClickHouse를 설정하려면 다음을 수행합니다:

  1. ClickHouse 클러스터 실행 및 데이터베이스 구성.
  2. GitLab과의 연결 Clickhouse 구성.
  3. ClickHouse 마이그레이션 실행.

ClickHouse 실행 및 구성

ClickHouse를 실행하는 가장 간단한 방법은 ClickHouse Cloud를 사용하는 것입니다. 또한 진행 중인 서버에서 ClickHouse 실행하는 방법을 참조하십시오. ClickHouse를 Self-Managed형하는 인스턴스에 대한 권장 사항은 ClickHouse 문서에서 확인할 수 있습니다.

ClickHouse를 호스팅된 서버에서 실행하면 매달 인스턴스에서 실행되는 빌드 수, 선택한 하드웨어, ClickHouse를 호스팅할 데이터 센터 선택 등 다양한 데이터 포인트가 리소스 소비에 영향을 줄 수 있습니다. 그러나 비용은 미미해야 합니다.

note
ClickHouse는 GitLab의 보조 데이터 리포지터리입니다. 분석 목적으로 ClickHouse에는 특정 데이터만 저장됩니다.

필요한 사용자 및 데이터베이스 개체를 만들려면:

  1. 안전한 암호를 생성하고 저장합니다.
  2. ClickHouse SQL 콘솔에 로그인합니다.

  3. 다음 명령을 실행합니다. 생성된 암호로 PASSWORD_HERE를 대체합니다. 

     CREATE DATABASE gitlab_clickhouse_main_production;
 CREATE USER gitlab IDENTIFIED WITH sha256_password BY 'PASSWORD_HERE';
 CREATE ROLE gitlab_app;
 GRANT SELECT, INSERT, ALTER, CREATE, UPDATE, DROP, TRUNCATE, OPTIMIZE ON gitlab_clickhouse_main_production.* TO gitlab_app;
 GRANT gitlab_app TO gitlab;

GitLab 연결 ClickHouse 구성

Linux 패키지

GitLab에 ClickHouse 자격 증명을 제공하려면 다음을 수행합니다:

  1. /etc/gitlab/gitlab.rb 파일을 편집합니다. 

     gitlab_rails['clickhouse_databases']['main']['database'] = 'gitlab_clickhouse_main_production'
 gitlab_rails['clickhouse_databases']['main']['url'] = 'https://example.com/path'
 gitlab_rails['clickhouse_databases']['main']['username'] = 'gitlab'
 gitlab_rails['clickhouse_databases']['main']['password'] = 'PASSWORD_HERE' # 실제 암호로 대체

  2. 파일을 저장하고 GitLab을 다시 구성합니다. 

    sudo gitlab-ctl reconfigure
Helm 차트 (Kubernetes)

  1. ClickHouse 암호를 Kubernetes Secret으로 저장합니다. 

    kubectl create secret generic gitlab-clickhouse-password --from-literal="main_password=PASSWORD_HERE"

  2. Helm 값 내보내기: 

    helm get values gitlab > gitlab_values.yaml

  3. gitlab_values.yaml 파일을 편집합니다. 

     global:
   clickhouse:
     enabled: true
     main:
       username: default
       password:
         secret: gitlab-clickhouse-password
         key: main_password
       database: gitlab_clickhouse_main_production
       url: 'http://example.com'

  4. 파일을 저장하고 새 값들을 적용합니다. 

    helm upgrade -f gitlab_values.yaml gitlab gitlab/gitlab

연결이 성공적으로 설정되었는지 확인하려면:

  1. Rails 콘솔에 로그인합니다.

  2. 다음을 실행합니다: 

     ClickHouse::Client.select('SELECT 1', :main)

    성공하면 명령이 [{"1"=>1}]을 반환합니다.

ClickHouse 마이그레이션 실행

필요한 데이터베이스 개체를 만들려면 다음을 실행합니다: 

sudo gitlab-rake gitlab:clickhouse:migrate