| Status | Authors | Coach | DRIs | Owning Stage | Created |
|---|---|---|---|---|---|
| proposed |
@nhxnguyen
|
@grzesiek
|
@dorrino
@nhxnguyen
| devops data stores | 2023-02-02 |
GitLab에서의 ClickHouse 사용법
요약
ClickHouse는 오픈 소스 열 지향 데이터베이스 관리 시스템입니다. 대량의 행에 걸쳐 효율적으로 필터링, 집계 및 합산할 수 있습니다. FY23에서 GitLab는 대규모 데이터 및 삽입 중심 요구 사항을 갖는 기능을 위해 ClickHouse를 표준 데이터 리포지터리로 선택했습니다. 이 청사진은 ClickHouse 워킹 그룹의 제품으로, GitLab에서 ClickHouse 도입의 고수준 청사진 역할을 하며 구체적인 ClickHouse 관련 기술적 도전에 대한 다른 청사진을 참조합니다.
동기
FY23-Q2에 Monitor:Observability 팀은 오류 추적 및 기타 가시화 기능을 위한 데이터를 저장하고 조회하기 위한 ClickHouse 데이터 플랫폼을 개발하고 출시했습니다. 다른 팀들도 현재나 계획 중인 아키텍처에 ClickHouse를 통합하기 시작했습니다. 제품 개발 팀 전반에 걸쳐 ClickHouse에 대한 관심이 증가하고 있기 때문에 ClickHouse를 사용하여 기능을 개발하는 일관된 전략을 갖는 것이 중요합니다. 이를 통해 팀이 ClickHouse를 보다 효율적으로 활용하고 SaaS 및 온프레미스 고객을 위해 이 기능을 효과적으로 유지하고 지원할 수 있게 됩니다.
사용 사례
GitLab의 많은 제품 팀이 새로운 기능을 개발하거나 기존 기능의 성능을 향상시키는 데 ClickHouse를 고려하고 있습니다.
ClickHouse 워킹 그룹 시작 당시 기존 및 잠재적인 사용 사례를 문서화하였으며, DevSecOps 스테이지 그룹 전체의 팀들로부터 ClickHouse에 대한 관심이 있음을 확인했습니다.
목표
ClickHouse가 이미 GitLab에서 사용되고 있으므로, 지금 우리의 주요 목표는 GitLab 전반에 걸쳐 ClickHouse의 성공적인 도입을 보장하는 것입니다. 제품 개발 워크플로의 다른 단계에 따라 이 목표를 세분화하는 것이 도움이 됩니다.
- 계획: 개발팀이 자신들의 기능에 ClickHouse가 적합한지 쉽게 이해할 수 있도록 합니다.
- 개발 및 테스트: 팀에게 ClickHouse를 지원하는 최상의 관행과 프레임워크를 제공합니다.
- 출시: SaaS 및 온프레미스를 위해 ClickHouse를 지원하는 기능을 성공적으로 배포합니다.
- 향상: ClickHouse 사용량을 성공적으로 확장합니다.
비목표
GitLab Dedicated에 ClickHouse를 통합하는 전략은 아직 시작되지 않았습니다. 리더십의 지침은 ClickHouse를 지원하는 기능에 대한 명확한 수요가 생기기 전까지 이를 우선 순위로 정하는 것을 기다리는 것입니다.
제품 로드맵
FY24 H2 (과거)
FY24 Q2에 우리는 이슈에서 개발 중인 여러 기능을 지원하기 위해 GitLab.com에 ClickHouse를 통합하기 시작했습니다. 현재 시기에는 불확실한 비용 및 온프레미스 인스턴스의 관리 요구 사항으로 인해 온프레미스와의 통합은 진행하지 않았습니다. 이 근시일 구현은 온프레미스 사용자에게 최상의 관행과 전략을 개발하고 안내하는 데 사용될 것입니다. 또한 FY24 Q3 기준으로 ClickHouse는 GitLab.com에서 사용할 수 있습니다.
FY25 H1 (현재)
GitLab.com에서 ClickHouse를 스스로 효과적으로 관리하는 최상의 관행을 수립한 뒤, ClickHouse를 직접 실행하고자 하는 온프레미스 인스턴스에 대해 지원되는 권장 사항을 제공하기 시작할 것입니다. 이 단계에서는 사용자들에게 Elasticsearch에 대한 접근법과 유사하게 “Bring your own ClickHouse” 기능을 제공할 것입니다. ClickHouse를 사용해야 하는 기능들을 위해 (가치 스트림 대시보드, 제품 분석) 이 초기의 고마케팅 액션일 것입니다. 특히, Observability 팀은 이 접근 방식을 따르기보다는 GitLab 클라우드 커넥터를 통해 온프레미스 사용자를 지원하기로 결정했습니다.
장기적으로
우리는 온프레미스 사용자에게 비용을 증가시키지 않으면서 ClickHouse를 쉽게 관리할 수 있는 패키지화된 참조 버전을 추구할 것입니다. 우리는 사용자에게 ClickHouse의 관리에 대한 안내를 신뢰성 있게 제공하고 사용 비용을 정확히 제시할 수 있어야 합니다. 이를 통해 어떤 기능이라도 최종 사용자에게 노출을 줄이지 않고 ClickHouse에 의존할 수 있게 될 것입니다.
최상의 관행
ClickHouse를 사용하여 성능, 보안 및 확장 가능한 기능을 개발하는 데 대한 최상의 관행과 지침은 ClickHouse 개발자 문서에서 찾을 수 있습니다.
비용 및 유지 관리 분석
ClickHouse 컴포넌트의 비용 및 유지 관리 분석은 ClickHouse Self-Managed 컴포넌트 비용과 유지 관리 요구사항에서 확인할 수 있습니다.