- 요구 사항
- 테스트 방법론
- 구성 요소 설정
- 외부 로드 밸런서 구성
- 내부 로드 밸런서 구성
- Consul 구성
- PostgreSQL 구성하기
- Redis 구성
- Gitaly 클러스터 구성
- Sidekiq 구성하기
- GitLab Rails 구성
- Prometheus 구성하기
- 객체 스토리지 구성
- 고급 검색 구성
- Helm 차트를 사용한 클라우드 네이티브 하이브리드 참조 아키텍처 (대안)
- 다음 단계
참조 아키텍처: 최대 100 RPS 또는 5,000 사용자
이 페이지는 실제 데이터를 기반으로 최대 5,000명의 사용자가 수동 및 자동으로 발생하는 최대 요청 부하 100 RPS(초당 요청)를 목표로 설계된 GitLab 참조 아키텍처를 설명합니다.
전체 참조 아키텍처 목록은
사용 가능한 참조 아키텍처를 참조하세요.
- 목표 부하: API: 100 RPS, 웹: 10 RPS, Git (Pull): 10 RPS, Git (Push): 2 RPS
- 고가용성: 예 (Praefect는 HA를 위한 타사 PostgreSQL 솔루션이 필요함)
- 비용 계산기 템플릿: 비용 계산기 템플릿 섹션 보기
- 클라우드 네이티브 하이브리드 대안: 예
- 어떤 참조 아키텍처를 사용해야 할지 모르겠습니까? 추가 정보를 위한 가이드로 이동
서비스 | 노드 | 구성 | GCP | AWS | Azure |
---|---|---|---|---|---|
외부 로드 밸런서3 | 1 | 4 vCPU, 3.6 GB 메모리 | n1-highcpu-4 |
c5n.xlarge |
F4s v2 |
Consul1 | 3 | 2 vCPU, 1.8 GB 메모리 | n1-highcpu-2 |
c5.large |
F2s v2 |
PostgreSQL1 | 3 | 4 vCPU, 15 GB 메모리 | n1-standard-4 |
m5.xlarge |
D4s v3 |
PgBouncer1 | 3 | 2 vCPU, 1.8 GB 메모리 | n1-highcpu-2 |
c5.large |
F2s v2 |
내부 로드 밸런서3 | 1 | 4 vCPU, 3.6 GB 메모리 | n1-highcpu-4 |
c5n.xlarge |
F4s v2 |
Redis/Sentinel2 | 3 | 2 vCPU, 7.5 GB 메모리 | n1-standard-2 |
m5.large |
D2s v3 |
Gitaly5 | 3 | 8 vCPU, 30 GB 메모리6 | n1-standard-8 |
m5.2xlarge |
D8s v3 |
Praefect5 | 3 | 2 vCPU, 1.8 GB 메모리 | n1-highcpu-2 |
c5.large |
F2s v2 |
Praefect PostgreSQL1 | 1+ | 2 vCPU, 1.8 GB 메모리 | n1-highcpu-2 |
c5.large |
F2s v2 |
Sidekiq7 | 2 | 4 vCPU, 15 GB 메모리 | n1-standard-4 |
m5.xlarge |
D2s v3 |
GitLab Rails7 | 3 | 16 vCPU, 14.4 GB 메모리 | n1-highcpu-16 |
c5.4xlarge |
F16s v2 |
모니터링 노드 | 1 | 2 vCPU, 1.8 GB 메모리 | n1-highcpu-2 |
c5.large |
F2s v2 |
객체 저장소4 | - | - | - | - | - |
각주:
- 평판이 좋은 타사 외부 PaaS PostgreSQL 솔루션에서 선택적으로 실행될 수 있습니다. 자체 PostgreSQL 인스턴스 제공에 대한 자세한 내용은 참고하세요.
- 평판이 좋은 타사 외부 PaaS Redis 솔루션에서 선택적으로 실행될 수 있습니다. 자체 Redis 인스턴스 제공에 대한 자세한 내용은 참고하세요.
- HA 기능을 제공할 수 있는 평판 좋은 타사 로드 밸런서 또는 서비스(LB PaaS)와 함께 실행하는 것이 권장됩니다.
또한, 크기는 선택한 로드 밸런서 및 네트워크 대역폭과 같은 추가 요인에 따라 달라집니다. 자세한 내용은 로드 밸런서를 참조하세요. - 평판 좋은 클라우드 제공업체 또는 자체 관리 솔루션에서 실행해야 합니다. 객체 저장소 구성에 대한 자세한 내용은 참고하세요.
- Gitaly 클러스터는 내구성의 이점을 제공하지만, 설치 및 관리의 추가 복잡성을 동반합니다.
Gitaly 클러스터 배포 전에 기존 기술적 제한 사항 및 고려 사항을 검토하세요. - Gitaly 사양은 사용 패턴과 건강한 상태의 리포지토리 규모의 상위 퍼센타일을 기반으로 합니다.
그러나 대형 모노레포(수 기가바이트보다 큰 경우)나 추가 워크로드가 있는 경우, 이는 Git 및 Gitaly 성능에 상당히 영향을 미칠 수 있으며, 추가 조정이 필요할 것입니다. - 상태 저장 데이터를 저장하지 않기 때문에 Auto Scaling Groups(ASGs)에 배치될 수 있습니다.
그러나 클라우드 네이티브 하이브리드 설정이 일반적으로 선호됩니다.
요구 사항
시작하기 전에 요구 사항을 참조 아키텍처로 확인하세요.
테스트 방법론
5k 아키텍처는 대부분의 워크플로우를 커버하도록 설계되었으며, 다음 엔드포인트 처리량 목표에 대해 Test Platform 팀에 의해 정기적으로
스모크 및 성능 테스트가 수행됩니다:
- API: 100 RPS
- 웹: 10 RPS
- Git (Pull): 10 RPS
- Git (Push): 2 RPS
위의 목표는 사용자 수에 해당하는 총 환경 부하의 실제 고객 데이터를 기반으로 선택되었습니다.
위의 엔드포인트 목표에 대해 정기적으로 높은 처리량을 갖고 있다는 메트릭이 있다면, 대규모 모노레포
또는 주목할 만한 추가 작업 부하는 성능 환경에 크게 영향을 줄 수 있으며
추가 조정이 필요할 수 있습니다.
이 사항이 해당된다면, 링크된 문서를 참조하고
고객 성공 관리자 또는
지원 팀에 추가 안내를 요청하는 것을 강력히 권장합니다.
테스트는 GitLab Performance Tool (GPT)와
그 데이터 세트를 사용하여 정기적으로 수행되며, 이는 누구나 사용할 수 있습니다.
이 테스트의 결과는 GPT 위키에서 공개적으로 제공됩니다.
우리의 테스트 전략에 대한 더 많은 정보는
문서의 이 섹션을 참조하세요.
테스트에 사용된 로드 밸런서는 HAProxy(리눅스 패키지 환경) 또는 NGINX Ingress가 포함된
동일한 클라우드 공급자 서비스로, 클라우드 네이티브 하이브리드용입니다.
이 선택은 특정 요구 사항이나 권장 사항을 나타내지 않으며, 대부분의
유명한 로드 밸런서는 작동할 것으로 예상됩니다.
구성 요소 설정
GitLab 및 해당 구성 요소를 설정하여 최대 100 RPS 또는 5,000 사용자를 수용하려면:
-
외부 로드 밸런서 구성
GitLab 애플리케이션 서비스 노드의 로드 밸런싱을 처리합니다. -
내부 로드 밸런서 구성
GitLab 애플리케이션 내부 연결의 로드 밸런싱을 처리합니다. -
Consul 구성
서비스 검색 및 상태 점검을 위해 사용됩니다. -
PostgreSQL 구성,
GitLab을 위한 데이터베이스입니다. -
PgBouncer 구성
데이터베이스 연결 풀링 및 관리를 위해 사용됩니다. -
Redis 구성,
세션 데이터, 임시 캐시 정보 및 백그라운드 작업 큐를 저장합니다. -
Gitaly 클러스터 구성,
Git 리포지토리에 대한 액세스를 제공합니다. -
Sidekiq 구성
백그라운드 작업 처리를 위해 사용됩니다. -
주요 GitLab Rails 애플리케이션 구성
Puma, Workhorse, GitLab Shell을 실행하고 모든 프론트엔드 요청을 처리합니다
(여기에는 UI, API 및 HTTP/SSH를 통한 Git가 포함됩니다). -
Prometheus 구성
GitLab 환경을 모니터링합니다. -
객체 저장소 구성
공유 데이터 객체에 사용됩니다. -
고급 검색 구성 (선택 사항)
전체 GitLab 인스턴스에서 더 빠르고 고급 코드 검색을 위해 사용됩니다.
서버는 동일한 10.6.0.0/24 프라이빗 네트워크 범위에서 시작하며,
이 주소들에서 서로 자유롭게 연결할 수 있습니다.
다음 목록은 각 서버의 설명과 배정된 IP를 포함합니다:
-
10.6.0.10
: 외부 로드 밸런서 -
10.6.0.11
: Consul/Sentinel 1 -
10.6.0.12
: Consul/Sentinel 2 -
10.6.0.13
: Consul/Sentinel 3 -
10.6.0.21
: PostgreSQL 기본 -
10.6.0.22
: PostgreSQL 보조 1 -
10.6.0.23
: PostgreSQL 보조 2 -
10.6.0.31
: PgBouncer 1 -
10.6.0.32
: PgBouncer 2 -
10.6.0.33
: PgBouncer 3 -
10.6.0.20
: 내부 로드 밸런서 -
10.6.0.61
: Redis 기본 -
10.6.0.62
: Redis 복제본 1 -
10.6.0.63
: Redis 복제본 2 -
10.6.0.51
: Gitaly 1 -
10.6.0.52
: Gitaly 2 -
10.6.0.93
: Gitaly 3 -
10.6.0.131
: Praefect 1 -
10.6.0.132
: Praefect 2 -
10.6.0.133
: Praefect 3 -
10.6.0.141
: Praefect PostgreSQL 1 (non HA) -
10.6.0.71
: Sidekiq 1 -
10.6.0.72
: Sidekiq 2 -
10.6.0.41
: GitLab 애플리케이션 1 -
10.6.0.42
: GitLab 애플리케이션 2 -
10.6.0.43
: GitLab 애플리케이션 3 -
10.6.0.81
: Prometheus
외부 로드 밸런서 구성
다중 노드 GitLab 구성에서, 애플리케이션 서버로의 트래픽을 라우팅하기 위해 외부 로드 밸런서가 필요합니다.
어떤 로드 밸런서를 사용할지 또는 그 정확한 구성에 대한 세부 사항은 GitLab 문서 범위를 벗어나지만, 일반적인 요구 사항에 대한 자세한 내용은 로드 밸런서를 참조하십시오. 이 섹션은 선택한 로드 밸런서에 대해 구성해야 할 사항의 세부 사항에 중점을 둡니다.
준비 상태 검사
외부 로드 밸런서가 내장 모니터링 엔드포인트가 있는 작동 서비스로만 라우팅되도록 하십시오. 모든 준비 상태 검사는 체크할 노드에서 추가 구성을 요구합니다. 그렇지 않으면 외부 로드 밸런서가 연결할 수 없습니다.
포트
사용할 기본 포트는 아래 표와 같습니다.
LB 포트 | 백엔드 포트 | 프로토콜 |
---|---|---|
80 | 80 | HTTP (1) |
443 | 443 | TCP 또는 HTTPS (1) (2) |
22 | 22 | TCP |
- (1): 웹 터미널 지원은 귀하의 로드 밸런서가 WebSocket 연결을 올바르게 처리해야 합니다. HTTP 또는 HTTPS 프록시를 사용할 경우, 이는 귀하의 로드 밸런서가
Connection
및Upgrade
홉-투-홉 헤더를 통과할 수 있도록 구성되어야 함을 의미합니다. 자세한 내용은 웹 터미널 통합 가이드를 참조하십시오. - (2): 443 포트에서 HTTPS 프로토콜을 사용할 경우, 로드 밸런서에 SSL 인증서를 추가해야 합니다. GitLab 애플리케이션 서버에서 SSL을 종료하려는 경우 TCP 프로토콜을 사용하십시오.
사용자 정의 도메인 지원을 통해 GitLab Pages를 사용하는 경우, 추가 포트 구성이 필요합니다.
GitLab Pages는 별도의 가상 IP 주소가 필요합니다. /etc/gitlab/gitlab.rb
에서 pages_external_url
을 새 가상 IP 주소로 가리키도록 DNS를 구성하십시오. 자세한 내용은 GitLab Pages 문서를 참조하십시오.
LB 포트 | 백엔드 포트 | 프로토콜 |
---|---|---|
80 | 변경 가능 (1) | HTTP |
443 | 변경 가능 (1) | TCP (2) |
- (1): GitLab Pages의 백엔드 포트는
gitlab_pages['external_http']
및gitlab_pages['external_https']
설정에 따라 다릅니다. 자세한 내용은 GitLab Pages 문서를 참조하십시오. - (2): GitLab Pages의 443 포트는 항상 TCP 프로토콜을 사용해야 합니다. 사용자는 사용자 정의 SSL을 사용하여 사용자 정의 도메인을 구성할 수 있지만, 로드 밸런서에서 SSL을 종료하면 이는 불가능합니다.
대체 SSH 포트
일부 조직은 SSH 포트 22를 여는 것에 대한 정책이 있습니다. 이 경우, 사용자가 443 포트에서 SSH를 사용할 수 있도록 하는 대체 SSH 호스트 이름을 구성하는 것이 도움이 될 수 있습니다. 대체 SSH 호스트 이름은 위의 다른 GitLab HTTP 구성과 비교하여 새로운 가상 IP 주소가 필요합니다.
대체 SSH 호스트 이름으로 altssh.gitlab.example.com
을 위한 DNS를 구성하십시오.
LB 포트 | 백엔드 포트 | 프로토콜 |
---|---|---|
443 | 22 | TCP |
SSL
다음 질문은 귀하의 환경에서 SSL을 어떻게 처리할 것인지입니다.
여러 가지 옵션이 있습니다:
- 애플리케이션 노드가 SSL을 종료합니다.
- 로드 밸런서가 백엔드 SSL 없이 SSL을 종료합니다 로드 밸런서와 애플리케이션 노드 간의 통신은 안전하지 않습니다.
- 로드 밸런서가 백엔드 SSL과 함께 SSL을 종료합니다 로드 밸런서와 애플리케이션 노드 간의 통신은 안전합니다.
애플리케이션 노드가 SSL을 종료합니다
로드 밸런서를 포트 443에서 TCP
로 연결을 전달하도록 설정합니다.
이렇게 하면 연결이 애플리케이션 노드의
NGINX 서비스로 그대로 전달됩니다. NGINX는 SSL 인증서를 가지고 있으며 포트 443에서 수신합니다.
SSL 인증서 관리 및 NGINX 구성에 대한 자세한 내용은 HTTPS 문서를 참조하세요.
로드 밸런서가 백엔드 SSL 없이 SSL을 종료합니다
로드 밸런서를 HTTP(S)
프로토콜을 사용하도록 구성합니다
TCP
대신 로드 밸런서가 SSL 인증서 관리 및 SSL 종료를 책임지게 됩니다.
로드 밸런서와 GitLab 간의 통신이 안전하지 않기 때문에 추가적인 구성이 필요합니다. 자세한 내용은 프록시 SSL 문서를 참조하세요.
로드 밸런서가 백엔드 SSL과 함께 SSL을 종료합니다
로드 밸런서를 ‘HTTP(S)’ 프로토콜을 사용하도록 설정합니다 ‘TCP’ 대신 로드 밸런서는 최종 사용자가 볼 SSL 인증서를 관리합니다.
트래픽은 이 시나리오에서 로드 밸런서와 NGINX 간에도 안전합니다. 프록시 SSL에 대한 구성을 추가할 필요가 없으며 연결은 모든 경우 안전합니다. 그러나 GitLab에 SSL 인증서를 구성하는 구성을 추가해야 합니다. SSL 인증서를 관리하고 NGINX을 구성하는 자세한 내용은 HTTPS 문서를 참조하세요.
내부 로드 밸런서 구성
다중 노드 GitLab 구성에서 특정 내부 구성 요소에 대한 트래픽을 라우팅하기 위해 내부 로드 밸런서가 필요합니다 PgBouncer 및 Praefect (Gitaly 클러스터)에 대한 연결과 같이 설정된 경우.
어떤 로드 밸런서를 사용해야 하는지, 또는 그 정확한 구성은 GitLab 문서의 범위를 벗어나지만 일반 요구 사항에 대한 자세한 내용은 로드 밸런서를 참조하세요. 이 섹션은 선택한 로드 밸런서에 대해 무엇을 구성할지에 대한 세부사항에 집중합니다.
다음 IP는 예시로 사용됩니다:
-
10.6.0.40
: 내부 로드 밸런서
다음은 HAProxy를 사용하여 수행할 수 있는 방법입니다:
global
log /dev/log local0
log localhost local1 notice
log stdout format raw local0
defaults
log global
default-server inter 10s fall 3 rise 2
balance leastconn
frontend internal-pgbouncer-tcp-in
bind *:6432
mode tcp
option tcplog
default_backend pgbouncer
frontend internal-praefect-tcp-in
bind *:2305
mode tcp
option tcplog
option clitcpka
default_backend praefect
backend pgbouncer
mode tcp
option tcp-check
server pgbouncer1 10.6.0.31:6432 check
server pgbouncer2 10.6.0.32:6432 check
server pgbouncer3 10.6.0.33:6432 check
backend praefect
mode tcp
option tcp-check
option srvtcpka
server praefect1 10.6.0.131:2305 check
server praefect2 10.6.0.132:2305 check
server praefect3 10.6.0.133:2305 check
자세한 지침은 선호하는 로드 밸런서의 문서를 참조하세요.
Consul 구성
다음으로, Consul 서버를 설정합니다.
다음 IP가 예로 사용됩니다:
-
10.6.0.11
: Consul 1 -
10.6.0.12
: Consul 2 -
10.6.0.13
: Consul 3
Consul을 구성하려면:
-
Consul을 호스팅할 서버에 SSH로 접속합니다.
-
다운로드 및 설치을 합니다.
원하는 Linux 패키지를 선택하고, 페이지에서 1단계와 2단계의 설치 단계만 따르세요.
현재 설치된 버전 및 유형(커뮤니티 또는 엔터프라이즈 에디션)과 동일한 Linux 패키지를 선택해야 합니다. -
/etc/gitlab/gitlab.rb
파일을 편집하고 내용을 추가합니다:roles(['consul_role']) ## Prometheus를 위한 서비스 검색 활성화 consul['monitoring_service_discovery'] = true ## Consul 서버 노드의 IP ## FQDN을 사용할 수도 있으며 IP와 혼합하여 사용할 수 있습니다. consul['configuration'] = { server: true, retry_join: %w(10.6.0.11 10.6.0.12 10.6.0.13), } # 익스포터가 수신 대기할 네트워크 주소 설정 node_exporter['listen_address'] = '0.0.0.0:9100' # 업그레이드 시 데이터베이스 마이그레이션이 자동으로 실행되지 않도록 방지 gitlab_rails['auto_migrate'] = false
-
첫 번째 Linux 패키지 노드에서
/etc/gitlab/gitlab-secrets.json
파일을 복사하고 이 서버의 동일한 이름의 파일을 추가하거나 교체합니다. 이 노드가 설정 중인 첫 번째 Linux 패키지 노드인 경우 이 단계를 건너뛸 수 있습니다. -
GitLab 재구성하여 변경 사항을 적용합니다.
-
다른 모든 Consul 노드에 대해 단계를 반복하고, 올바른 IP를 설정해야 합니다.
세 번째 Consul 서버의 프로비저닝이 완료되면 Consul 리더가 _선출_됩니다. Consul 로그 sudo gitlab-ctl tail consul
를 보면 ...[INFO] consul: 새로운 리더가 선출되었습니다: ...
가 표시됩니다.
현재 Consul 멤버(서버, 클라이언트)를 나열할 수 있습니다:
sudo /opt/gitlab/embedded/bin/consul members
GitLab 서비스가 실행 중인지 확인할 수 있습니다:
sudo gitlab-ctl status
출력은 다음과 유사해야 합니다:
run: consul: (pid 30074) 76834s; run: log: (pid 29740) 76844s
run: logrotate: (pid 30925) 3041s; run: log: (pid 29649) 76861s
run: node-exporter: (pid 30093) 76833s; run: log: (pid 29663) 76855s
PostgreSQL 구성하기
이 섹션에서는 GitLab과 함께 사용할 수 있는 고가용성 PostgreSQL 클러스터를 구성하는 방법을 안내합니다.
자체 PostgreSQL 인스턴스 제공하기
선택 사항으로 PostgreSQL용 타사 외부 서비스를 사용할 수 있습니다.
신뢰할 수 있는 공급자 또는 솔루션을 사용해야 합니다. Google Cloud SQL 및 Amazon RDS가 제대로 작동하는 것으로 알려져 있습니다. 그러나 Amazon Aurora는 호환되지 않음이며 기본적으로 로드 밸런싱이 활성화되어 있습니다 14.4.0.
자세한 내용은 추천 클라우드 공급자 및 서비스를 참조하세요.
타사 외부 서비스를 사용하는 경우:
- HA Linux 패키지 PostgreSQL 설정은 PostgreSQL, PgBouncer 및 Consul을 포함합니다. 이러한 모든 구성 요소는 타사 외부 서비스를 사용할 때 더 이상 필요하지 않습니다.
- 데이터베이스 요구 사항 문서에 따라 PostgreSQL을 설정하세요.
- 선택한 비밀번호로
gitlab
사용자 이름을 설정하세요.gitlab
사용자는gitlabhq_production
데이터베이스를 생성할 수 있는 권한이 필요합니다. - 적절한 세부정보로 GitLab 애플리케이션 서버를 구성하세요. 이 단계는 GitLab Rails 애플리케이션 구성에 설명되어 있습니다.
- HA를 달성하는 데 필요한 노드 수는 서비스에 따라 Linux 패키지와 다를 수 있으며 따라서 일치할 필요는 없습니다.
- 그러나 데이터베이스 로드 밸런싱을 통해 더 나은 성능을 개선하려는 경우 참조 아키텍처에 대한 노드 수를 따르는 것이 좋습니다.
Linux 패키지를 사용한 독립형 PostgreSQL
복제 및 장애 조치를 위한 PostgreSQL 클러스터의 권장 Linux 패키지 구성은 다음을 요구합니다:
- 최소 세 개의 PostgreSQL 노드.
- 최소 세 개의 Consul 서버 노드.
- 기본 데이터베이스 읽기 및 쓰기를 추적하고 처리하는 최소 세 개의 PgBouncer 노드.
- PgBouncer 노드 간에 요청을 분산하기 위한 내부 로드 밸런서 (TCP).
-
데이터베이스 로드 밸런싱 활성화.
각 PostgreSQL 노드에 구성된 로컬 PgBouncer 서비스. 이는 기본을 추적하는 기본 PgBouncer 클러스터와는 별개입니다.
다음 IP는 예시로 사용됩니다:
-
10.6.0.21
: PostgreSQL 기본 노드 -
10.6.0.22
: PostgreSQL 보조 1 -
10.6.0.23
: PostgreSQL 보조 2
먼저, 설치를 확인하여 각 노드에 Linux GitLab 패키지를 설치하십시오. 단계에 따라 1단계에서 필요한 종속성을 설치하고 2단계에서 GitLab 패키지 저장소를 추가하세요. GitLab을 설치할 때 2단계에서 EXTERNAL_URL
값을 제공하지 마세요.
PostgreSQL 노드
- PostgreSQL 노드 중 하나에 SSH로 접속합니다.
-
PostgreSQL 사용자 이름/비밀번호 쌍에 대한 비밀번호 해시를 생성합니다. 이는 기본 사용자 이름인
gitlab
을 사용하는 것으로 가정합니다(권장). 이 명령은 비밀번호와 확인을 요청합니다. 다음 단계에서<postgresql_password_hash>
의 값으로 이 명령이 출력하는 값을 사용하세요:sudo gitlab-ctl pg-password-md5 gitlab
-
PgBouncer 사용자 이름/비밀번호 쌍에 대한 비밀번호 해시를 생성합니다. 이는 기본 사용자 이름인
pgbouncer
을 사용하는 것으로 가정합니다(권장). 이 명령은 비밀번호와 확인을 요청합니다. 다음 단계에서<pgbouncer_password_hash>
의 값으로 이 명령이 출력하는 값을 사용하세요:sudo gitlab-ctl pg-password-md5 pgbouncer
-
PostgreSQL 복제 사용자 이름/비밀번호 쌍에 대한 비밀번호 해시를 생성합니다. 이는 기본 사용자 이름인
gitlab_replicator
를 사용하는 것으로 가정합니다(권장). 이 명령은 비밀번호와 확인을 요청합니다. 다음 단계에서<postgresql_replication_password_hash>
의 값으로 이 명령이 출력하는 값을 사용하세요:sudo gitlab-ctl pg-password-md5 gitlab_replicator
-
Consul 데이터베이스 사용자 이름/비밀번호 쌍에 대한 비밀번호 해시를 생성합니다. 이는 기본 사용자 이름인
gitlab-consul
을 사용하는 것으로 가정합니다(권장). 이 명령은 비밀번호와 확인을 요청합니다. 다음 단계에서<consul_password_hash>
의 값으로 이 명령이 출력하는 값을 사용하세요:sudo gitlab-ctl pg-password-md5 gitlab-consul
-
모든 데이터베이스 노드에서
/etc/gitlab/gitlab.rb
를 편집하여# START user configuration
섹션에 메모한 값을 바꿉니다:# Patroni, PgBouncer 및 Consul을 제외한 모든 구성 요소 비활성화 roles(['patroni_role', 'pgbouncer_role']) # PostgreSQL 구성 postgresql['listen_address'] = '0.0.0.0' # `max_replication_slots`를 데이터베이스 노드 수의 2배로 설정합니다. # Patroni는 복제를 시작할 때 노드 당 하나의 추가 슬롯을 사용합니다. patroni['postgresql']['max_replication_slots'] = 6 # 클러스터의 복제 슬롯 수보다 하나 더 많은 `max_wal_senders`를 설정합니다. # 이는 복제가 모든 사용 가능한 데이터베이스 연결을 사용하지 않도록 하는 데 사용됩니다. patroni['postgresql']['max_wal_senders'] = 7 # 업그레이드 시 데이터베이스 마이그레이션이 자동으로 실행되지 않도록 방지 gitlab_rails['auto_migrate'] = false # Consul 에이전트 구성 consul['services'] = %w(postgresql) ## Prometheus 용 서비스 탐지 활성화 consul['monitoring_service_discovery'] = true # START user configuration # 필수 정보 섹션에 설명된 대로 실제 값을 설정하십시오 # # PGBOUNCER_PASSWORD_HASH를 생성된 md5 값으로 교체 postgresql['pgbouncer_user_password'] = '<pgbouncer_password_hash>' # POSTGRESQL_REPLICATION_PASSWORD_HASH를 생성된 md5 값으로 교체 postgresql['sql_replication_password'] = '<postgresql_replication_password_hash>' # POSTGRESQL_PASSWORD_HASH를 생성된 md5 값으로 교체 postgresql['sql_user_password'] = '<postgresql_password_hash>' # Patroni API에 대한 기본 인증 설정(모든 노드에서 동일한 사용자 이름/비밀번호 사용). patroni['username'] = '<patroni_api_username>' patroni['password'] = '<patroni_api_password>' # 10.6.0.0/24를 네트워크 주소로 교체 postgresql['trust_auth_cidr_addresses'] = %w(10.6.0.0/24 127.0.0.1/32) # 데이터베이스 로드 밸런싱을 위한 로컬 PgBouncer 서비스 pgbouncer['databases'] = { gitlabhq_production: { host: "127.0.0.1", user: "pgbouncer", password: '<pgbouncer_password_hash>' } } # 모니터링을 위해 내보내는 것이 수신할 IP 주소 설정 node_exporter['listen_address'] = '0.0.0.0:9100' postgres_exporter['listen_address'] = '0.0.0.0:9187' ## Consul 서버 노드의 IP ## FQDN과 IP를 함께 사용할 수 있습니다. consul['configuration'] = { retry_join: %w(10.6.0.11 10.6.0.12 10.6.0.13), } # # END user configuration
Patrick 신고는 장애 조치를 관리하는 역할을 하며 기본적으로 pg_rewind
를 사용하여 충돌을 처리합니다.
대부분의 장애 조치 처리 방법과 마찬가지로 이로 인해 데이터 손실의 가능성이 작게 존재합니다.
자세한 내용은 다양한 Patroni 복제 방법을 참조하세요.
-
첫 번째 Linux 패키지 노드에서
/etc/gitlab/gitlab-secrets.json
파일을 복사하고 이 서버의 동일한 이름의 파일을 추가하거나 교체합니다. 만약 이 노드가 처음 구성하는 Linux 패키지 노드라면 이 단계를 건너뛸 수 있습니다. -
변경 사항이 적용되도록 GitLab 다시 구성하기를 수행하세요.
고급 구성 옵션이 지원되며 필요에 따라 추가할 수 있습니다.
PostgreSQL 후 구성
기본 사이트의 어떤 Patroni 노드에 SSH 접속:
-
리더와 클러스터의 상태를 확인합니다:
gitlab-ctl patroni members
출력은 다음과 비슷해야 합니다:
| Cluster | Member | Host | Role | State | TL | Lag in MB | Pending restart | |---------------|-----------------------------------|-----------|--------|---------|-----|-----------|-----------------| | postgresql-ha | <PostgreSQL primary hostname> | 10.6.0.21 | Leader | running | 175 | | * | | postgresql-ha | <PostgreSQL secondary 1 hostname> | 10.6.0.22 | | running | 175 | 0 | * | | postgresql-ha | <PostgreSQL secondary 2 hostname> | 10.6.0.23 | | running | 175 | 0 | * |
어떤 노드의 ‘State’ 열이 “running”이라고 표시되지 않으면 진행하기 전에 PostgreSQL 복제 및 장애 조치 문제 해결 섹션을 확인하십시오.
PgBouncer 구성
이제 PostgreSQL 서버가 모두 설정되었으므로 기본 데이터베이스의 읽기/쓰기를 추적하고 처리하기 위해 PgBouncer를 구성합시다.
참고: PgBouncer는 단일 스레드이며 CPU 코어 수 증가로부터 큰 이점을 얻지 못합니다.
스케일링 문서를 참조하여 자세한 내용을 확인하십시오.
다음 IP는 예로 사용됩니다:
-
10.6.0.31
: PgBouncer 1 -
10.6.0.32
: PgBouncer 2 -
10.6.0.33
: PgBouncer 3
-
각 PgBouncer 노드에서
/etc/gitlab/gitlab.rb
를 편집하고<consul_password_hash>
와<pgbouncer_password_hash>
를 이전에 설정한 비밀번호 해시로 교체합니다:# Pgbouncer와 Consul 에이전트를 제외한 모든 구성 요소 비활성화 roles(['pgbouncer_role']) # PgBouncer 구성 pgbouncer['admin_users'] = %w(pgbouncer gitlab-consul) pgbouncer['users'] = { 'gitlab-consul': { password: '<consul_password_hash>' }, 'pgbouncer': { password: '<pgbouncer_password_hash>' } } # Consul 에이전트 구성 consul['watchers'] = %w(postgresql) consul['configuration'] = { retry_join: %w(10.6.0.11 10.6.0.12 10.6.0.13) } # Prometheus용 서비스 발견 활성화 consul['monitoring_service_discovery'] = true # 익스포터가 수신 대기할 네트워크 주소 설정 node_exporter['listen_address'] = '0.0.0.0:9100' pgbouncer_exporter['listen_address'] = '0.0.0.0:9188'
-
첫 번째 리눅스 패키지 노드에서
/etc/gitlab/gitlab-secrets.json
파일을 복사하여 이 서버의 같은 이름의 파일에 추가하거나 교체합니다. 이 리눅스 패키지 노드가 처음 설정하는 경우에는 이 단계를 건너뛰어도 됩니다. -
GitLab 재구성을 수행하여 변경 사항이 적용되도록 합니다.
-
Consul이 PgBouncer를 다시 로드할 수 있도록
.pgpass
파일을 생성합니다. 요청할 때 PgBouncer 비밀번호를 두 번 입력합니다:gitlab-ctl write-pgpass --host 127.0.0.1 --database pgbouncer --user pgbouncer --hostuser gitlab-consul
-
각 노드가 현재 마스터와 통신하는지 확인합니다:
gitlab-ctl pgb-console # PGBOUNCER_PASSWORD를 입력하라는 메시지가 나타납니다
비밀번호를 입력한 후에
psql: ERROR: Auth failed
오류가 발생하면, 올바른 형식으로 MD5 비밀번호 해시를 생성했는지 확인합니다. 올바른 형식은 비밀번호와 사용자 이름을 연결하는 것입니다:PASSWORDUSERNAME
. 예를 들어,Sup3rS3cr3tpgbouncer
는pgbouncer
사용자에 대한 MD5 비밀번호 해시를 생성하는 데 필요한 텍스트입니다. -
콘솔 프롬프트가 사용 가능한 경우, 다음 쿼리를 실행합니다:
show databases ; show clients ;
출력은 다음과 비슷해야 합니다:
name | host | port | database | force_user | pool_size | reserve_pool | pool_mode | max_connections | current_connections ---------------------+-------------+------+---------------------+------------+-----------+--------------+-----------+-----------------+--------------------- gitlabhq_production | MASTER_HOST | 5432 | gitlabhq_production | | 20 | 0 | | 0 | 0 pgbouncer | | 6432 | pgbouncer | pgbouncer | 2 | 0 | statement | 0 | 0 (2 rows) type | user | database | state | addr | port | local_addr | local_port | connect_time | request_time | ptr | link | remote_pid | tls ------+-----------+---------------------+---------+----------------+-------+------------+------------+---------------------+---------------------+-----------+------+------------+----- C | pgbouncer | pgbouncer | active | 127.0.0.1 | 56846 | 127.0.0.1 | 6432 | 2017-08-21 18:09:59 | 2017-08-21 18:10:48 | 0x22b3880 | | 0 | (2 rows)
-
GitLab 서비스가 실행 중인지 확인합니다:
sudo gitlab-ctl status
출력은 다음과 비슷해야 합니다:
run: consul: (pid 31530) 77150s; run: log: (pid 31106) 77182s run: logrotate: (pid 32613) 3357s; run: log: (pid 30107) 77500s run: node-exporter: (pid 31550) 77149s; run: log: (pid 30138) 77493s run: pgbouncer: (pid 32033) 75593s; run: log: (pid 31117) 77175s run: pgbouncer-exporter: (pid 31558) 77148s; run: log: (pid 31498) 77156s
Redis 구성
확장 가능한 환경에서 Redis를 사용하는 것은 Primary x Replica 토폴로지를 사용하고 자동으로 장애 조치 절차를 시작하기 위해 Redis Sentinel 서비스를 사용하는 것이 가능합니다.
Sentinel과 함께 사용하는 경우 Redis는 인증이 필요합니다. 자세한 정보는 Redis 보안 문서를 참조하세요. Redis 서비스를 보호하기 위해 Redis 비밀번호와 엄격한 방화벽 규칙의 조합을 사용하는 것을 권장합니다.
GitLab과 함께 Redis를 구성하기 전에 토폴로지와 아키텍처를 완전히 이해하기 위해 Redis Sentinel 문서를 읽어보는 것을 강력히 권장합니다.
Redis 설정에 필요한 요구 사항은 다음과 같습니다:
- 모든 Redis 노드는 서로 통신할 수 있어야 하며 Redis(
6379
) 및 Sentinel(26379
) 포트를 통해 들어오는 연결을 수용할 수 있어야 합니다(기본값을 변경하지 않는 한). - GitLab 애플리케이션을 호스팅하는 서버는 Redis 노드에 접근할 수 있어야 합니다.
- 방화벽 같은 옵션을 사용하여 외부 네트워크(인터넷)로부터 노드를 보호해야 합니다.
이 섹션에서는 GitLab과 함께 사용할 외부 Redis 클러스터를 두 개 구성하는 방법에 대해 안내합니다. 다음 IP가 예시로 사용됩니다:
-
10.6.0.61
: Redis Primary -
10.6.0.62
: Redis Replica 1 -
10.6.0.63
: Redis Replica 2
자신만의 Redis 인스턴스 제공
다음 가이드라인에 따라 타사 외부 서비스를 Redis 인스턴스로 선택적으로 사용할 수 있습니다:
- 신뢰할 수 있는 제공자나 솔루션을 사용해야 합니다. Google Memorystore와 AWS ElastiCache가 잘 작동한다고 알려져 있습니다.
- Redis 클러스터 모드는 특별히 지원되지 않지만 Redis Standalone은 HA와 함께 지원됩니다.
- 설정에 따라 Redis 퇴출 모드를 설정해야 합니다.
자세한 정보는 추천 클라우드 제공자 및 서비스를 참조하세요.
Redis 클러스터 구성
새로운 Redis 인스턴스를 설치하고 설정하는 섹션입니다.
Primary 및 Replica Redis 노드는 모두 redis['password']
에 정의된 동일한 비밀번호가 필요합니다. 장애 조치 중 언제든지 Sentinels는 노드를 재구성하고 상태를 Primary에서 Replica(또는 그 반대)로 변경할 수 있습니다.
Primary Redis 노드 구성
- Primary Redis 서버에 SSH로 접속합니다.
- 다운로드 및 설치를 위해 원하는 Linux 패키지를 설치합니다. 페이지에서 오직 설치 단계 1과 2만 따르고, 현재 설치와 동일한 버전과 유형(Community 또는 Enterprise editions)의 올바른 Linux 패키지를 선택해야 합니다.
-
/etc/gitlab/gitlab.rb
를 편집하고 내용을 추가합니다:# Sentinel 및 Consul 에이전트와 함께 'redis_master_role'로 서버 역할 지정 roles ['redis_sentinel_role', 'redis_master_role', 'consul_role'] # Redis Sentinel 서비스의 IP 바인드 주소 및 쿼럼 수 설정 sentinel['bind'] = '0.0.0.0' sentinel['quorum'] = 2 # 다른 머신들이 접근할 수 있는 로컬 IP를 가리키는 IP 주소입니다. # '0.0.0.0'으로 바인드하여 모든 인터페이스를 수신하도록 설정할 수도 있습니다. # 외부에서 접근 가능한 IP로 바인딩해야 하는 경우, # 무단 접근을 방지하기 위해 추가 방화벽 규칙을 추가해야 합니다. redis['bind'] = '10.6.0.61' # Redis가 TCP 요청을 수신할 수 있도록 포트를 정의합니다. redis['port'] = 6379 ## Sentinel을 위한 Primary Redis 서버의 포트, 기본값을 비활성화하려면 주석을 제거하세요. 기본값은 ## `6379`입니다. #redis['master_port'] = 6379 # Redis 및 레플리카에 대한 비밀번호 인증을 설정합니다(모든 노드에서 동일한 비밀번호 사용). redis['password'] = 'REDIS_PRIMARY_PASSWORD' redis['master_password'] = 'REDIS_PRIMARY_PASSWORD' ## 모든 Redis 노드에서 동일해야 합니다. redis['master_name'] = 'gitlab-redis' ## 이 Primary Redis 노드의 IP입니다. redis['master_ip'] = '10.6.0.61' ## Prometheus에 대한 서비스 발견 활성화 consul['monitoring_service_discovery'] = true ## Consul 서버 노드의 IP ## FQDN과 IP를 혼합하여 사용할 수도 있습니다. consul['configuration'] = { retry_join: %w(10.6.0.11 10.6.0.12 10.6.0.13), } # 수출업체가 수신할 네트워크 주소 설정 node_exporter['listen_address'] = '0.0.0.0:9100' redis_exporter['listen_address'] = '0.0.0.0:9121' # 업그레이드 시 자동으로 데이터베이스 마이그레이션이 실행되지 않도록 방지합니다. gitlab_rails['auto_migrate'] = false
-
첫 번째 Linux 패키지 노드에서
/etc/gitlab/gitlab-secrets.json
파일을 복사하고 이 서버의 동일한 이름의 파일에 추가하거나 교체합니다. 만약 첫 번째 Linux 패키지 노드를 구성하는 경우 이 단계를 건너뛸 수 있습니다. - 변경 사항을 적용하기 위해 GitLab 재구성을 수행합니다.
레플리카 Redis 노드 구성
-
레플리카 Redis 서버에 SSH로 로그인합니다.
-
다운로드 및 설치 원하는 Linux 패키지를 선택합니다.
페이지에서 오직 설치 단계 1 및 2만 따르고, 현재 설치와 동일한 버전 및 유형(커뮤니티 또는 엔터프라이즈 에디션)의 올바른 Linux 패키지를 선택해야 합니다.
-
/etc/gitlab/gitlab.rb
를 편집하고 다음 내용을 추가합니다:# 서버 역할을 'redis_sentinel_role' 및 'redis_replica_role'로 지정합니다. roles ['redis_sentinel_role', 'redis_replica_role', 'consul_role'] # Redis Sentinel 서비스의 IP 바인드 주소 및 Quorum 수 설정 sentinel['bind'] = '0.0.0.0' sentinel['quorum'] = 2 # 다른 기계가 도달할 수 있는 로컬 IP를 가리키는 IP 주소입니다. # '0.0.0.0'으로 바인드하여 모든 인터페이스에서 수신할 수도 있습니다. # 외부에서 접근 가능한 IP에 바인드해야 하는 경우, # 무단 접근을 방지하기 위한 추가 방화벽 규칙을 추가해야 합니다. redis['bind'] = '10.6.0.62' # Redis가 TCP 요청을 수신할 수 있도록 포트를 정의합니다. redis['port'] = 6379 ## Sentinel의 기본 Redis 서버 포트, 기본값이 아닌 것으로 변경하려면 주석 해제하십시오. 기본값은 ## `6379`입니다. #redis['master_port'] = 6379 # 기본 노드에 대해 설정한 Redis 인증의 동일한 비밀번호입니다. redis['password'] = 'REDIS_PRIMARY_PASSWORD' redis['master_password'] = 'REDIS_PRIMARY_PASSWORD' ## 모든 Redis 노드에서 동일해야 합니다. redis['master_name'] = 'gitlab-redis' # 기본 Redis 노드의 IP입니다. redis['master_ip'] = '10.6.0.61' ## Prometheus를 위한 서비스 발견 활성화 consul['monitoring_service_discovery'] = true ## Consul 서버 노드의 IP들 ## FQDN을 사용할 수도 있으며 IP와 혼합하여 사용할 수 있습니다. consul['configuration'] = { retry_join: %w(10.6.0.11 10.6.0.12 10.6.0.13), } # Exporter가 수신할 네트워크 주소를 설정합니다. node_exporter['listen_address'] = '0.0.0.0:9100' redis_exporter['listen_address'] = '0.0.0.0:9121' # 업그레이드 시 데이터베이스 마이그레이션이 자동으로 실행되지 않도록 방지합니다. gitlab_rails['auto_migrate'] = false
-
첫 번째 Linux 패키지 노드에서
/etc/gitlab/gitlab-secrets.json
파일을 복사하고 이 서버의 동일한 이름의 파일을 추가하거나 교체합니다.구성하는 첫 번째 Linux 패키지 노드인 경우 이 단계를 건너뛸 수 있습니다.
-
변경 사항이 적용되도록 GitLab 재구성합니다.
-
모든 다른 레플리카 노드에 대해 단계를 반복하고 IP를 올바르게 설정했는지 확인합니다.
고급 구성 옵션이 지원되며 필요에 따라 추가할 수 있습니다.
Gitaly 클러스터 구성
Gitaly Cluster는 GitLab에서 제공하며 권장하는 Git 저장소를 위한 내결함성 솔루션입니다. 이 구성에서는 모든 Git 저장소가 클러스터의 모든 Gitaly 노드에 저장되며, 하나가 기본(primary)으로 지정되어 기본 노드가 다운될 경우 자동으로 장애 조치(failover)가 발생합니다.
경고:
Gitaly 사양은 양호한 상태의 사용 패턴과 저장소 크기의 높은 백분위수를 기반으로 하고 있습니다.
하지만 대형 모노레포(여러 기가바이트보다 큰) 또는 추가 작업 부하가 있는 경우 환경 성능에 상당히 영향을 미칠 수 있으며 추가 조정이 필요할 수 있습니다.
이 경우, 링크된 문서와 함께 고객 성공 관리자 또는 지원 팀에 문의하여 추가 지침을 받는 것을 강력히 권장합니다.
Gitaly Cluster는 내결함성의 이점을 제공하지만, 설정 및 관리의 복잡성을 추가로 동반합니다. Gitaly Cluster를 배포하기 전에 기존의 기술적 제한 사항 및 고려 사항을 검토하세요.
다음과 같은 지침이 있습니다:
- 분산 Gitaly를 구현하는 대신 별도의 Gitaly 문서를 참조하십시오. Gitaly 사양은 동일하게 사용하십시오.
- Gitaly Cluster에서 관리되지 않는 기존 저장소를 마이그레이션하려면 Gitaly Cluster로 마이그레이션 항목을 참조하십시오.
추천되는 클러스터 구성에는 다음 구성 요소가 포함됩니다:
- 3개의 Gitaly 노드: Git 저장소의 복제된 저장소.
- 3개의 Praefect 노드: Gitaly Cluster의 라우터 및 트랜잭션 관리자.
- 1개의 Praefect PostgreSQL 노드: Praefect용 데이터베이스 서버. Praefect 데이터베이스 연결을 고가용성으로 만들기 위해 제3자 솔루션이 필요합니다.
- 1개의 로드 밸런서: Praefect에 대한 로드 밸런서가 필요합니다.
내부 로드 밸런서가 사용됩니다.
이 섹션에서는 추천되는 기본 설정을 순서대로 구성하는 방법을 자세히 설명합니다.
보다 고급 설정에 대해서는 독립형 Gitaly Cluster 문서를 참조하십시오.
Praefect PostgreSQL 구성
Praefect는 Gitaly Cluster에 대한 라우팅 및 트랜잭션 관리자를 위해 자신의 데이터베이스 서버가 필요합니다.
고가용성 설정을 원할 경우, Praefect는 제3자 PostgreSQL 데이터베이스가 필요합니다.
내장 솔루션이 작업 중입니다.
Praefect 비 HA PostgreSQL 독립형 Linux 패키지 사용
다음 IP는 예시로 사용됩니다:
-
10.6.0.141
: Praefect PostgreSQL
먼저 Praefect PostgreSQL 노드에 설치된 Linux GitLab 패키지를 확인하세요.
단계에 따라 1단계에서 필요한 종속성을 설치하고 2단계에서 GitLab 패키지 저장소를 추가합니다.
GitLab을 2단계에서 설치할 때는 EXTERNAL_URL
값을 제공하지 마십시오.
-
Praefect PostgreSQL 노드에 SSH로 접속합니다.
-
Praefect PostgreSQL 사용자에 사용할 강력한 비밀번호를 생성합니다. 이 비밀번호를
<praefect_postgresql_password>
로 기록해 두십시오. -
Praefect PostgreSQL 사용자 이름/비밀번호 쌍에 대한 비밀번호 해시를 생성합니다. 기본 사용자 이름인
praefect
(추천)를 사용하는 것으로 가정합니다.
해당 명령은<praefect_postgresql_password>
의 비밀번호와 확인을 요청합니다.
이 명령의 출력값을 다음 단계에서<praefect_postgresql_password_hash>
의 값으로 사용합니다:sudo gitlab-ctl pg-password-md5 praefect
-
/etc/gitlab/gitlab.rb
파일을 편집하여# START user configuration
섹션에 기록된 값을 대체합니다:# PostgreSQL 및 Consul을 제외한 모든 구성 요소 비활성화 roles(['postgres_role', 'consul_role']) # PostgreSQL 구성 postgresql['listen_address'] = '0.0.0.0' # 업그레이드 시 자동으로 데이터베이스 마이그레이션이 실행되지 않도록 방지 gitlab_rails['auto_migrate'] = false # Consul 에이전트 구성 ## Prometheus용 서비스 검색 활성화 consul['monitoring_service_discovery'] = true # START user configuration # 필수 정보 섹션에서 설명하는 대로 실제 값을 설정하십시오. # # 생성된 md5 값으로 PRAEFECT_POSTGRESQL_PASSWORD_HASH를 대체하십시오. postgresql['sql_user_password'] = "<praefect_postgresql_password_hash>" # XXX.XXX.XXX.XXX/YY를 네트워크 주소로 대체합니다. postgresql['trust_auth_cidr_addresses'] = %w(10.6.0.0/24 127.0.0.1/32) # 모니터링을 위해 수출업체가 수신 대기할 네트워크 주소 설정 node_exporter['listen_address'] = '0.0.0.0:9100' postgres_exporter['listen_address'] = '0.0.0.0:9187' ## Consul 서버 노드의 IP ## IP와 함께 FQDN을 혼합하여 사용할 수도 있습니다. consul['configuration'] = { retry_join: %w(10.6.0.11 10.6.0.12 10.6.0.13), } # # END user configuration
-
구성한 첫 번째 Linux 패키지 노드에서
/etc/gitlab/gitlab-secrets.json
파일을 복사하여 이 서버의 동일한 이름 파일에 추가하거나 교체합니다. 이 서버를 구성할 때 첫 번째 Linux 패키지 노드라면 이 단계를 건너뛸 수 있습니다. -
GitLab 재구성하여 변경 사항을 적용합니다.
-
후속 구성을 따릅니다.
Praefect HA PostgreSQL 타사 솔루션
언급된 바와 같이, 전체 고가용성을 목표로 할 경우 Praefect의 데이터베이스에 대한 타사 PostgreSQL 솔루션이 권장됩니다.
PostgreSQL HA를 위한 많은 타사 솔루션이 있습니다. 선택된 솔루션은 Praefect와 함께 작동하기 위해 다음을 갖추어야 합니다:
- 장애 조치 시 변경되지 않는 모든 연결을 위한 고정 IP.
-
LISTEN
SQL 기능이 지원되어야 합니다.
참고: 타사 설정을 사용하면 편의를 위해 Praefect의 데이터베이스를 주요 GitLab 데이터베이스와 같은 서버에 함께 배치할 수 있습니다. 그러나 Geo를 사용하는 경우 복제를 올바르게 처리하기 위해 별도의 데이터베이스 인스턴스가 필요합니다. 이 설정에서는 주요 데이터베이스 설정의 사양을 변경할 필요가 없으며, 영향은 최소화되어야 합니다.
신뢰할 수 있는 제공업체 또는 솔루션을 사용해야 합니다. Google Cloud SQL 및 Amazon RDS는 작동하는 것으로 알려져 있습니다. 그러나 Amazon Aurora는 14.4.0 이후 기본적으로 로드 밸런싱이 활성화되어 있어 호환되지 않습니다.
자세한 내용은 추천 클라우드 제공업체 및 서비스를 참조하세요.
데이터베이스가 설정되면 후 구성을 따릅니다.
Praefect PostgreSQL 후 구성
Praefect PostgreSQL 서버가 설정된 후, Praefect가 사용할 사용자 및 데이터베이스를 구성해야 합니다.
사용자의 이름을 praefect
로, 데이터베이스는 praefect_production
으로 설정할 것을 권장하며, 이는 PostgreSQL에서 표준으로 구성할 수 있습니다.
사용자의 비밀번호는 이전에 구성한 <praefect_postgresql_password>
와 동일합니다.
다음은 Linux 패키지 PostgreSQL 설정에서 작동하는 방법입니다:
-
Praefect PostgreSQL 노드에 SSH로 접속합니다.
-
관리 권한으로 PostgreSQL 서버에 연결합니다.
여기에 사용되는gitlab-psql
사용자는 Linux 패키지 기본 설정으로 추가된 사용자입니다.
데이터베이스template1
은 모든 PostgreSQL 서버에서 기본적으로 생성되므로 사용됩니다./opt/gitlab/embedded/bin/psql -U gitlab-psql -d template1 -h POSTGRESQL_SERVER_ADDRESS
-
새 사용자
praefect
를 생성하고<praefect_postgresql_password>
로 교체합니다:CREATE ROLE praefect WITH LOGIN CREATEDB PASSWORD '<praefect_postgresql_password>';
-
이번에는
praefect
사용자로 PostgreSQL 서버에 재연결합니다:/opt/gitlab/embedded/bin/psql -U praefect -d template1 -h POSTGRESQL_SERVER_ADDRESS
-
새로운 데이터베이스
praefect_production
을 생성합니다:CREATE DATABASE praefect_production WITH ENCODING=UTF8;
Praefect 구성
Praefect는 Gitaly 클러스터를 위한 라우터 및 트랜잭션 관리자이며 모든 Gitaly에 대한 연결은 이를 통해 진행됩니다. 이 섹션에서는 이를 구성하는 방법을 자세히 설명합니다.
Praefect는 클러스터 간 통신을 안전하게 하기 위해 여러 개의 비밀 토큰이 필요합니다:
-
<praefect_external_token>
: 귀하의 Gitaly 클러스터에 호스팅되는 리포지토리에 사용되며, 이 토큰을 가진 Gitaly 클라이언트만 접근할 수 있습니다. -
<praefect_internal_token>
: Gitaly 클러스터 내부의 복제를 위한 트래픽에 사용됩니다. 이는praefect_external_token
과 다르며, Gitaly 클라이언트가 Praefect 클러스터의 내부 노드에 직접 접근할 수 없어야 하므로 데이터 손실로 이어질 수 있습니다. -
<praefect_postgresql_password>
: 이전 섹션에서 정의된 Praefect PostgreSQL 비밀번호도 이 설정의 일환으로 필요합니다.
Gitaly 클러스터 노드는 Praefect를 통해 virtual storage
로 구성됩니다. 각 스토리지는 클러스터를 구성하는 각 Gitaly 노드의 세부 정보를 포함합니다. 각 스토리지는 이름이 부여되며 이 이름은 구성의 여러 영역에서 사용됩니다. 이 가이드에서는 스토리지의 이름이 default
입니다. 또한 이 가이드는 새로운 설치를 위한 것이며 기존 환경을 Gitaly 클러스터로 업그레이드하는 경우 다른 이름을 사용할 수 있습니다. 추가 정보는 Praefect 문서를 참조하세요.
다음 IP는 예시로 사용됩니다:
-
10.6.0.131
: Praefect 1 -
10.6.0.132
: Praefect 2 -
10.6.0.133
: Praefect 3
Praefect 노드를 구성하려면 각 노드에서 다음을 수행하세요:
-
Praefect 서버에 SSH로 접속합니다.
-
다운로드 및 설치 원하는 Linux 패키지를 선택합니다. 페이지에서 설치 단계 1 및 2만 따르세요.
-
/etc/gitlab/gitlab.rb
파일을 편집하여 Praefect를 구성합니다:# Praefect 서버에서 불필요한 서비스 실행 방지 gitaly['enable'] = false postgresql['enable'] = false redis['enable'] = false nginx['enable'] = false puma['enable'] = false sidekiq['enable'] = false gitlab_workhorse['enable'] = false prometheus['enable'] = false alertmanager['enable'] = false gitlab_exporter['enable'] = false gitlab_kas['enable'] = false # Praefect 구성 praefect['enable'] = true # 업그레이드 시 데이터베이스 마이그레이션 자동 실행 방지 praefect['auto_migrate'] = false gitlab_rails['auto_migrate'] = false # Consul 에이전트 구성 consul['enable'] = true ## Prometheus를 위한 서비스 발견 활성화 consul['monitoring_service_discovery'] = true # 사용자 구성 시작 # 필요한 정보 섹션에 설명된 실제 값을 설정하십시오 # praefect['configuration'] = { # ... listen_addr: '0.0.0.0:2305', auth: { # ... # # Praefect 외부 토큰 # 클러스터 외부의 클라이언트(GitLab Shell 등)가 Praefect 클러스터와 통신하는 데 필요합니다 token: '<praefect_external_token>', }, # Praefect 데이터베이스 설정 database: { # ... host: '10.6.0.141', port: 5432, dbname: 'praefect_production', user: 'praefect', password: '<praefect_postgresql_password>', }, # Praefect 가상 스토리지 구성 # 저장소 해시 이름은 GitLab의 git_data_dirs에 있는 스토리지 이름('praefect')와 Gitaly 노드의 gitaly['configuration'][:storage]에 있는 이름('gitaly-1')과 일치해야 합니다 virtual_storage: [ { # ... name: 'default', node: [ { storage: 'gitaly-1', address: 'tcp://10.6.0.91:8075', token: '<praefect_internal_token>' }, { storage: 'gitaly-2', address: 'tcp://10.6.0.92:8075', token: '<praefect_internal_token>' }, { storage: 'gitaly-3', address: 'tcp://10.6.0.93:8075', token: '<praefect_internal_token>' }, ], }, ], # Praefect가 모니터링을 위해 수신할 네트워크 주소 설정 prometheus_listen_addr: '0.0.0.0:9652', } # 노드 익스포터가 모니터링을 위해 수신할 네트워크 주소 설정 node_exporter['listen_address'] = '0.0.0.0:9100' ## Consul 서버 노드의 IP ## FQDN을 사용하고 IP와 혼합하여 사용할 수도 있습니다 consul['configuration'] = { retry_join: %w(10.6.0.11 10.6.0.12 10.6.0.13), } # # 사용자 구성 종료
-
첫 번째 Linux 패키지 노드에서
/etc/gitlab/gitlab-secrets.json
파일을 복사하고 이 서버의 동일한 이름 파일을 추가하거나 교체합니다. 이 파일을 구성하는 첫 번째 Linux 패키지 노드인 경우 이 단계를 건너뛸 수 있습니다. -
Praefect는 GitLab 메인 애플리케이션과 유사하게 데이터베이스 마이그레이션을 실행해야 합니다. 이를 위해 마이그레이션을 실행할 Praefect 노드 하나만 선택하세요, 이 노드를 _배포 노드_라고 합니다. 이 노드는 다른 노드보다 먼저 다음과 같이 구성해야 합니다:
-
/etc/gitlab/gitlab.rb
파일에서praefect['auto_migrate']
설정 값을false
에서true
로 변경합니다. -
데이터베이스 마이그레이션이 재구성 중에만 실행되고 업그레이드 시 자동으로 실행되지 않도록 하려면 다음을 실행합니다:
sudo touch /etc/gitlab/skip-auto-reconfigure
- 변경 사항이 적용되도록 GitLab 재구성을 실행하고 Praefect 데이터베이스 마이그레이션을 실행합니다.
-
-
나머지 모든 Praefect 노드에서 변경 사항이 적용되도록 GitLab 재구성을 수행합니다.
Gitaly 구성
Gitaly 서버 노드는 클러스터를 구성하며, 데이터와 부하에 따라 요구 사항이 달라집니다.
경고: Gitaly 사양은 양호한 상태의 사용 패턴과 저장소 크기의 높은 백분위수를 기반으로 합니다.
하지만, 대형 모노레포 (수 기가바이트 이상) 또는 추가 워크로드가 있는 경우 이는 환경의 성능에 상당히 영향을 미칠 수 있으며 추가 조정이 필요할 수 있습니다.
이 경우에는 링크된 문서를 참조하고 고객 성공 관리자 또는 지원 팀에 문의하여 추가 안내를 받는 것을 강력히 권장합니다.
Gitaly의 입력 및 출력 요구 사항이 눈에 띄므로, 모든 Gitaly 노드가 SSD(솔리드 스테이트 드라이브)를 사용하도록 강력히 권장합니다. 이 SSD는 읽기 작업을 위한 초당 최소 8,000 입력/출력 작업 수(IOPS)와 쓰기 작업을 위한 2,000 IOPS를 가져야 합니다. 클라우드 제공업체에서 환경을 실행하는 경우, IOPS를 올바르게 구성하는 방법에 대한 문서를 참조하세요.
Gitaly 서버는 공용 인터넷에 노출되지 않아야 하며, Gitaly의 네트워크 트래픽은 기본적으로 암호화되지 않습니다. Gitaly 서버에 대한 접근을 제한하기 위해 방화벽 사용이 강력히 권장됩니다. 또 다른 옵션으로는 TLS 사용이 있습니다.
Gitaly를 구성할 때는 다음 사항에 유의해야 합니다:
-
gitaly['configuration'][:storage]
는 특정 Gitaly 노드의 저장 경로를 반영하도록 구성되어야 합니다. -
auth_token
은praefect_internal_token
과 동일해야 합니다.
다음 IP는 예제로 사용됩니다:
-
10.6.0.91
: Gitaly 1 -
10.6.0.92
: Gitaly 2 -
10.6.0.93
: Gitaly 3
각 노드에서:
-
다운로드 및 설치를 원하는 Linux 패키지를 선택하여 진행하세요. 페이지에서 _1단계_와 _2단계_만 수행하고,
EXTERNAL_URL
값을 제공하지 마세요. -
Gitaly 서버 노드의
/etc/gitlab/gitlab.rb
파일을 편집하여 저장 경로를 구성하고, 네트워크 리스너를 활성화하며, 토큰을 구성하세요:# Gitaly 서버에서 불필요한 서비스가 실행되지 않도록 합니다. postgresql['enable'] = false redis['enable'] = false nginx['enable'] = false puma['enable'] = false sidekiq['enable'] = false gitlab_workhorse['enable'] = false prometheus['enable'] = false alertmanager['enable'] = false gitlab_exporter['enable'] = false gitlab_kas['enable'] = false # 업그레이드 시 데이터베이스 마이그레이션이 자동으로 실행되지 않도록 합니다. gitlab_rails['auto_migrate'] = false # gitlab-shell API 콜백 URL을 구성합니다. 이 없이는 `git push`가 실패합니다. # '프론트 도어' GitLab URL이거나 내부 로드 밸런서가 될 수 있습니다. gitlab_rails['internal_api_url'] = 'https://gitlab.example.com' # Gitaly gitaly['enable'] = true # Consul 에이전트를 구성합니다. consul['enable'] = true ## Prometheus에 대한 서비스 검색을 활성화합니다. consul['monitoring_service_discovery'] = true # START 사용자 구성 # 필수 정보 섹션에 설명된 대로 실제 값을 설정하세요. # ## Consul 서버 노드의 IP ## FQDN과 IP를 혼합하여 사용할 수 있습니다. consul['configuration'] = { retry_join: %w(10.6.0.11 10.6.0.12 10.6.0.13), } # 모니터링을 위해 노드 익스포터가 수신 대기할 네트워크 주소를 설정합니다. node_exporter['listen_address'] = '0.0.0.0:9100' gitaly['configuration'] = { # Gitaly의 모든 네트워크 인터페이스에서 연결을 수락하도록 설정합니다. 이 주소/포트에 대한 접근을 제한하려면 방화벽을 사용해야 합니다. # TLS 연결만 지원하려면 다음 행을 주석 처리하세요. listen_addr: '0.0.0.0:8075', # Gitaly가 모니터링을 위해 수신 대기할 네트워크 주소를 설정합니다. prometheus_listen_addr: '0.0.0.0:9236', auth: { # Gitaly 인증 토큰 # praefect_internal_token과 동일해야 합니다. token: '<praefect_internal_token>', }, pack_objects_cache: { # Gitaly 패킹 오브젝트 캐시 # 성능 향상을 위해 활성화하는 것이 권장되지만 디스크 I/O를 상당히 증가시킬 수 있습니다. # 더 많은 정보는 https://docs.gitlab.com/ee/administration/gitaly/configure_gitaly.html#pack-objects-cache을 참조하세요. enabled: true, }, } # # END 사용자 구성
- 각 해당 서버에 대해
/etc/gitlab/gitlab.rb
에 다음 내용을 추가합니다:-
Gitaly 노드 1에서:
gitaly['configuration'] = { # ... storage: [ { name: 'gitaly-1', path: '/var/opt/gitlab/git-data', }, ], }
-
Gitaly 노드 2에서:
gitaly['configuration'] = { # ... storage: [ { name: 'gitaly-2', path: '/var/opt/gitlab/git-data', }, ], }
-
Gitaly 노드 3에서:
gitaly['configuration'] = { # ... storage: [ { name: 'gitaly-3', path: '/var/opt/gitlab/git-data', }, ], }
-
-
첫 번째로 구성한 Linux 패키지 노드에서
/etc/gitlab/gitlab-secrets.json
파일을 복사하고 이 서버의 같은 이름의 파일을 추가하거나 교체합니다. 이가 첫 번째 Linux 패키지 노드라면 이 단계를 건너뛰어도 됩니다. - 파일을 저장한 후 GitLab 다시 구성을 수행하세요.
Gitaly 클러스터 TLS 지원
Praefect는 TLS 암호화를 지원합니다. 보안 연결을 수신하는 Praefect 인스턴스와 통신하려면 다음을 수행해야 합니다:
-
GitLab 구성의 해당 스토리지 항목의
gitaly_address
에tls://
URL 스킴을 사용하십시오. -
자동으로 제공되지 않으므로 본인 소유의 인증서를 가져와야 합니다. 각 Praefect 서버와 관련된 인증서는 해당 Praefect 서버에 설치되어야 합니다.
또한 인증서 또는 해당 인증 기관은 모든 Gitaly 서버 및 이와 통신하는 모든 Praefect 클라이언트에 설치되어야 합니다. 이는 GitLab 맞춤 인증서 구성에서 설명된 절차를 따르십시오 (아래에 반복됨).
다음 사항에 유의하십시오:
-
인증서는 Praefect 서버에 접근하는 데 사용하는 주소를 지정해야 합니다. 인증서에 호스트 이름이나 IP 주소를 주체 대체 이름으로 추가해야 합니다.
-
Praefect 서버는 암호화되지 않은 수신 주소
listen_addr
와 암호화된 수신 주소tls_listen_addr
모두를 동시에 구성할 수 있습니다. 이렇게 하면 필요한 경우 암호화되지 않은 트래픽에서 암호화된 트래픽으로 점진적으로 전환할 수 있습니다. 암호화되지 않은 수신기를 비활성화하려면praefect['configuration'][:listen_addr] = nil
로 설정하십시오. -
내부 로드 밸런서도 인증서에 접근할 수 있으며 TLS 패스스루를 허용하도록 구성해야 합니다. 이를 구성하는 방법에 대한 로드 밸런서 문서의 내용을 참조하십시오.
TLS로 Praefect를 구성하려면:
-
Praefect 서버용 인증서를 생성합니다.
-
Praefect 서버에서
/etc/gitlab/ssl
디렉토리를 만들고 여기에 키와 인증서를 복사합니다:sudo mkdir -p /etc/gitlab/ssl sudo chmod 755 /etc/gitlab/ssl sudo cp key.pem cert.pem /etc/gitlab/ssl/ sudo chmod 644 key.pem cert.pem
-
/etc/gitlab/gitlab.rb
를 편집하고 다음을 추가합니다:praefect['configuration'] = { # ... tls_listen_addr: '0.0.0.0:3305', tls: { # ... certificate_path: '/etc/gitlab/ssl/cert.pem', key_path: '/etc/gitlab/ssl/key.pem', }, }
-
파일을 저장하고 구성 다시 실행합니다.
-
Praefect 클라이언트(각 Gitaly 서버 포함)에서 인증서 또는 인증 기관을
/etc/gitlab/trusted-certs
에 복사합니다:sudo cp cert.pem /etc/gitlab/trusted-certs/
-
Praefect 클라이언트(각 Gitaly 서버 제외)에서
/etc/gitlab/gitlab.rb
의git_data_dirs
를 다음과 같이 편집합니다:git_data_dirs({ "default" => { "gitaly_address" => 'tls://LOAD_BALANCER_SERVER_ADDRESS:3305', "gitaly_token" => 'PRAEFECT_EXTERNAL_TOKEN' } })
-
파일을 저장하고 GitLab 재구성합니다.
Sidekiq 구성하기
Sidekiq는 Redis,
PostgreSQL 및 Gitaly 인스턴스에 대한 연결이 필요합니다.
또한 권장되는 대로 Object Storage와 연결이 필요합니다.
다음 예제는 Object Storage 구성 내용을 포함합니다.
또한 Sidekiq 노드를 조정하여 여러 Sidekiq 프로세스를 실행할 수 있습니다.
Rails 구성 외에도 Sidekiq 구성을 업데이트해야 합니다.
자세한 내용은 외부 Sidekiq 문서를 참조하세요.
-
10.6.0.71
: Sidekiq 1 -
10.6.0.72
: Sidekiq 2
각 Sidekiq 노드를 구성하려면:
-
Sidekiq 서버에 SSH로 접속합니다.
-
PostgreSQL, Gitaly 및 Redis 포트에 접근할 수 있는지 확인합니다:
telnet <GitLab host> 5432 # PostgreSQL telnet <GitLab host> 8075 # Gitaly telnet <GitLab host> 6379 # Redis
-
다운로드 및 설치 원하는 Linux 패키지를
설치 페이지의 1단계 및 2단계만 따르세요. -
/etc/gitlab/gitlab.rb
를 생성하거나 수정하고 다음 구성을 사용합니다:# https://docs.gitlab.com/omnibus/roles/#sidekiq-roles roles(["sidekiq_role"]) # External URL ## This should match the URL of the external load balancer external_url 'https://gitlab.example.com' # Redis ## Must be the same in every sentinel node redis['master_name'] = 'gitlab-redis' ## The same password for Redis authentication you set up for the master node. redis['master_password'] = '<redis_primary_password>' ## A list of sentinels with `host` and `port` gitlab_rails['redis_sentinels'] = [ {'host' => '10.6.0.11', 'port' => 26379}, {'host' => '10.6.0.12', 'port' => 26379}, {'host' => '10.6.0.13', 'port' => 26379}, ] # Gitaly Cluster ## git_data_dirs get configured for the Praefect virtual storage ## Address is Internal Load Balancer for Praefect ## Token is praefect_external_token git_data_dirs({ "default" => { "gitaly_address" => "tcp://10.6.0.40:2305", # internal load balancer IP "gitaly_token" => '<praefect_external_token>' } }) # PostgreSQL gitlab_rails['db_host'] = '10.6.0.40' # internal load balancer IP gitlab_rails['db_port'] = 6432 gitlab_rails['db_password'] = '<postgresql_user_password>' gitlab_rails['db_load_balancing'] = { 'hosts' => ['10.6.0.21', '10.6.0.22', '10.6.0.23'] } # PostgreSQL IPs ## Prevent database migrations from running on upgrade automatically gitlab_rails['auto_migrate'] = false # Sidekiq sidekiq['listen_address'] = "0.0.0.0" ## Set number of Sidekiq queue processes to the same number as available CPUs sidekiq['queue_groups'] = ['*'] * 4 # Monitoring consul['enable'] = true consul['monitoring_service_discovery'] = true consul['configuration'] = { retry_join: %w(10.6.0.11 10.6.0.12 10.6.0.13) } ## Set the network addresses that the exporters will listen on node_exporter['listen_address'] = '0.0.0.0:9100' ## Add the monitoring node's IP address to the monitoring whitelist gitlab_rails['monitoring_whitelist'] = ['10.6.0.81/32', '127.0.0.0/8'] gitlab_rails['prometheus_address'] = '10.6.0.81:9090' # Object Storage ## This is an example for configuring Object Storage on GCP ## Replace this config with your chosen Object Storage provider as desired gitlab_rails['object_store']['enabled'] = true gitlab_rails['object_store']['connection'] = { 'provider' => 'Google', 'google_project' => '<gcp-project-name>', 'google_json_key_location' => '<path-to-gcp-service-account-key>' } gitlab_rails['object_store']['objects']['artifacts']['bucket'] = "<gcp-artifacts-bucket-name>" gitlab_rails['object_store']['objects']['external_diffs']['bucket'] = "<gcp-external-diffs-bucket-name>" gitlab_rails['object_store']['objects']['lfs']['bucket'] = "<gcp-lfs-bucket-name>" gitlab_rails['object_store']['objects']['uploads']['bucket'] = "<gcp-uploads-bucket-name>" gitlab_rails['object_store']['objects']['packages']['bucket'] = "<gcp-packages-bucket-name>" gitlab_rails['object_store']['objects']['dependency_proxy']['bucket'] = "<gcp-dependency-proxy-bucket-name>" gitlab_rails['object_store']['objects']['terraform_state']['bucket'] = "<gcp-terraform-state-bucket-name>" gitlab_rails['backup_upload_connection'] = { 'provider' => 'Google', 'google_project' => '<gcp-project-name>', 'google_json_key_location' => '<path-to-gcp-service-account-key>' } gitlab_rails['backup_upload_remote_directory'] = "<gcp-backups-state-bucket-name>" gitlab_rails['ci_secure_files_object_store_enabled'] = true gitlab_rails['ci_secure_files_object_store_remote_directory'] = "gcp-ci_secure_files-bucket-name" gitlab_rails['ci_secure_files_object_store_connection'] = { 'provider' => 'Google', 'google_project' => '<gcp-project-name>', 'google_json_key_location' => '<path-to-gcp-service-account-key>' }
-
설정한 첫 번째 Linux 패키지 노드에서
/etc/gitlab/gitlab-secrets.json
파일을 복사하여
이 서버의 동일한 이름의 파일을 추가하거나 교체합니다.
이 Linux 패키지 노드를 처음으로 구성하는 경우 이 단계를 생략할 수 있습니다. -
데이터베이스 마이그레이션이 자동으로 업그레이드되지 않고 재구성 중에만 실행되도록 하려면,
sudo touch /etc/gitlab/skip-auto-reconfigure
마이그레이션은 GitLab Rails 후 구성
섹션에서 자세히 설명된 대로 단일 지정된 노드에서만 처리해야 합니다. -
변경 사항을 적용하기 위해 GitLab 재구성을 실행합니다.
-
GitLab 서비스가 실행되고 있는지 확인합니다:
sudo gitlab-ctl status
출력은 다음과 유사해야 합니다:
run: consul: (pid 30114) 77353s; run: log: (pid 29756) 77367s run: logrotate: (pid 9898) 3561s; run: log: (pid 29653) 77380s run: node-exporter: (pid 30134) 77353s; run: log: (pid 29706) 77372s run: sidekiq: (pid 30142) 77351s; run: log: (pid 29638) 77386s
GitLab Rails 구성
이 섹션에서는 GitLab 애플리케이션 (Rails) 구성 요소를 구성하는 방법에 대해 설명합니다.
Rails는 Redis, PostgreSQL 및 Gitaly 인스턴스에 대한 연결이 필요합니다.
또한 권장되는 대로 Object Storage와의 연결이 필요합니다.
각 노드에서 다음을 수행합니다:
-
다운로드하고 설치할 Linux 패키지를 선택하십시오. 페이지에서 오직 설치 단계 1 및 2만 따라야 합니다.
-
/etc/gitlab/gitlab.rb
를 생성하거나 편집하고 다음 구성을 사용합니다.노드 간의 링크 일관성을 유지하기 위해, 애플리케이션 서버의
external_url
은 사용자가 GitLab에 액세스하는 외부 URL을 가리켜야 합니다.이는 GitLab 애플리케이션 서버로 트래픽을 라우팅하는 외부 로드 밸런서의 URL이 됩니다:
external_url 'https://gitlab.example.com' # git_data_dirs는 Praefect 가상 저장소에 대해 구성됩니다 # 주소는 Praefect의 내부 로드 밸런서입니다 # 토큰은 praefect_external_token입니다 git_data_dirs({ "default" => { "gitaly_address" => "tcp://10.6.0.40:2305", # 내부 로드 밸런서 IP "gitaly_token" => '<praefect_external_token>' } }) ## GitLab 애플리케이션 서버에 없는 구성 요소 비활성화 roles(['application_role']) gitaly['enable'] = false sidekiq['enable'] = false ## PostgreSQL 연결 세부정보 # 애플리케이션 노드에서 PostgreSQL 비활성화 postgresql['enable'] = false gitlab_rails['db_host'] = '10.6.0.20' # 내부 로드 밸런서 IP gitlab_rails['db_port'] = 6432 gitlab_rails['db_password'] = '<postgresql_user_password>' gitlab_rails['db_load_balancing'] = { 'hosts' => ['10.6.0.21', '10.6.0.22', '10.6.0.23'] } # PostgreSQL IPs # 데이터베이스 마이그레이션이 업그레이드 시 자동으로 실행되지 않도록 방지 gitlab_rails['auto_migrate'] = false ## Redis 연결 세부정보 ## 모든 센티넬 노드에서 동일해야 함 redis['master_name'] = 'gitlab-redis' ## Redis 기본 노드에 대해 설정한 Redis 인증의 동일한 비밀번호입니다. redis['master_password'] = '<redis_primary_password>' ## `host` 및 `port`가 있는 센티넬 목록 gitlab_rails['redis_sentinels'] = [ {'host' => '10.6.0.11', 'port' => 26379}, {'host' => '10.6.0.12', 'port' => 26379}, {'host' => '10.6.0.13', 'port' => 26379} ] ## Prometheus를 위한 서비스 탐지 활성화 consul['enable'] = true consul['monitoring_service_discovery'] = true # 모니터링을 위해 사용되는 익스포터가 수신 대기할 네트워크 주소 설정 node_exporter['listen_address'] = '0.0.0.0:9100' gitlab_workhorse['prometheus_listen_addr'] = '0.0.0.0:9229' sidekiq['listen_address'] = "0.0.0.0" puma['listen'] = '0.0.0.0' ## Consul 서버 노드의 IP ## FQDN을 사용하고 IP와 혼합할 수 있습니다. consul['configuration'] = { retry_join: %w(10.6.0.11 10.6.0.12 10.6.0.13), } # 모니터링 노드의 IP 주소를 모니터링 화이트리스트에 추가하고 이를 허용하여 # NGINX 메트릭스를 스크랩할 수 있습니다. gitlab_rails['monitoring_whitelist'] = ['10.6.0.81/32', '127.0.0.0/8'] nginx['status']['options']['allow'] = ['10.6.0.81/32', '127.0.0.0/8'] gitlab_rails['prometheus_address'] = '10.6.0.81:9090' ############################# ### Object storage ### ############################# # 이는 GCP에서 Object Storage를 구성하는 예제입니다 # 원하는 Object Storage 제공자로 이 구성을 교체하십시오 gitlab_rails['object_store']['enabled'] = true gitlab_rails['object_store']['connection'] = { 'provider' => 'Google', 'google_project' => '<gcp-project-name>', 'google_json_key_location' => '<path-to-gcp-service-account-key>' } gitlab_rails['object_store']['objects']['artifacts']['bucket'] = "<gcp-artifacts-bucket-name>" gitlab_rails['object_store']['objects']['external_diffs']['bucket'] = "<gcp-external-diffs-bucket-name>" gitlab_rails['object_store']['objects']['lfs']['bucket'] = "<gcp-lfs-bucket-name>" gitlab_rails['object_store']['objects']['uploads']['bucket'] = "<gcp-uploads-bucket-name>" gitlab_rails['object_store']['objects']['packages']['bucket'] = "<gcp-packages-bucket-name>" gitlab_rails['object_store']['objects']['dependency_proxy']['bucket'] = "<gcp-dependency-proxy-bucket-name>" gitlab_rails['object_store']['objects']['terraform_state']['bucket'] = "<gcp-terraform-state-bucket-name>" gitlab_rails['backup_upload_connection'] = { 'provider' => 'Google', 'google_project' => '<gcp-project-name>', 'google_json_key_location' => '<path-to-gcp-service-account-key>' } gitlab_rails['backup_upload_remote_directory'] = "<gcp-backups-state-bucket-name>" gitlab_rails['ci_secure_files_object_store_enabled'] = true gitlab_rails['ci_secure_files_object_store_remote_directory'] = "gcp-ci_secure_files-bucket-name" gitlab_rails['ci_secure_files_object_store_connection'] = { 'provider' => 'Google', 'google_project' => '<gcp-project-name>', 'google_json_key_location' => '<path-to-gcp-service-account-key>' } ## NFS를 설정한 경우 다음 옵션의 주석을 제거하고 편집하십시오. ## ## NFS 데이터 마운트가 사용할 수 없으면 GitLab이 시작되지 않도록 방지 ## #high_availability['mountpoint'] = '/var/opt/gitlab/git-data' ## ## NFS를 통해 권한을 위해 서버 간에 UID 및 GID가 일치하는지 확인 ## #user['uid'] = 9000 #user['gid'] = 9000 #web_server['uid'] = 9001 #web_server['gid'] = 9001 #registry['uid'] = 9002 #registry['gid'] = 9002
-
Gitaly with TLS 지원을 사용하는 경우
git_data_dirs
항목이tcp
대신tls
로 구성되어 있는지 확인합니다:git_data_dirs({ "default" => { "gitaly_address" => "tls://10.6.0.40:2305", # 내부 로드 밸런서 IP "gitaly_token" => '<praefect_external_token>' } })
-
인증서를
/etc/gitlab/trusted-certs
에 복사합니다:sudo cp cert.pem /etc/gitlab/trusted-certs/
-
-
구성한 첫 번째 Linux 패키지 노드에서
/etc/gitlab/gitlab-secrets.json
파일을 복사하고 이 서버에서 동일한 이름의 파일을 추가하거나 교체합니다.구성을 처음 하는 Linux 패키지 노드인 경우 이 단계를 생략할 수 있습니다.
-
구성한 첫 번째 Linux 패키지 노드에서 SSH 호스트 키(모두 이름 형식
/etc/ssh/ssh_host_*_key*
)를 복사하고 이 서버에서 동일한 이름의 파일을 추가하거나 교체합니다.이렇게 하면 사용자가 로드 밸런스된 Rails 노드에 접속할 때 호스트 불일치 오류가 발생하지 않습니다.
구성을 처음 하는 Linux 패키지 노드인 경우 이 단계를 생략할 수 있습니다.
-
데이터베이스 마이그레이션이 재구성 중에만 실행되고 업그레이드 시 자동으로 실행되지 않도록 하려면:
sudo touch /etc/gitlab/skip-auto-reconfigure
마이그레이션은 오직 하나의 지정된 노드에서 처리해야 하며, 이는 GitLab Rails 후속 구성 섹션에서 자세히 설명되어 있습니다.
-
GitLab 재구성을 실행하여 변경 사항이 적용되도록 합니다.
-
sudo gitlab-rake gitlab:gitaly:check
를 실행하여 노드가 Gitaly에 연결할 수 있는지 확인합니다. -
요청을 확인하려면 로그를 꼬리질ing합니다:
sudo gitlab-ctl tail gitaly
-
GitLab 서비스가 실행 중인지 확인합니다:
sudo gitlab-ctl status
출력은 다음과 유사해야 합니다:
run: consul: (pid 4890) 8647s; run: log: (pid 29962) 79128s run: gitlab-exporter: (pid 4902) 8647s; run: log: (pid 29913) 79134s run: gitlab-workhorse: (pid 4904) 8646s; run: log: (pid 29713) 79155s run: logrotate: (pid 12425) 1446s; run: log: (pid 29798) 79146s run: nginx: (pid 4925) 8646s; run: log: (pid 29726) 79152s run: node-exporter: (pid 4931) 8645s; run: log: (pid 29855) 79140s run: puma: (pid 4936) 8645s; run: log: (pid 29656) 79161s
external_url
에 https
를 지정하면, GitLab은 SSL 인증서가 /etc/gitlab/ssl/
에 존재할 것으로 예상합니다.
인증서가 없으면 NGINX가 시작되지 않습니다. 더 많은 정보는 HTTPS 문서를 참조하십시오.
GitLab Rails Post-Configuration
-
모든 마이그레이션이 실행되었는지 확인합니다:
gitlab-rake gitlab:db:configure
이 작업은 Rails 노드가 기본 데이터베이스에 직접 연결되도록 구성해야 하며, PgBouncer 우회하기를 통해 수행됩니다. 마이그레이션이 완료된 후, 노드를 다시 PgBouncer를 통과하도록 구성해야 합니다.
Prometheus 구성하기
Linux 패키지를 사용하여 Prometheus를 실행하는 독립형 모니터링 노드를 구성할 수 있습니다:
- 모니터링 노드에 SSH로 접속합니다.
- 다운로드 및 설치를 진행합니다. 선택한 Linux 패키지를 설치합니다. 페이지의 설치 단계 1과 2만을 따라야 합니다.
-
/etc/gitlab/gitlab.rb
를 편집하고 내용을 추가합니다:roles(['monitoring_role', 'consul_role']) external_url 'http://gitlab.example.com' # Prometheus prometheus['listen_address'] = '0.0.0.0:9090' prometheus['monitor_kubernetes'] = false # Prometheus를 위한 서비스 발견 활성화 consul['monitoring_service_discovery'] = true consul['configuration'] = { retry_join: %w(10.6.0.11 10.6.0.12 10.6.0.13) } # 발견되지 않은 서비스를 스크랩하도록 Prometheus 구성 prometheus['scrape_configs'] = [ { 'job_name': 'pgbouncer', 'static_configs' => [ 'targets' => [ "10.6.0.31:9188", "10.6.0.32:9188", "10.6.0.33:9188", ], ], }, { 'job_name': 'praefect', 'static_configs' => [ 'targets' => [ "10.6.0.131:9652", "10.6.0.132:9652", "10.6.0.133:9652", ], ], }, ] nginx['enable'] = false
- 파일을 저장하고 GitLab 재구성을 진행합니다.
-
GitLab 서비스가 실행 중인지 확인합니다:
sudo gitlab-ctl status
출력은 다음과 유사해야 합니다:
run: consul: (pid 31637) 17337s; run: log: (pid 29748) 78432s run: logrotate: (pid 31809) 2936s; run: log: (pid 29581) 78462s run: nginx: (pid 31665) 17335s; run: log: (pid 29556) 78468s run: prometheus: (pid 31672) 17335s; run: log: (pid 29633) 78456s
객체 스토리지 구성
GitLab은 다양한 유형의 데이터를 보관하기 위한 객체 스토리지 서비스를 지원합니다.
데이터 객체를 위한 NFS보다 더 나은 성능을 제공하며 특히 대규모 환경에서 더 나은 선택입니다.
자세한 내용은 권장 클라우드 공급자 및 서비스를 참조하세요.
GitLab에서 객체 스토리지 구성을 지정하는 두 가지 방법이 있습니다:
통합 형식은 가능한 경우 다음 예제에서 사용됩니다.
각 데이터 유형에 대해 별도의 버킷을 사용하는 것이 GitLab에서 권장되는 접근 방식입니다.
이는 GitLab이 저장하는 다양한 유형의 데이터 간에 충돌이 없도록 보장합니다.
향후 단일 버킷 사용을 활성화할 계획이 있습니다.
증가 로그 활성화
GitLab Runner는 작업 로그를 청크 단위로 반환하며, 기본적으로 Linux 패키지는 /var/opt/gitlab/gitlab-ci/builds
에서 디스크에 임시로 캐시합니다.
기본 설정을 사용할 경우 이 디렉터리는 모든 GitLab Rails 및 Sidekiq 노드에서 NFS를 통해 공유되어야 합니다.
작업 로그를 NFS를 통해 공유하는 것은 지원되지만, 증가 로그 활성화를 통해 NFS 사용을 피하는 것이 권장됩니다.
증가 로그는 작업 로그의 임시 캐싱을 위해 디스크 공간 대신 Redis를 사용합니다.
고급 검색 구성
Elasticsearch를 활용하고 고급 검색 활성화를 통해 GitLab 인스턴스 전체에서 더 빠르고 더 정교한 코드 검색을 수행할 수 있습니다.
Elasticsearch 클러스터 설계 및 요구 사항은 특정 데이터에 따라 다릅니다.
Elasticsearch 클러스터를 인스턴스와 함께 설정하는 방법에 대한 권장 모범 사례를 보려면 최적의 클러스터 구성 선택을 참조하세요.
Helm 차트를 사용한 클라우드 네이티브 하이브리드 참조 아키텍처 (대안)
GitLab Helm 차트를 사용하여 Kubernetes에서 클라우드 네이티브 GitLab의 선택된 구성 요소를 실행합니다. 이 설정에서는 Kubernetes 클러스터 내에서 Webservice라는 이름의 GitLab Rails에 해당하는 구성 요소를 실행할 수 있습니다. 또한 Kubernetes 클러스터 내에서 Sidekiq라는 이름의 Sidekiq 노드에 해당하는 구성 요소를 실행할 수 있습니다.
추가로 지원되는 다른 서비스는 다음과 같습니다: NGINX, Toolbox, Migrations, Prometheus.
하이브리드 설치는 클라우드 네이티브 및 전통적인 컴퓨팅 배포의 장점을 활용합니다.
이를 통해 무상태 구성 요소는 클라우드 네이티브 워크로드 관리의 이점을 누릴 수 있으며, 유지 상태 구성 요소는 증가된 영구성을 위해 Linux 패키지 설치가 있는 컴퓨트 VM에 배포됩니다.
Helm 차트 고급 구성 문서를 참조하여 Kubernetes와 백엔드 구성 요소 간에 동기화할 GitLab 비밀에 대한 지침을 포함한 설정 지침을 확인하세요.
참고: 이 설정은 고급 설정입니다. Kubernetes에서 서비스를 실행하는 것은 복잡하다고 잘 알려져 있습니다. 이 설정은 강력한 작업 지식 및 Kubernetes 경험이 있는 경우에만 권장됩니다. 이 섹션의 나머지는 이를 전제로 합니다.
경고: Gitaly 클러스터는 Kubernetes에서 실행되는 것이 지원되지 않습니다. 더 자세한 내용은 epic 6127를 참조하세요.
클러스터 토폴로지
다음 표와 다이어그램은 전형적인 환경과 동일한 형식을 사용하여 하이브리드 환경을 자세히 설명합니다.
먼저 Kubernetes에서 실행되는 구성 요소가 있습니다. 이러한 구성 요소는 여러 노드 그룹에 걸쳐 실행되지만 최소 CPU 및 메모리 요구 사항이 준수되는 한 전체적인 구성을 원하는 대로 변경할 수 있습니다.
구성 요소 노드 그룹 | 대상 노드 풀 합계 | GCP 예제 | AWS 예제 |
---|---|---|---|
웹 서비스 | 36 vCPU 45 GB 메모리 (요청) 63 GB 메모리 (제한) |
3 x n1-standard-16
|
3 x c5.4xlarge
|
Sidekiq | 7.2 vCPU 16 GB 메모리 (요청) 32 GB 메모리 (제한) |
3 x n1-standard-4
|
3 x m5.xlarge
|
지원 서비스 | 4 vCPU 15 GB 메모리 |
2 x n1-standard-2
|
2 x m5.large
|
- 이 설정에는 권장되며 정기적으로 테스트되는 Google Kubernetes Engine (GKE) 및 Amazon Elastic Kubernetes Service (EKS)를 권장합니다. 다른 Kubernetes 서비스도 작동할 수 있지만 성능은 다를 수 있습니다.
- 편의를 위해 목표 노드 풀 합계에 도달하는 방법에 대한 GCP 및 AWS 예제가 제공됩니다. 이러한 크기는 성능 테스트에 사용되지만 예제를 따르는 것은 필수가 아닙니다. 목표를 달성하고 모든 파드를 배포할 수 있는 한 원하는 대로 다양한 노드 풀 설계를 사용할 수 있습니다.
- 웹 서비스 및 Sidekiq 목표 노드 풀 합계는 GitLab 구성 요소만을 대상으로 합니다. 선택한 Kubernetes 공급자의 시스템 프로세스에 추가 리소스가 필요합니다. 제공된 예제는 이를 고려합니다.
- 지원 목표 노드 풀 총 합계는 GitLab 배포를 지원하고 사용자의 요구 사항에 따라 추가 배포를 위해 여러 리소스를 수용하기 위해 일반적으로 제공됩니다. 다른 노드 풀과 마찬가지로 선택한 Kubernetes 공급자의 시스템 프로세스도 리소스가 필요합니다. 제공된 예제는 이를 고려합니다.
- 프로덕션 배포에서는 파드를 특정 노드에 할당할 필요가 없습니다. 그러나 복원력이 있는 클라우드 아키텍처 관행에 맞게 서로 다른 가용 영역에 여러 노드가 각 풀에 분산되도록 하는 것이 좋습니다.
- 효율성을 이유로 클러스터 오토스케일러와 같은 오토스케일링 기능을 활성화하는 것이 권장되지만 지속적인 성능을 보장하기 위해 웹 서비스 및 Sidekiq 파드의 바닥 목표를 75%로 설정하는 것이 일반적으로 권장됩니다.
다음은 Linux 패키지(또는 해당되는 경우 외부 PaaS 서비스)를 사용하는 정적 컴퓨팅 VM에서 실행되는 백엔드 구성 요소입니다:
서비스 | 노드 | 구성 | GCP | AWS |
---|---|---|---|---|
Consul1 | 3 | 2 vCPU, 1.8 GB 메모리 | n1-highcpu-2 |
c5.large |
PostgreSQL1 | 3 | 4 vCPU, 15 GB 메모리 | n1-standard-4 |
m5.xlarge |
PgBouncer1 | 3 | 2 vCPU, 1.8 GB 메모리 | n1-highcpu-2 |
c5.large |
내부 로드 밸런서3 | 1 | 4 vCPU, 3.6 GB 메모리 | n1-highcpu-4 |
c5n.xlarge |
Redis/Sentinel2 | 3 | 2 vCPU, 7.5 GB 메모리 | n1-standard-2 |
m5.large |
Gitaly5 | 3 | 8 vCPU, 30 GB 메모리6 | n1-standard-8 |
m5.2xlarge |
Praefect5 | 3 | 2 vCPU, 1.8 GB 메모리 | n1-highcpu-2 |
c5.large |
Praefect PostgreSQL1 | 1+ | 2 vCPU, 1.8 GB 메모리 | n1-highcpu-2 |
c5.large |
객체 스토리지4 | - | - | - | - |
각주:
- 평판 좋은 제3자 외부 PaaS PostgreSQL 솔루션에서 선택적으로 실행할 수 있습니다. 자세한 내용은 PostgreSQL 인스턴스 제공을 참조하세요.
- 평판 좋은 제3자 외부 PaaS Redis 솔루션에서 선택적으로 실행할 수 있습니다. 자세한 내용은 Redis 인스턴스 제공을 참조하세요.
- 평판 좋은 제3자 로드 밸런서 또는 서비스(LB PaaS)와 함께 실행하는 것이 권장됩니다. 또한 크기는 선택한 로드 밸런서 및 네트워크 대역폭과 같은 추가 요소에 따라 달라집니다. 자세한 내용은 로드 밸런서를 참조하세요.
- 평판 좋은 클라우드 제공업체 또는 자가 관리 솔루션에서 실행해야 합니다. 자세한 내용은 객체 저장소 구성을 참조하세요.
- Gitaly 클러스터는 내결함성의 이점을 제공하지만 설정 및 관리의 추가 복잡성이 발생합니다. Gitaly 클러스터 배포 전 기술적 한계 및 고려 사항 검토를 참조하세요. 샤딩된 Gitaly가 필요한 경우 ‘Gitaly’에 대해 위에 나열된 동일한 사양을 사용하세요.
- Gitaly 사양은 사용 패턴과 양호한 상태의 저장소 크기의 높은 백분위수에 기초합니다. 그러나 대형 모노레포(수 기가바이트 이상) 또는 추가 작업 부하가 있는 경우 Git 및 Gitaly 성능에 상당히 영향을 미칠 수 있으며 추가 조정이 필요할 수 있습니다.
Kubernetes 구성 요소 대상
다음 섹션에서는 Kubernetes에 배포된 GitLab 구성 요소에 사용되는 대상을 자세히 설명합니다.
웹 서비스
각 웹 서비스 팟(Puma 및 Workhorse)은 다음 구성으로 실행하는 것이 권장됩니다:
- 4 Puma Workers
- 4 vCPU
- 5 GB 메모리 (요청)
- 7 GB 메모리 (제한)
100 RPS 또는 5,000 사용자에 대해 총 Puma Worker 수는 약 36개가 권장되므로 최소 9개의 웹 서비스 팟을 실행하는 것이 좋습니다.
웹 서비스 리소스 사용에 대한 추가 정보는 웹 서비스 리소스에서 Charts 문서를 참조하세요.
NGINX
NGINX 컨트롤러 팟을 웹 서비스 노드 전체에 DaemonSet으로 배포하는 것도 권장됩니다. 이는 컨트롤러가 서비스하는 웹 서비스 팟과 함께 동적으로 확장할 수 있게 하여, 일반적으로 더 큰 기계 유형에서 더 높은 네트워크 대역폭의 이점을 누릴 수 있게 합니다.
이는 엄격한 요구 사항은 아닙니다. NGINX 컨트롤러 팟은 웹 트래픽을 처리할 수 있는 충분한 리소스가 있으면 원하는 대로 배포할 수 있습니다.
사이드키크
각 사이드키크 팟은 다음 구성으로 실행하는 것이 권장됩니다:
- 1 사이드키크 워커
- 900m vCPU
- 2 GB 메모리 (요청)
- 4 GB 메모리 (제한)
위의 표준 배포와 유사하게, 초기 목표는 8개의 사이드키크 워커가 사용되었습니다. 특정 워크플로에 따라 추가 워커가 필요할 수 있습니다.
사이드키크 리소스 사용에 대한 추가 정보는 사이드키크 리소스에서 Charts 문서를 참조하세요.
지원
지원 노드 풀은 웹 서비스와 사이드키크 풀에 필요하지 않은 모든 지원 배포를 수용하도록 설계되었습니다.
여기에는 클라우드 공급자의 구현과 관련된 다양한 배포 및 GitLab 셸과 같은 GitLab 지원 배포가 포함됩니다.
컨테이너 레지스트리, 페이지 또는 모니터링과 같은 추가 배포를 원하시면 가능한 경우 지원 풀에 배포하는 것이 권장되며, 웹 서비스 또는 사이드키크 풀에는 배포하지 마세요. 지원 풀은 여러 추가 배포를 수용하도록 특별히 설계되었습니다. 그러나 귀하의 배포가 주어진 풀에 적합하지 않다면, 그에 따라 노드 풀을 늘릴 수 있습니다. 반대로, 귀하의 사용 사례에서 풀이 과도한 경우 그에 따라 줄일 수 있습니다.
예제 구성 파일
위의 100 RPS 또는 5,000 참조 아키텍처 구성을 목표로 하는 GitLab Helm Charts의 예제는 Charts 프로젝트에서 찾을 수 있습니다.
다음 단계
이 가이드를 따른 후 이제 핵심 기능이 적절하게 구성된 새 GitLab 환경을 갖게 되었을 것입니다.
귀하의 요구 사항에 따라 GitLab의 추가 선택적 기능을 구성할 수 있습니다. 자세한 내용은 GitLab 설치 후 단계를 참조하시기 바랍니다.
참고:
귀하의 환경 및 요구 사항에 따라 추가 기능을 설정하기 위해 추가 하드웨어 요구 사항 또는 조정이 필요할 수 있습니다. 자세한 내용은 개별 페이지를 참조하세요.