Database Lab 및 Postgres.ai
GitLab의 내부 사용자는 Database Lab Engine (DLE) 및 postgres.ai에 액세스하여 복제된 프로덕션 데이터에서 데이터베이스 쿼리의 성능을 테스트할 수 있습니다. 전형적인 읽기 전용 프로덕션 복제본과 달리 DLE에서는 데이터 행을 만들거나 업데이트하거나 삭제할 수도 있습니다. 또한 프로덕션 데이터의 격리된 복사본에서 추가적인 인덱스나 열과 같은 스키마 변경의 성능도 테스트할 수 있습니다.
Database Lab 빠른 시작
- 콘솔을 방문.
- Google로 로그인을 선택합니다. (GitLab이 아니라 프로젝트와 연결하려면 Google SSO가 필요합니다.)
- 로그인한 후에 GitLab 조직을 선택하고 사이드바에서 “Ask Joe”를 방문합니다.
- 테스트할 데이터베이스를 선택합니다:
- GitLab 프로젝트의 대부분의 쿼리는
gitlab-production-main
에서 실행됩니다. - CI 테이블에 대한 쿼리라면
gitlab-production-ci
를 선택합니다. - 컨테이너 레지스트리에 대한 쿼리라면
gitlab-production-registry
를 선택합니다.
- GitLab 프로젝트의 대부분의 쿼리는
- 채팅 상자에
explain <쿼리 텍스트>
를 입력하여 계획을 확인합니다.
Database Lab Engine 액세스하기
DLE에 액세스하는 것은 다음과 같은 경우에 유용합니다:
- 데이터베이스 검토자 및 유지 보수자.
- 데이터베이스에 큰 영향을 미치는 Merge Request을 작업하는 엔지니어.
DLE의 서비스에 액세스하려면 다음을 수행할 수 있습니다:
- Postgres.ai 웹 콘솔에서 쿼리 테스트를 수행합니다. 직원은 GitLab Google 계정으로 두 서비스에 액세스할 수 있습니다. 쿼리 테스트를 통해 여기에서 실행한 쿼리의
EXPLAIN
(분석, 버퍼) 계획을 제공받습니다. - Merge Request의 일환으로 작업을 트리거하여 마이그레이션 테스트를 수행합니다.
- 허가된 사용자만이 프로덕션 복제본이 아닌 DLE에 대한 직접적인
psql
액세스를 제공받습니다.psql
액세스를 요청하려면 액세스 요청을 제출하세요.
더 많은 지원이 필요한 경우 #database
Slack 채널을 사용하세요.
쿼리 테스트
Database Lab의 쿼리 분석 기능에는 다음 위치에서 액세스할 수 있습니다:
- Postgres.ai 웹 콘솔에서. 실행한 명령만 표시됩니다.
쿼리 계획 생성하기
쿼리 계획은 데이터베이스 검토 프로세스의 중요한 부분입니다. 이러한 계획을 통해 우리는 주어진 쿼리가 GitLab.com에서 성능을 발휘할 수 있는지 빠르게 판단할 수 있습니다. explain
명령을 실행하면 explain
계획이 생성되고 보다 구체적인 쿼리 분석을 제공하는 Postgres.ai 콘솔로의 링크가 제공됩니다. 예를 들어 EXPLAIN SELECT * FROM application_settings
를 실행하면 다음이 수행됩니다:
- 데이터베이스 복제본에서
explain (analyze, buffers) select * from application_settings;
을 실행합니다. - 실행에 소요된 시간과 버퍼 세부 정보로 응답합니다.
- 결과에 대한 상세한 공유 가능한 리포트를 제공.
스키마 변경하기
가끔씩 쿼리를 테스트하는 중에 기여자는 추가된 쿼리를 성능적으로 더 향상시키기 위해 인덱스나 다른 스키마 변경이 필요하다는 것을 깨달을 수 있습니다. 쿼리를 테스트하려면 exec
명령을 실행하세요. 예를 들어, 다음 명령을 실행합니다:
exec CREATE INDEX on application_settings USING btree (instance_administration_project_id)
이 명령은 지정된 테이블에 지정된 인덱스를 만듭니다. 새로운 인덱스를 활용하여 쿼리를 테스트할 수 있습니다. exec
는 결과를 반환하지 않고 쿼리 실행에 소요된 시간만 제공합니다.
복제본 재설정하기
파괴적인 쿼리나 효과적이지 못한 인덱스와 같은 여러 변경 사항을 가했을 경우에는 복제본을 초기화해야 합니다. 지정된 복제본을 재설정하려면 reset
을 실행하세요.
인덱스 확인하기
Database Lab을 사용하여 메타 명령 \d <index_name>
으로 인덱스의 상태를 확인할 수 있습니다.
- 인덱스는
main
및ci
데이터베이스에 모두 생성되므로 테이블의gitlab_schema
와 일치하는 인스턴스를 사용해야 합니다. 예를 들어, 인덱스가ci_builds
에 추가된 경우gitlab-production-ci
를 사용하세요. - Database Lab은 일반적으로 몇 시간의 미세한 지연이 있습니다. 더 최신의 정보가 필요한 경우, Teleport를 통해 복제본에 액세스를 요청할 수 있습니다.
예를 들어, \d index_design_management_designs_on_project_id
를 실행하면 다음과 같습니다:
Index "public.index_design_management_designs_on_project_id"
Column | Type | Key? | Definition
------------+---------+------+------------
project_id | integer | yes | project_id
btree, for table "public.design_management_designs"
유효하지 않은 인덱스인 경우 출력은 invalid
로 끝납니다.
인덱스가 없는 경우 JoeBot은 다음과 같은 오류를 표시합니다:
ERROR: psql error: psql:/tmp/psql-query-932227396:1: error: Did not find any relation named "no_index".
마이그레이션 테스트
마이그레이션 테스트에 대한 자세한 내용은 데이터베이스 마이그레이션 테스트 문서를 참조하세요.
psql
을 사용하여 콘솔에 액세스하기
psql
액세스를 얻으려면 psql
액세스가 필요합니다.Database Lab 인스턴스에 액세스하려면 다음을 수행해야 합니다:
- 액세스 요청을 제출하세요.
-
chef-repo에 사용자 데이터 백 엔트리가 있어야 합니다. 여기에는 SSH 키와
db-lab
역할이 포함되어 있어야 합니다. - 다음과 같이
ssh
를 구성하세요:
Host lb-bastion.db-lab.gitlab.com
User ${USER}
IdentitiesOnly yes
IdentityFile ~/.ssh/ed25519
Host *.gitlab-db-lab.internal
User ${USER}
PreferredAuthentications publickey
IdentitiesOnly yes
IdentityFile ~/.ssh/ed25519
ProxyCommand ssh lb-bastion.db-lab.gitlab.com -W %h:%p
Postgres.ai 인스턴스 페이지를 통한 매뉴얼 액세스
psql
액세스를 가진 팀 멤버는 psql
을 통해 복제본에 직접 액세스할 수 있습니다. psql
액세스를 얻으면 메타데이터뿐만 아니라 데이터도 볼 수 있습니다.
psql
을 사용하여 복제본에 연결하려면 다음을 수행하세요:
-
원하는 인스턴스에서 복제본을 생성합니다.
-
클론 ID를 제공합니다:
yourname-testing-gitlabissue
와 같이 고유하게 식별할 수 있는 값. -
데이터베이스 사용자 이름 및 데이터베이스 비밀번호을 제공합니다. 이것으로
psql
을 복제본에 연결합니다. - 복제본을 유지해야 하는 경우 삭제 보호 사용을 선택합니다. 이 옵션을 선택하지 않도록 주의합니다. 복제본은 12시간 후에 제거됩니다.
-
클론 ID를 제공합니다:
- Postgres.ai 웹 인터페이스의 클론 세부 정보 페이지에서 SSH 포트 포워딩을 시작하는 명령을 복사하여 실행합니다.
- Postgres.ai 웹 인터페이스의 클론 세부 정보 페이지에서
psql
연결 문자열을 복사하여 실행합니다. 설정시 제공된 비밀번호를 사용하고dbname
을gitlabhq_dblab
로 설정합니다(psql -l
을 사용하여 동일한 쿼리 문자열로dbname=postgres
을 사용하여 사용가능한 데이터베이스를 확인합니다).
연결한 후에는 복제본을 프로덕션 환경에서의 psql
콘솔과 같이 사용할 수 있지만, 격리된 쓰기 환경의 추가적인 이점과 안전성을 가집니다.
pgai
Ruby gem을 통한 간소화된 액세스
pgai
젬은 아직 새로운 데이터베이스 랩 인스턴스를 사용하도록 업데이트되지 않았으므로, 이 도구를 사용하여 기존 인스턴스에만 액세스할 수 있습니다.pgai
Ruby gem을 사용하는 방법은 다음을 참조하십시오: pgai Ruby gem을 사용한 Database Lab 액세스.