Int 범위 분할

GitLab 16.8에서 소개되었습니다.

설명

Int 범위 분할은 정수 열을 기반으로 큰 테이블을 더 작고 더 관리하기 쉬운 청크로 나누는 기술입니다. 이는 특히 큰 수의 행을 가진 테이블에 대해서 쿼리 성능을 크게 향상시키고 저장 요구 사항을 줄이며 유지 보수 작업을 간단화할 수 있습니다. 이러한 종류의 분할이 잘 작동하려면 대부분의 쿼리가 특정 int 범위 내의 데이터에 액세스해야 합니다.

더 자세히 살펴보면, 간단한 merge_request_diff_files 스키마를 상상해 보십시오:

CREATE TABLE merge_request_diff_files (
  merge_request_diff_id INT NOT NULL,
  relative_order INT NOT NULL,
  PRIMARY KEY (merge_request_diff_id, relative_order));

이제 UI의 일반적인 쿼리가 특정 int 범위 내의 데이터를 표시하는 것으로 상상해 보십시오:

SELECT *
FROM merge_request_diff_files
WHERE merge_request_diff_id > 1 AND merge_request_diff_id < 10
LIMIT 100

merge_request_diff_id 열에 대한 테이블이 분할되어 있다면 기본 테이블은 다음과 같이 보일 것입니다:

CREATE TABLE merge_request_diff_files (
  merge_request_diff_id INT NOT NULL,
  relative_order INT NOT NULL,
  PRIMARY KEY (merge_request_diff_id, relative_order))
PARTITION BY RANGE(merge_request_diff_id);

참고: 분할된 테이블의 기본 키에는 분할 키가 포함되어야 합니다.

테이블에 대한 분할 목록을 가질 수 있으며, 예를 들어 다음과 같습니다:

merge_request_diff_files_1 FOR VALUES FROM (1) TO (20)
merge_request_diff_files_20 FOR VALUES FROM (20) TO (40)
merge_request_diff_files_40 FOR VALUES FROM (40) TO (60)

각 분할은 별도의 물리적 테이블이며, 기본 merge_request_diff_files 테이블과 동일한 구조를 가지지만 해당 범위 내에 있는 행 데이터만 포함합니다. 예를 들어, 분할 merge_request_diff_files_1에는 merge_request_diff_id 열의 값이 1 이상 20 미만인 행 데이터가 포함됩니다.

이제 이전 예시 쿼리를 다시 살펴보면, 데이터베이스는 WHERE를 사용하여 모든 일치하는 행이 merge_request_diff_files_1 분할에 있는 것을 인식할 수 있습니다. 모든 분할의 모든 데이터를 검색하는 대신에 대량의 데이터 액세스를 현저히 줄일 수 있습니다.

예제

단계 1: 분할된 사본 만들기 (릴리스 N)

첫 번째 단계는 원본 테이블의 분할된 사본을 만드는 마이그레이션을 추가하는 것입니다. 이 마이그레이션은 원본 테이블의 데이터를 기반으로 적절한 분할을 만들고, 원본 테이블로부터의 쓰기를 분할된 사본으로 동기화하는 트리거를 설치합니다.

예를 들어, merge_request_diff_commits 테이블을 그의 merge_request_diff_id 열로 분할하는 마이그레이션은 다음과 같이 보일 것입니다:

class PartitionMergeRequestDiffCommits < Gitlab::Database::Migration[2.1]
  include Gitlab::Database::PartitioningMigrationHelpers

  disable_ddl_transaction!

  def up
    partition_table_by_int_range(
      'merge_request_diff_commits', 
      'merge_request_diff_id', 
      partition_size: 10_000_000,
      primary_key: %w[merge_request_diff_id relative_order]
    )
  end

  def down
    drop_partitioned_table_for('merge_request_diff_commits')
  end
end

이것이 실행된 이후에는 원본 테이블의 모든 삽입, 업데이트 또는 삭제가 새 테이블에도 복제됩니다. 업데이트 및 삭제의 경우, 해당 행이 분할된 테이블에 존재하는 경우에만 작업이 영향을 미칩니다.

단계 2: 분할된 사본에 데이터 채우기 (릴리스 N)

두 번째 단계는 원본 테이블에서 기존 데이터를 분할된 사본으로 백필하는 백그라운드 작업을 예약하는 포스트 배포 마이그레이션을 추가하는 것입니다.

위의 예에서, 해당 마이그레이션은 다음과 같이 보일 것입니다:

class BackfillPartitionMergeRequestDiffCommits < Gitlab::Database::Migration[2.2]
  include Gitlab::Database::PartitioningMigrationHelpers

  마일스톤 '16.10'

  disable_ddl_transaction!

  restrict_gitlab_migration gitlab_schema: :gitlab_main

  def up
    enqueue_partitioning_data_migration :merge_request_diff_commits
  end

  def down
    cleanup_partitioning_data_migration :merge_request_diff_commits
  end
end

이 단계는 BATCH_SIZE 및 SUB_BATCH_SIZE가 50,000 및 2,500로 내부적으로 일괄 배경 마이그레이션을 예약합니다. 자세한 내용은 일괄 배경 마이그레이션 가이드를 참조하십시오.

단계 3: 백필 후 정리 (릴리스 N+1)

이 단계는 단계 (2)를 포함하는 릴리스 이후에 최소한 한 번 발생해야 합니다. 이것은 자체 관리 설치에서 백그라운드 마이그레이션이 올바르게 실행되도록 충분한 시간을 제공합니다. 이 단계에서는 단계 (2)에서의 백그라운드 마이그레이션 이후에 정리하는 또 다른 포스트 배포 마이그레이션을 추가하는 것입니다. 이는 남아 있는 작업들이 강제로 실행되도록 하고, 삭제되거나 실패한 작업으로 인해 놓칠 수도 있는 데이터를 복사하는 것을 포함합니다.

경고: 단계 (2)와 (3) 사이에 필요한 일시 중지가 필요합니다. 단계 (2)의 백그라운드 마이그레이션이 성공적으로 완료되도록 해야 합니다.

한 예로 다시 예를 들면, 해당 마이그레이션은 다음과 같이 보일 것입니다:

class CleanupPartitionMergeRequestDiffCommitsBackfill < Gitlab::Database::Migration[2.1]
  include Gitlab::Database::PartitioningMigrationHelpers

  disable_ddl_transaction!

  restrict_gitlab_migration gitlab_schema: :gitlab_main

  def up
    finalize_backfilling_partitioned_table :merge_request_diff_commits
  end

  def down
    # no op
  end
end

이 마이그레이션이 완료되면, 원본 테이블과 분할된 테이블은 동일한 데이터를 포함해야 합니다. 원본 테이블에 설치된 트리거는 이후에도 데이터가 동기화되는 것을 보장합니다.

단계 4: 분할된 테이블과 비분할된 테이블 교체 (릴리스 N+1)

이 단계는 다른 모든 마이그레이션 단계가 성공적으로 완료된 후에만 사용해야 합니다.

이 방법의 몇 가지 제한 사항은 교체 마이그레이션을 시작하기 전이나 시작 중에 처리해야 합니다:

보조 인덱스 및 외래 키는 자동으로 분할된 테이블에 다시 생성되지 않습니다.
일부 유형의 제약 조건 (고유 및 EXCLUDE)은 인덱스에 의존하는데 자동으로 분할된 테이블에서 다시 생성되지 않습니다. 말단 인덱스가 존재하지 않기 때문입니다.
비분할된 원본 테이블을 참조하는 외래 키는 분할된 테이블을 참조하도록 업데이트되어야 합니다. 이것은 PostgreSQL 11에서는 지원되지 않습니다.
원본 테이블을 참조하는 뷰는 자동으로 분할된 테이블을 참조하도록 업데이트되지 않습니다.

# frozen_string_literal: true

class SwapPartitionMergeRequestDiffCommits < ActiveRecord::Migration[6.0]
  include Gitlab::Database::PartitioningMigrationHelpers

  def up
    replace_with_partitioned_table :audit_events
  end

  def down
    rollback_replace_with_partitioned_table :audit_events
  end
end

이 마이그레이션이 완료되면:

분할된 테이블이 비분할된 (원본) 테이블로 교체됩니다.
이전에 만든 싱크 트리거가 삭제됩니다.

분할된 테이블은 이제 애플리케이션에서 사용할 준비가 되었습니다.

Int 범위 분할

설명

예제

단계 1: 분할된 사본 만들기 (릴리스 N)

단계 2: 분할된 사본에 데이터 채우기 (릴리스 N)

단계 3: 백필 후 정리 (릴리스 N+1)

단계 4: 분할된 테이블과 비분할된 테이블 교체 (릴리스 N+1)

도움말

기능 사용 가능성과 제품 평가판

도움받기