목록 파티션

GitLab 15.4에서 소개.

설명

테이블에 파티션 키 열을 추가하십시오. 다음 제약 조건에 파티션 키를 포함하십시오.

기본 키.
테이블을 파티션하는 외래 키 모두.
모든 고유 제약 조건.

예제

단계 1 - 파티션 키 추가

파티션 키 열을 추가하십시오. 예를 들어, 레일즈 마이그레이션에서:

class AddPartitionNumberForPartitioning < Gitlab::Database::Migration[2.1]
  enable_lock_retries!

  TABLE_NAME = :table_name
  COLUMN_NAME = :partition_id
  DEFAULT_VALUE = 100

  def change
    add_column(TABLE_NAME, COLUMN_NAME, :bigint, default: 100)
  end
end

단계 2 - 필수 인덱스 생성

파티션 키 열을 포함하여 인덱스를 추가하십시오. 예를 들어, 레일즈 마이그레이션에서:

class PrepareIndexesForPartitioning < Gitlab::Database::Migration[2.1]
  disable_ddl_transaction!

  TABLE_NAME = :table_name
  INDEX_NAME = :index_name

  def up
    add_concurrent_index(TABLE_NAME, [:id, :partition_id], unique: true, name: INDEX_NAME)
  end

  def down
    remove_concurrent_index_by_name(TABLE_NAME, INDEX_NAME)
  end
end

단계 3 - 고유 제약 조건 실행

파티션 키 열을 포함하여 모든 고유 인덱스를 변경하십시오. 기본 키 인덱스를 포함합니다. 다음 예제와 같이, 레일즈 마이그레이션에서:

class PrepareUniqueContraintForPartitioning < Gitlab::Database::Migration[2.1]
  disable_ddl_transaction!

  TABLE_NAME = :table_name
  OLD_UNIQUE_INDEX_NAME = :index_name_unique
  NEW_UNIQUE_INDEX_NAME = :new_index_name

  def up
    add_concurrent_index(TABLE_NAME, [:id, :partition_id], unique: true, name: NEW_UNIQUE_INDEX_NAME)

    remove_concurrent_index_by_name(TABLE_NAME, OLD_UNIQUE_INDEX_NAME)
  end

  def down
    add_concurrent_index(TABLE_NAME, :id, unique: true, name: OLD_UNIQUE_INDEX_NAME)

    remove_concurrent_index_by_name(TABLE_NAME, NEW_UNIQUE_INDEX_NAME)
  end
end

단계 4 - 외래 키 제약 조건 실행

파티션 키 열을 포함하여 외래 키를 실행하십시오. 예를 들어, 레일즈 마이그레이션에서:

class PrepareForeignKeyForPartitioning < Gitlab::Database::Migration[2.1]
  disable_ddl_transaction!

  SOURCE_TABLE_NAME = :source_table_name
  TARGET_TABLE_NAME = :target_table_name
  COLUMN = :foreign_key_id
  TARGET_COLUMN = :id
  FK_NAME = :fk_365d1db505_p
  PARTITION_COLUMN = :partition_id

  def up
    add_concurrent_foreign_key(
      SOURCE_TABLE_NAME,
      TARGET_TABLE_NAME,
      column: [PARTITION_COLUMN, COLUMN],
      target_column: [PARTITION_COLUMN, TARGET_COLUMN],
      validate: false,
      on_update: :cascade,
      name: FK_NAME
    )

    # 이는 고트래픽 테이블을 다룰 때 별도의 후 마이그레이션에서 수행되어야 합니다.
    validate_foreign_key(TABLE_NAME, [PARTITION_COLUMN, COLUMN], name: FK_NAME)
  end

  def down
    with_lock_retries do
      remove_foreign_key_if_exists(SOURCE_TABLE_NAME, name: FK_NAME)
    end
  end
end

on_update: :cascade 옵션은 파티션 열을 업데이트하려면 필수입니다. 이 옵션을 지정하지 않으면 대상 테이블에서 파티션 열을 업데이트 하면 키가 아직 ... 테이블에서 참조되고 있습니다 오류가 발생하고 원본 테이블에서 파티션 열을 업데이트하면 키가 ... 테이블에 없습니다 오류가 발생합니다.

이 마이그레이션은 다음을 사용하여 자동으로 생성될 수 있습니다:

./scripts/partitioning/generate-fk --source source_table_name --target target_table_name

단계 5 - 기본 키 교체

파티션 키 열을 포함하여 기본 키를 교체하십시오. 이는 참조 외래 키에 파티션 키가 포함된 후에만 실행할 수 있습니다. 예를 들어, 레일즈 마이그레이션에서:

class PreparePrimaryKeyForPartitioning < Gitlab::Database::Migration[2.1]
  disable_ddl_transaction!

  TABLE_NAME = :table_name
  PRIMARY_KEY = :primary_key
  OLD_INDEX_NAME = :old_index_name
  NEW_INDEX_NAME = :new_index_name

  def up
    swap_primary_key(TABLE_NAME, PRIMARY_KEY, NEW_INDEX_NAME)
  end

  def down
    add_concurrent_index(TABLE_NAME, :id, unique: true, name: OLD_INDEX_NAME)
    add_concurrent_index(TABLE_NAME, [:id, :partition_id], unique: true, name: NEW_INDEX_NAME)

    unswap_primary_key(TABLE_NAME, PRIMARY_KEY, OLD_INDEX_NAME)

    # 필요한 경우 참조외래 키를 다시 추가해야 합니다. 예: https://gitlab.com/gitlab-org/gitlab/-/merge_requests/113725/diffs
  end
end

참고: ActiveRecord는 복합 기본 키를 지원하지 않으므로 모델에서 명시적으로 기본 키를 설정해야 합니다.

class Model < ApplicationRecord
  self.primary_key = :id
end

단계 6 - 부모 테이블을 생성하고 기존 테이블을 초기 파티션으로 연결

이제 데이터베이스 팀에서 제공하는 다음 도우미를 사용하여 부모 테이블을 생성하고 기존 테이블을 초기 파티션으로 연결할 수 있습니다.

예를 들어, Rails 포스트 마이그레이션에서 리스트 파티셔닝을 사용하는 경우:

class PrepareTableConstraintsForListPartitioning < Gitlab::Database::Migration[2.1]
  include Gitlab::Database::PartitioningMigrationHelpers::TableManagementHelpers

  disable_ddl_transaction!

  TABLE_NAME = :table_name
  PARENT_TABLE_NAME = :p_table_name
  FIRST_PARTITION = 100
  PARTITION_COLUMN = :partition_id

  def up
    prepare_constraint_for_list_partitioning(
      table_name: TABLE_NAME,
      partitioning_column: PARTITION_COLUMN,
      parent_table_name: PARENT_TABLE_NAME,
      initial_partitioning_value: FIRST_PARTITION
    )
  end

  def down
    revert_preparing_constraint_for_list_partitioning(
      table_name: TABLE_NAME,
      partitioning_column: PARTITION_COLUMN,
      parent_table_name: PARENT_TABLE_NAME,
      initial_partitioning_value: FIRST_PARTITION
    )
  end
end

class ConvertTableToListPartitioning < Gitlab::Database::Migration[2.1]
  include Gitlab::Database::PartitioningMigrationHelpers::TableManagementHelpers

  disable_ddl_transaction!

  TABLE_NAME = :table_name
  TABLE_FK = :table_references_by_fk
  PARENT_TABLE_NAME = :p_table_name
  FIRST_PARTITION = 100
  PARTITION_COLUMN = :partition_id

  def up
    convert_table_to_first_list_partition(
      table_name: TABLE_NAME,
      partitioning_column: PARTITION_COLUMN,
      parent_table_name: PARENT_TABLE_NAME,
      initial_partitioning_value: FIRST_PARTITION,
      lock_tables: [TABLE_FK, TABLE_NAME]
    )
  end

  def down
    revert_converting_table_to_first_list_partition(
      table_name: TABLE_NAME,
      partitioning_column: PARTITION_COLUMN,
      parent_table_name: PARENT_TABLE_NAME,
      initial_partitioning_value: FIRST_PARTITION
    )
  end
end

참고: 모델에서 시퀀스 이름을 명시적으로 설정해야 합니다. 왜냐하면 라우팅 테이블에 의해 소유되기 때문에 ActiveRecord가 이를 결정할 수 없습니다. 이 작업은 ‘table_name’이 라우팅 테이블로 변경된 후 정리될 수 있습니다.

class Model < ApplicationRecord
  self.sequence_name = 'model_id_seq'
end

파티션 제약 조건 마이그레이션이 10분 이상 걸릴 경우, 바쁜 시간에 포스트 마이그레이션을 실행하지 않기 위해 비동기로 실행되도록 변경할 수 있습니다.

다음 마이그레이션을 앞에 덧붙이고 async: true 옵션을 사용하세요. 이 변경으로 파티션 제약 조건이 NOT VALID로 표시되고 주말에 테이블의 기존 데이터를 유효성 검사하기 위한 예약된 작업이 큐에 등록됩니다.

그런 다음 두 번째 포스트 마이그레이션 PrepareTableConstraintsForListPartitioning은 기존 데이터가 이미 이전 주말에 테스트되었기 때문에 파티션 제약 조건을 검증한 것으로 표시합니다.

예를 들어:

class AsyncPrepareTableConstraintsForListPartitioning < Gitlab::Database::Migration[2.1]
  include Gitlab::Database::PartitioningMigrationHelpers::TableManagementHelpers

  disable_ddl_transaction!

  TABLE_NAME = :table_name
  PARENT_TABLE_NAME = :p_table_name
  FIRST_PARTITION = 100
  PARTITION_COLUMN = :partition_id

  def up
    prepare_constraint_for_list_partitioning(
      table_name: TABLE_NAME,
      partitioning_column: PARTITION_COLUMN,
      parent_table_name: PARENT_TABLE_NAME,
      initial_partitioning_value: FIRST_PARTITION,
      async: true
    )
  end

  def down
    revert_preparing_constraint_for_list_partitioning(
      table_name: TABLE_NAME,
      partitioning_column: PARTITION_COLUMN,
      parent_table_name: PARENT_TABLE_NAME,
      initial_partitioning_value: FIRST_PARTITION
    )
  end
end

단계 7 - 외래 키를 부모 테이블에 재지정

초기 파티션을 참조하는 테이블은 이제 부모 테이블을 가리키도록 업데이트해야 합니다. 이 변경사항이 없으면 해당 테이블의 레코드는 초기 파티션에 위치한 행을 찾지 못할 것입니다.

단계:

파티셔닝된 테이블에 외래 키를 추가하고 비동기적으로 유효성을 검증하세요, 예시를 참고하세요.
GitLab.com에서 비동기적 유효성 검사가 완료된 후, 동기적으로 유효성을 검증하세요, 예시를 참고하세요.
이전 외래 키를 제거하고 새로운 외래 키의 이름을 이전 이름으로 변경하세요, 예시를 참고하세요.

단계 8 - 파티션 간 ID 고유성 보장

모든 고유성 제약조건은 파티션 키를 포함해야 하므로 파티션 간에 중복된 ID가 있을 수 있습니다. 이를 해결하기 위해 ID 값을 설정하는 데 데이터베이스만이 가능하도록 하고, 일련번호를 사용하여 고유한 값을 생성하도록 보장합니다.

예를 들면:

class EnsureIdUniquenessForPCiBuilds < Gitlab::Database::Migration[2.1]
  include Gitlab::Database::PartitioningMigrationHelpers::UniquenessHelpers

  enable_lock_retries!

  TABLE_NAME = :p_ci_builds
  SEQ_NAME = :ci_builds_id_seq

  def up
    ensure_unique_id(TABLE_NAME, seq: SEQ_NAME)
  end

  def down
    revert_ensure_unique_id(TABLE_NAME, seq: SEQ_NAME)
  end
end

단계 9 - 파티션된 테이블 분석 및 새 파티션 생성

autovacuum 데몬은 파티션된 테이블을 처리하지 않습니다. 테이블 계층 구조의 통계를 최신 상태로 유지하기 위해 주기적으로 수동 ANALYZE를 실행해야 합니다.

Ci::Partitionable을 구현하는 모델의 경우 partitioned: true 옵션으로 기본적으로 매주 분석됩니다. 이를 활성화하고 새 파티션을 생성하려면 PostgreSQL 초기화기에 모델을 등록해야 합니다.

단계 10 - 애플리케이션을 파티션된 테이블을 사용하도록 업데이트

이제 부모 테이블이 준비되었으므로 애플리케이션을 사용하도록 업데이트할 수 있습니다:

class Model < ApplicationRecord
  self.table_name = :partitioned_table
end

모델에 따라, 변경 관리 이슈를 사용하는 것이 더 안전할 수 있습니다.