대량으로 테이블에 추가하기
가끔은 한꺼번에 많은 레코드를 저장해야 하는 경우가 있습니다. 이는 컬렉션을 반복하고 각 레코드를 개별적으로 저장하는 것이 비효율적일 수 있습니다. Rails 6에서 insert_all이 도입되면서 GitLab은 ActiveRecord 객체를 대량으로 삽입하는 것이 안전하고 간단해지도록 하는 API 세트를 추가했습니다.
대량 삽입을 위한 ApplicationRecord 준비
모델 클래스가 대량 삽입 API를 활용하려면 먼저 BulkInsertSafe concern을 포함해야 합니다.
class MyModel < ApplicationRecord
# 다른 포함 사항 여기에
# ...
include BulkInsertSafe # 마지막에 이것을 포함시킵니다
# ...
end
BulkInsertSafe concern에는 두 가지 기능이 있습니다.
- 모델 클래스에 대한 확인 작업을 수행하여 대량 삽입과 관련하여 사용할 수 없는 ActiveRecord API를 사용하지 않도록 합니다(아래에서 더 자세히 설명합니다).
- bulk_insert! 및 bulk_upsert!와 같은 새로운 클래스 메서드를 추가하여 한꺼번에 기록을 삽입할 수 있습니다.
bulk_insert! 및 bulk_upsert!로 레코드 삽입
대상 클래스가 BulkInsertSafe에 의한 확인 작업을 통과하면 다음과 같이 ActiveRecord 모델 객체로 이루어진 배열을 삽입할 수 있습니다.
records = [MyModel.new, ...]
MyModel.bulk_insert!(records)
bulk_insert!을 호출하는 경우 항상 새 레코드를 삽입하려고 시도합니다. 대신 기존 레코드를 새 값으로 대체하고 싶다면, 이미 존재하는 레코드를 대체하면서 아직 존재하지 않는 레코드를 삽입할 수 있습니다. 이 경우 bulk_upsert!를 사용할 수 있습니다.
records = [MyModel.new, existing_model, ...]
MyModel.bulk_upsert!(records, unique_by: [:name])
이 예에서 unique_by는 레코드를 고유하게 생각하는 열을 지정하며, 따라서 삽입 이전에 레코드가 이미 존재하는 경우 열의 필드가 existing_model의 필드로 업데이트됩니다. 예를 들어, existing_model에 name 속성이 있고, 동일한 name 값을 가진 레코드가 이미 존재한다면 해당 필드는 existing_model의 필드로 업데이트됩니다.
unique_by 매개변수는 Symbol로도 전달할 수 있으며, 이 경우 열이 고유하게 간주되는 데이터베이스 인덱스를 지정합니다.
MyModel.bulk_insert!(records, unique_by: :index_on_name)
레코드 유효성 검사
bulk_insert! 메서드는 트랜잭션으로 records를 보장하고 삽입 전에 각 레코드에 대한 유효성 검사를 실행합니다. 레코드 중 하나라도 유효하지 않은 경우 오류가 발생하고 트랜잭션이 롤백됩니다. :validate 옵션을 사용하여 유효성 검사를 끌 수 있습니다.
MyModel.bulk_insert!(records, validate: false)
배치 크기 구성
records의 수가 지정된 임계치를 초과하는 경우 삽입은 여러 배치로 발생합니다. 기본 배치 크기는 BulkInsertSafe::DEFAULT_BATCH_SIZE에 정의되어 있습니다. 예를 들어, 기본 임계치가 500으로 가정하면, 950개의 레코드를 삽입하면 크기가 각각 500과 450인 두 배치가 순차적으로 작성됩니다. :batch_size 옵션을 사용하여 기본 배치 크기를 재정의할 수 있습니다.
MyModel.bulk_insert!(records, batch_size: 100)
950개의 레코드를 가정하는 경우, 이는 10개의 배치가 쓰여집니다. 이는 발생하는 INSERT 문장의 수도 영향을 미치므로 코드에 미치는 성능 영향을 메트릭하는 것이 중요합니다. 데이터베이스가 처리해야 하는 INSERT 문장의 수와 각 INSERT의 크기 및 비용 사이에는 트레이드오프가 있습니다.
중복 레코드 처리
bulk_insert!에만 적용됩니다. 기존 레코드를 업데이트하려는 경우에는 bulk_upsert!을 사용하십시오.삽입하려는 일부 레코드가 이미 존재하는 경우 주요 키 충돌이 발생할 수 있습니다. 이 문제를 해결하는 두 가지 방법이 있습니다. 오류를 발생시켜 빠르게 실패하거나 중복 레코드를 건너뛰는 것입니다. bulk_insert!의 기본 동작은 빠르게 실패하고 ActiveRecord::RecordNotUnique 오류를 발생시킵니다.
이를 원치 않는 경우 skip_duplicates 플래그를 사용하여 중복 레코드를 건너뛸 수 있습니다.
MyModel.bulk_insert!(records, skip_duplicates: true)
안전한 대량 삽입 요구 사항
ActiveRecord의 지속성 API의 대부분은 콜백을 중심으로 구축되어 있습니다. 이러한 많은 콜백 중 많은 것은 save 또는 create와 같은 모델 라이프사이클 이벤트에 대응하여 발생합니다. 이러한 콜백은 대량 삽입에 사용할 수 없습니다. 왜냐하면 이들은 각 저장되거나 생성된 인스턴스에 대해 호출되어야 하기 때문입니다. 이벤트 이벤트는 레코드가 대량으로 삽입될 때 발생하지 않으므로 현재 이들의 사용을 방지합니다.
명시적으로 허용된 콜백에 대한 구체적인 정보는 BulkInsertSafe에 정의되어 있습니다. 클래스에서 안전하게 지정되지 않은 콜백을 사용하고 ‘include BulkInsertSafe’를 사용하면 애플리케이션이 오류가 발생합니다.
BulkInsertSafe 대 InsertAll
내부적으로 BulkInsertSafe는 InsertAll에 기반하며, 전자와 후자 중 어느 것을 선택할지 궁금할 수 있습니다. 이 결정을 내리는 데 도움이 되도록 두 클래스 간의 주요 차이점은 아래 표에 나열되어 있습니다.
| 입력 유형 | 입력 유효성 검사 | 배치 크기 지정 | 콜백 우회 가능 | 트랜잭션 | |
|---|---|---|---|---|---|
bulk_insert!
| ActiveRecord 객체 | 예 (선택 사항) | 예 (선택 사항) | 아니오 (안전하지 않은 콜백 사용 방지) | 예 |
insert_all!
| 속성 해시 | 아니오 | 아니오 | 예 | 예 |
요약하면, BulkInsertSafe는 대량 삽입을 일반적인 ActiveRecord 객체와 삽입에 가깝게 이동시킵니다. 그러나 대량으로 원시 데이터를 삽입해야 하는 경우에는 insert_all이 더 효율적입니다.
has_many 관계를 대량으로 삽입
일반적인 사용 사례는 소유자 측의 관계에서 관련 관계의 모음을 저장하는 것입니다. 소유된 관계가 has_many 클래스 메서드를 통해 소유자와 연관되었을 때:
owner = OwnerModel.new(owned_relations: array_of_owned_relations)
# `owned_relations`를 하나씩 저장합니다
owner.save!
이는 array_of_owned_relations이 큰 경우 비효율적으로 각 레코드마다 하나의 INSERT 및 트랜잭션을 발생합니다. 이를 해결하기 위해 BulkInsertableAssociations concern을 사용하여 소유자가 대량 삽입에 안전한 관계를 정의함으로써 이 문제를 해결할 수 있습니다:
class OwnerModel < ApplicationRecord
# 다른 포함 사항 여기에
# ...
include BulkInsertableAssociations # 마지막에 이것을 포함시킵니다
has_many :my_models
end
여기서 my_models는 대량 삽입에 대해 이미 설명한대로 BulkInsertSafe로 선언되어야합니다. 이제 다음과 같이 아직 저장되지 않은 레코드를 삽입할 수 있습니다.
BulkInsertableAssociations.with_bulk_insert do
owner = OwnerModel.new(my_models: array_of_my_model_instances)
# 단일 대량 삽입(여러 배치를 통해)을 사용하여 `my_models`를 저장합니다
owner.save!
end
이 블록에서 BulkInsertSafe가 아닌 관계를 여전히 저장할 수 있습니다. 이들은 블록 외부에서 save를 호출한 것처럼 처리됩니다.
알려진 제한 사항
이러한 API를 사용하는 데는 몇 가지 제한 사항이 있습니다.
- BulkInsertableAssociations:
- 현재 has_many 관계와만 호환됩니다.
- 아직 has_many through: ... 관계를 지원하지 않습니다.
또한, 입력 데이터는 최대 1000개의 레코드로 제한되거나 대량 삽입을 호출하기 전에 이미 분할되어 있어야 합니다. INSERT 문은 단일 트랜잭션에서 실행되므로 대량의 레코드인 경우 데이터베이스 안정성에 부정적인 영향을 미칠 수 있습니다.
도움말