GitLab의 파일 저장소

CarrierWave 젬을 사용하여 파일 업로드, 저장 및 검색을 처리합니다.

파일 업로드는 작업말로 가속화되어야 하며 자세한 내용은 업로드 개발 설명서를 참조하십시오.

파일 업로드가 사용되는 많은 장소가 있으며 해당되는 맥락에 따라 다릅니다:

  • 시스템
    • 인스턴스 로고 (로그인/가입 페이지에 표시되는 로고)
    • 헤더 로고 (내비게이션 바에 표시된 로고)
  • 그룹
    • 그룹 아바타
  • 사용자
    • 사용자 아바타
    • 사용자 코드 조각 첨부 파일
  • 프로젝트
    • 프로젝트 아바타
    • 이슈/MR/노트 마크다운 첨부 파일
    • 이슈/MR/노트 레거시 마크다운 첨부 파일
    • CI 아티팩트 (아카이브, 메타데이터, 추적)
    • LFS 오브젝트
    • 머지 리퀘스트 차이
    • 디자인 관리 디자인 섬네일
  • 주제
    • 주제 아바타

디스크 저장소

GitLab은 모든 것을 로컬 디스크에 저장하기 시작했습니다. 이전 버전에서 디렉터리 위치가 변경되었지만 여전히 100% 표준화되지는 않았습니다. 아래에서 확인할 수 있습니다:

설명 DB 내용 상대 경로 (CarrierWave.root부터) 업로더 클래스 모델 타입
인스턴스 로고 uploads/-/system/appearance/logo/:id/:filename AttachmentUploader Appearance
헤더 로고 uploads/-/system/appearance/header_logo/:id/:filename AttachmentUploader Appearance
그룹 아바타 uploads/-/system/group/avatar/:id/:filename AvatarUploader Group
사용자 아바타 uploads/-/system/user/avatar/:id/:filename AvatarUploader User
사용자 코드 조각 첨부 파일 uploads/-/system/personal_snippet/:id/:random_hex/:filename PersonalFileUploader Snippet
프로젝트 아바타 uploads/-/system/project/avatar/:id/:filename AvatarUploader Project
주제 아바타 uploads/-/system/projects/topic/avatar/:id/:filename AvatarUploader Topic
이슈/MR/노트 마크다운 첨부 파일 uploads/:hash_project_id/:random_hex/:filename FileUploader Project
이슈/MR/노트 레거시 마크다운 첨부 파일 아니요 uploads/-/system/note/attachment/:id/:filename AttachmentUploader Note
디자인 관리 디자인 섬네일 uploads/-/system/design_management/action/image_v432x230/:id/:filename DesignManagement::DesignV432x230Uploader DesignManagement::Action
CI 아티팩트 (CE) shared/artifacts/:disk_hash[0..1]/:disk_hash[2..3]/:disk_hash/:year_:month_:date/:job_id/:job_artifact_id (:disk_hashproject_id의 SHA256 다이제스트입니다.) JobArtifactUploader Ci::JobArtifact
LFS 오브젝트 (CE) shared/lfs-objects/:hex/:hex/:object_hash LfsObjectUploader LfsObject
외부 머지 리퀘스트 차이 shared/external-diffs/merge_request_diffs/mr-:parent_id/diff-:id ExternalDiffUploader MergeRequestDiff
이슈어블 메트릭 이미지 uploads/-/system/issuable_metric_image/file/:id/:filename IssuableMetricImageUploader IssuableMetricImage

CI 아티팩트 및 LFS 오브젝트는 CE와 EE에서 다르게 작동합니다. CE에서는 GitlabUploader를 상속하고 EE에서는 ObjectStorage를 상속하여 S3 API 호환 오브젝트 저장소에 파일을 저장합니다.

마크다운에서 이슈, 머지 리퀘스트(MR) 및 노트에 대한 첨부 파일은 해시 저장소를 사용하여 프로젝트 ID의 해시와 함께 사용됩니다.

모든 업로드를 한 번에 객체 저장소로 마이그레이션하려면 올인원 레이크 태스크를 사용하십시오. 새로운 업로더 클래스 또는 모델 타입이 도입된 경우 카테고리 목록에 해당하는 레이크 태스크 호출을 추가해야 합니다.

경로 세그먼트

파일은 여러 위치에 저장되며 다양한 경로 체계를 사용합니다. 모든 GitlabUploader 파생 클래스는이 경로 세그먼트 스키마를 준수해야 합니다:

|   GitlabUploader
| ----------------------- + ------------------------- + --------------------------------- + -------------------------------- |
| `<gitlab_root>/public/` | `uploads/-/system/`       | `user/avatar/:id/`                | `:filename`                      |
| ----------------------- + ------------------------- + --------------------------------- + -------------------------------- |
| `CarrierWave.root`      | `GitlabUploader.base_dir` | `GitlabUploader#dynamic_segment`  | `CarrierWave::Uploader#filename` |
|                         | `CarrierWave::Uploader#store_dir`                             |                                  |

|   FileUploader
| ----------------------- + ------------------------- + --------------------------------- + -------------------------------- |
| `<gitlab_root>/shared/` | `artifacts/`              | `:year_:month/:id`                | `:filename`                      |
| `<gitlab_root>/shared/` | `snippets/`               | `:secret/`                        | `:filename`                      |
| ----------------------- + ------------------------- + --------------------------------- + -------------------------------- |
| `CarrierWave.root`      | `GitlabUploader.base_dir` | `GitlabUploader#dynamic_segment`  | `CarrierWave::Uploader#filename` |
|                         | `CarrierWave::Uploader#store_dir`                             |                                  |
|                         |                           | `FileUploader#upload_path`                                           |

|   ObjectStore::Concern (store = remote)
| ----------------------- + ------------------------- + ----------------------------------- + -------------------------------- |
| `<bucket_name>`         | <ignored>                 | `user/avatar/:id/`                  | `:filename`                      |
| ----------------------- + ------------------------- + ----------------------------------- + -------------------------------- |
| `#fog_dir`              | `GitlabUploader.base_dir` | `GitlabUploader#dynamic_segment`    | `CarrierWave::Uploader#filename` |
|                         |                           | `ObjectStorage::Concern#store_dir`  |                                  |
|                         |                           | `ObjectStorage::Concern#upload_path`                                   |

RecordsUploads::ConcernGitlabUploader에 의해 저장된 모든 파일에 대한 Upload 항목을 생성하며 GitlabUploader#dynamic_path를 사용하여 경로의 동적 부분을 영구화합니다. 그런 다음 Upload#build_uploader 메서드를 사용하여 파일을 조작할 수 있습니다.

객체 저장소

GitlabUploader 파생 클래스에 ObjectStorage::Concern을 포함시킴으로써, 이 업로더에 대해 객체 저장소를 활성화할 수 있습니다. 객체 저장소를 활성화하려면 업로더에서 다음 중 하나를 수행해야 합니다: 1) RecordsUpload::Concern을 포함하고 ObjectStorage::Extension::RecordsUploads를 prepend하거나 2) 업로더를 마운트하고 <mount>_store라는 새로운 필드를 생성해야 합니다.

CarrierWave::Uploader#store_dir은 다음과 같이 오버라이드됩니다.

  • 저장소가 LOCAL일 때: GitlabUploader.base_dir + GitlabUploader.dynamic_segment
  • 저장소가 REMOTE일 때: GitlabUploader.dynamic_segment (버킷 이름이 네임스페이스로 사용됨)

ObjectStorage::Extension::RecordsUploads 사용

이 concern은 이미 포함되어 있지 않은 경우 RecordsUploads::Concern을 포함합니다.

ObjectStorage::Concern 업로더는 올바른 객체 저장소를 선택하기 위해 해당 Upload를 검색합니다. 각 저장소(LOCAL/REMOTE)마다 #store_dirs + identifier를 사용하여 Upload가 매핑됩니다.

class SongUploader < GitlabUploader
  include RecordsUploads::Concern
  include ObjectStorage::Concern
  prepend ObjectStorage::Extension::RecordsUploads

  ...
end

class Thing < ActiveRecord::Base
  mount :theme, SongUploader # 멋진 테마 송이 있어요!

  ...
end

마운트된 업로더 사용

ObjectStorage::Concern은 올바른 객체 저장소를 선택하기 위해 model.<mount>_store 속성을 쿼리합니다. 이 칼럼은 모델 스키마에 반드시 존재해야 합니다.

class SongUploader < GitlabUploader
  include ObjectStorage::Concern

  ...
end

class Thing < ActiveRecord::Base
  attr_reader :theme_store # 이것은 ActiveRecord 속성입니다.
  mount :theme, SongUploader # 멋진 테마 송이 있어요!

  def theme_store
    super || ObjectStorage::Store::LOCAL
  end

  ...
end