모델 레지스트리

모델 레지스트리는 모델 버전을 관리하는 MLOps 라이프사이클의 구성 요소입니다. 아티팩트만 추적하는 것 이상의 책임이 있으며, 각 모델과 관련된 메타데이터를 추적하는 역할을 합니다. 예를 들어:

  • 성능
  • 매개변수
  • 데이터 계보

데이터 토폴로지

모든 엔터티는 프로젝트에 속하며, 프로젝트에 액세스할 수 있는 사용자만 엔터티와 상호작용할 수 있습니다.

Ml::Model

  • 모델에 대한 일반적인 정보를 보유합니다. 예: 이름 및 설명.
  • 각 모델은 이름이 동일한 기본 Ml::Experiment를 가지고 있으며, 후보가 기록됩니다.
  • 여러 Ml::ModelVersion을 가질 수 있습니다.

Ml::ModelVersion

  • 모델의 버전입니다.
  • 동일한 프로젝트, 이름 및 버전의 Packages::Package에 링크됩니다.
  • 버전은 의미론적 버전 관리를 사용해야 합니다.

Ml::Experiment

  • 비교 가능한 Ml::Candidates의 모음입니다.

Ml::Candidate

  • 모델 버전의 후보입니다.
  • 다양한 매개변수(Ml::CandidateParams)를 가질 수 있으며, 일반적으로 교육 코드에 전달되는 구성 변수들입니다.
  • 여러 성능 지표(Ml::CandidateMetrics)를 가질 수 있습니다.
  • 여러 사용자 정의 메타데이터(Ml::CandidateMetadata)를 가질 수 있습니다.

MLflow 호환성 레이어

데이터 과학자가 GitLab 모델 레지스트리를 더 쉽게 사용할 수 있도록, MLflow 클라이언트에 대한 호환성 레이어를 제공했습니다.

우리는 GitLab과 함께 MLflow 인스턴스를 제공하지 않습니다. 대신, GitLab 자체가 MLflow의 인스턴스로 작용합니다. 이 방법은 데이터를 GitLab 데이터베이스에 저장하여 사용자 신뢰성과 기능을 향상시킵니다. 호환성 레이어에 대한 사용자 문서를 참조하세요.

호환성 레이어는 lib/api/ml/mlflow에서 MLflow REST API를 복제하여 구현되었습니다.

MLflow의 일부 용어는 GitLab에서 다르게 명명됩니다:

  • MLflow Run은 GitLab Candidate입니다.
  • MLflow Registered model은 GitLab Model입니다.

테스트를 위한 설정

MLflow를 GitLab 백엔드와 함께 사용할 스크립트를 테스트하려면:

  1. MLflow를 설치합니다:

    mkdir mlflow-compatibility
cd mlflow-compatibility
pip install mlflow jupyterlab

  2. 디렉터리에서 mlflow_test.py라는 이름의 Python 파일을 만들고, 다음 코드를 추가합니다:

    import mlflow
import os
from mlflow.tracking import MlflowClient

os.environ["MLFLOW_TRACKING_TOKEN"]='<TOKEN>'
os.environ["MLFLOW_TRACKING_URI"]='<your gitlab endpoint>/api/v4/projects/<your project id>/ml/mlflow'

client = MlflowClient()
client.create_experiment("My first experiment")

  3. 스크립트를 실행합니다:

    python mlflow_test.py

  4. 프로젝트 /-/ml/experiments로 이동합니다. 실험이 생성되었어야 합니다.

구현하려는 클라이언트 메서드를 호출하도록 스크립트를 수정할 수 있습니다. 더 완전한 예제를 보려면 GitLab 모델 실험 예제를 참조하세요.