머신 러닝 모델 실험

Tier: Free, Premium, Ultimate Offering: GitLab.com, Self-managed, GitLab Dedicated
note
모델 실험 추적은 실험적 기능입니다. 피드백 및 기능 요청은 https://gitlab.com/gitlab-org/gitlab/-/issues/381660을 참조하세요.

접속 권한: 모델 실험 가시성 수준을 공개, 비공개 또는 비활성화로 설정할 수 있습니다. 이 옵션은 설정 > 일반 > 가시성, 프로젝트 기능, 권한 > 모델 실험에서 구성할 수 있습니다. 사용자는 적어도 기자 역할이어야 합니다. 실험 및 후보 데이터를 수정하거나 삭제할 수 있습니다.

머신 러닝 모델을 만들 때, 데이터 과학자들은 종종 모델의 성능을 향상시키기 위해 다양한 매개변수, 구성 및 피처 엔지니어링으로 실험을 진행합니다. 나중에 데이터 과학자가 실험을 재현할 수 있도록 모든 메타데이터와 관련 피처를 추적하는 것은 간단하지 않습니다. 머신 러닝 실험 추적을 통해 데이터 과학자는 매개변수, 메트릭 및 아티팩트를 GitLab에 직접 기록하여 추후 쉽게 접근할 수 있습니다.

다음과 같은 기능이 제안되었습니다:

  • 실험 검색.
  • 후보 비교의 시각적 표현.
  • GitLab UI를 통한 후보 생성, 삭제 및 업데이트.

기능 요청은 epic 9341를 참조하세요.

실험이란?

프로젝트에서 실험은 비교 가능한 모델 후보들의 집합입니다. 실험은 오랜 기간 유지될 수도 있습니다(예: 사용 사례를 나타낼 때), 또는 (Merge Request으로 트리거된 하이퍼파라미터 튜닝에서의 결과와 같이) 짧게 유지될 수도 있지만, 보통 동일한 메트릭으로 메트릭된 유사한 매개변수를 가진 모델 후보를 보유합니다.

실험 디렉터리

모델 후보

모델 후보는 머신 러닝 모델의 훈련의 변형으로, 최종적으로 모델의 버전으로 승격될 수 있습니다.

실험 후보

데이터 과학자의 목표는 제시된 메트릭에 따라 최상의 모델 성능으로 이끄는 매개변수 값을 가진 모델 후보를 찾는 것입니다.

후보 상세 정보

일부 예제 매개변수:

  • 알고리즘(예: 선형 회귀 또는 의사 결정 트리).
  • 알고리즘의 하이퍼파라미터(학습률, 트리 깊이, 에포크 수).
  • 포함된 피처.

새로운 실험 및 후보 추적

실험 및 시행은 MLflow 클라이언트 호환성을 통해서만 추적될 수 있습니다. MLflow 클라이언트 호환성에 대한 자세한 내용은 MLflow 클라이언트 호환성을 참조하세요.

모델 후보 살펴보기

현재 활성화된 실험을 나열하려면, https/-/ml/experiments로 이동하거나 다음 단계를 따르세요:

  1. 왼쪽 사이드바에서 검색 또는 이동을 선택하고 프로젝트를 찾으세요.
  2. 분석 > 모델 실험을 선택하세요.
  3. 로그를 기록한 모든 후보들과 그들의 메트릭, 매개변수 및 메타데이터를 표시하려면 실험을 선택하세요.
  4. 후보의 세부 정보를 표시하려면 세부 정보를 선택하세요.

로그 아티팩트 보기

시행 아티팩트는 일반 패키지로 저장되며, 모든 제한사항을 따릅니다. 후보를 위해 아티팩트가 기록된 후, 후보에 대해 기록된 모든 아티팩트가 패키지 레지스트리에 나열됩니다. 후보의 패키지 이름은 ml_experiment_<실험_아이디>이며, 버전은 후보 IID입니다. 아티팩트로의 링크는 실험 후보 디렉터리 또는 후보 세부 정보에서도 액세스할 수 있습니다.

CI 정보 보기

후보는 그들을 생성한 CI 작업과 연결될 수 있어서, 해당 작업이 트리거한 Merge Request, 파이프라인 및 사용자로 빠른 링크를 제공합니다.

후보 세부 정보의 CI 정보

관련 주제