머신 러닝 모델 실험
- GitLab 15.11에서 실험 릴리즈로 도입된 기능 이름이
ml_experiment_tracking인 플래그가 있습니다. 기본적으로 비활성화되어 있습니다. 기능을 활성화하려면 관리자가ml_experiment_tracking이라는 기능 플래그를 활성화할 수 있습니다.- GitLab 16.2에서 일반 사용 가능.
ACCESS LEVEL:
모델 실험의 가시성 수준은 공개, 비공개 또는 비활성화로 설정할 수 있습니다. 이 옵션은 Settings > General > Visibility, project features, permissions > Model experiments 하에 구성할 수 있습니다. 사용자는 실험 및 후보 데이터 수정 또는 삭제를 위해 최소한 Reporter 역할을 가져야 합니다.
머신 러닝 모델을 생성할 때, 데이터 과학자는 종종 다양한 매개변수, 구성 및 피처 엔지니어링을 실험하여 모델 성능을 개선합니다. 모든 메타데이터와 관련된 아티팩트를 기록해 두는 것은 데이터 과학자가 나중에 실험을 복제할 수 있도록 하는 데 중요합니다. 머신 러닝 실험 추적을 사용하면 그들이 매개변수, 메트릭 및 아티팩트를 GitLab에 직접 기록할 수 있어 나중에 쉽게 접근할 수 있습니다.
다음과 같은 기능이 제안되었습니다:
- 실험 검색
- 후보의 시각적 비교
- GitLab UI를 통해 후보 생성, 삭제 및 업데이트
기능 요청에 대한 내용은 epic 9341을 참조하세요.
실험이란 무엇인가?
프로젝트에서 실험은 비교 가능한 모델 후보의 모음입니다.
실험은 장기간 지속되거나(예: 사용 사례를 나타낼 때)
짧은 기간 동안 지속될 수 있으며(머지 요청에 의해 트리거된 하이퍼파라미터 조정 결과),
대부분 동일한 메트릭으로 측정된 유사한 매개변수 세트를 가진 모델 후보를 보유합니다.
모델 후보
모델 후보는 머신 러닝 모델 훈련의 변형이며, 결국 모델 버전으로 승격될 수 있습니다.
데이터 과학자의 목표는 주어진 메트릭에 따라 최상의 모델 성능을 내는 매개변수 값을 가진 모델 후보를 찾는 것입니다.
일부 예시 매개변수:
- 알고리즘(예: 선형 회귀 또는 결정 트리).
- 알고리즘의 하이퍼파라미터(학습률, 트리 깊이, 에포크 수).
- 포함된 특성.
새로운 실험 및 후보 추적
실험 및 시험은 오직 MLflow 클라이언트 호환성을 통해서만 추적할 수 있습니다.
GitLab을 MLflow 클라이언트의 백엔드로 사용하는 방법에 대한 자세한 내용은 MLflow 클라이언트 호환성을 참조하세요.
모델 후보 탐색
현재 활성 실험 목록을 보려면 https/-/ml/experiments로 이동하거나:
- 왼쪽 사이드바에서 Search or go to를 선택하고 프로젝트를 찾습니다.
- Analyze > Model experiments를 선택합니다.
- 로그된 모든 후보를 메트릭, 매개변수 및 메타데이터와 함께 표시하려면 실험을 선택합니다.
- 후보의 세부정보를 표시하려면 Details를 선택합니다.
로그 아티팩트 보기
시험 아티팩트는 일반 패키지로 저장되며, 모든 제한 사항을 따릅니다. 아티팩트가 후보에 대해 로깅되면 해당 후보에 대해 로깅된 모든 아티팩트가 패키지 레지스트리에 나열됩니다. 후보의 패키지 이름은 ml_experiment_<experiment_id>이며, 여기서 버전은 후보 IID입니다. 아티팩트에 대한 링크는 Experiment Candidates 목록이나 후보 세부정보에서도 접근할 수 있습니다.
CI 정보 보기
- GitLab 16.1에서 도입됨.
후보는 이를 생성한 CI 작업과 연결할 수 있어, 머지 요청, 파이프라인, 그리고 파이프라인을 트리거한 사용자에 대한 빠른 링크를 제공합니다:
도움말