머신러닝 모델 실험
- GitLab 15.11에서 실험 릴리즈로 도입되었습니다. 기본적으로 비활성화된
ml_experiment_tracking이라는 플래그와 함께 제공됩니다. 이 기능을 활성화하려면 관리자가ml_experiment_tracking이라는 피처 플래그를 활성화할 수 있습니다.- GitLab 16.2에서 일반적으로 사용 가능하게 되었습니다.
ACCESS LEVEL:
모델 실험 가시성 레벨을 공개, 비공개 또는 비활성화로 설정할 수 있습니다. 이 옵션은 설정 > 일반 > 가시성, 프로젝트 기능, 권한 > 모델 실험에서 구성할 수 있습니다. 사용자는 모델 실험 및 후보 데이터를 수정하거나 삭제하려면 적어도 보고자 역할이 있어야 합니다.
머신러닝 모델을 생성할 때, 데이터 과학자들은 종종 모델의 성능을 향상시키기 위해 다양한 매개변수, 구성 및 피처 엔지니어링을 실험합니다. 데이터 과학자가 후에 실험을 복제할 수 있도록 이 모든 메타데이터와 관련 항목을 추적하는 것은 간단하지 않습니다. 머신러닝 실험 추적을 통해 사용자는 매개변수, 메트릭 및 아티팩트를 GitLab에 직접 기록하여 나중에 쉽게 액세스할 수 있습니다.
다음 기능이 제안되었습니다.
- 실험 검색
- 후보자의 시각적 비교
- GitLab UI를 통한 후보자 생성, 삭제 및 업데이트
피처 요청은 에픽 9341을 참조하세요.
실험이란?
프로젝트에서 실험은 비교 가능한 모델 후보의 모음입니다. 실험은 오래 지속될 수도 있으며(예: 사용 사례를 나타낼 때), 혹은 머지 요청에 의해 트리거된 하이퍼파라미터 조정 결과와 같이 짧게 유지될 수도 있지만, 보통 동일한 메트릭으로 메트릭된 유사한 매개변수를 가진 모델 후보를 보유합니다.
모델 후보
모델 후보는 머신러닝 모델의 학습의 변형으로, 최종적으로 모델의 버전으로 승격될 수 있습니다.
데이터 과학자의 목표는 주어진 메트릭에 의해 지시된 대로 최상의 모델 성능을 나타내는 매개변수 값을 찾는 것입니다.
일부 예제 매개변수:
- 알고리즘(선형 회귀 또는 결정 트리 등)
- 알고리즘의 하이퍼파라미터(학습률, 트리 깊이, 에포크 수)
- 포함된 피처
새로운 실험과 후보자 추적
실험 및 시험은 MLflow 클라이언트 호환성을 통해서만 추적할 수 있습니다. MLflow 클라이언트 호환성에 대한 자세한 내용은 MLflow 클라이언트 호환성을 참조하세요.
모델 후보 탐색
현재 활성화된 실험 디렉터리을 보려면 /ml/experiments로 이동하거나 다음 단계를 따르세요:
- 왼쪽 사이드 바에서 검색 또는 이동을 선택하고 프로젝트를 찾습니다.
- 분석 > 모델 실험을 선택합니다.
- 로그인된 모든 후보자를 표시하려면 해당 실험을 선택합니다.
- 후보자에 대한 세부 정보를 표시하려면 세부정보를 선택합니다.
로그 아티팩트 보기
시험 아티팩트는 일반 패키지로 저장되며 해당 모든 제한사항을 따릅니다. 후보자의 아티팩트가 로그된 후에 해당 후보자에 대한 모든 아티팩트가 패키지 레지스트리에 나열됩니다. 후보자의 패키지 이름은 ml_experiment_<experiment_id>이고, 버전은 후보자 IID입니다. 아티팩트에 대한 링크는 실험 후보 디렉터리 또는 후보자 상세정보에서도 액세스할 수 있습니다.
CI 정보 보기
- 16.1에서 도입되었습니다
후보자는 그들을 생성한 CI 작업과 관련시켜 원활하게 머지 요청, 파이프라인 및 해당 파이프라인을 트리거한 사용자로의 빠른 링크를 허용합니다:
도움말