• 실험이란 무엇인가요?
• 모델 후보자
• 새 실험과 후보 추적
• 모델 후보자들 살펴보기
• 로깅 아티팩트 보기
• CI 정보보기
• 관련 주제

머신러닝 모델 실험

• 이슈로 소개된 것은 GitLab 15.11에서 실험 릴리스로 선언되었으며 ml_experiment_tracking로 이름 붙은 플래그와 함께 기본적으로 비활성화됐습니다. 기능을 활성화하려면 관리자가 ml_experiment_tracking 피쳐 플래그를 활성화해야 합니다.
• GitLab 16.2에서 일반적으로 사용 가능합니다.

접근 수준:
모델 실험들의 가시성 수준을 공개, 비공개 또는 비활성화로 설정할 수 있습니다. 이 옵션은 Settings > General > Visibility, project features, permissions > Model experiments에서 구성할 수 있습니다. 사용자는 모델 실험을 수정하거나 삭제하려면 적어도 Reporter role이 있어야 합니다.

머신러닝 모델을 생성할 때, 데이터 과학자들은 종종 모델의 성능을 향상시키기 위해 다양한 매개변수, 구성 및 피처 엔지니어링으로 실험합니다. 이 모든 메타데이터와 관련된 아티팩트를 추적하여 데이터 과학자가 나중에 실험을 복제할 수 있도록 하는 것은 간단하지 않습니다. 머신러닝 실험 추적을 통해 그들은 매개변수, 메트릭 및 아티팩트를 GitLab에 직접 기록하여 나중에 쉽게 액세스할 수 있습니다.

다음 기능이 제안되었습니다:

• 실험 검색.
• 후보자들의 비교.
• GitLab UI를 통한 후보자 생성, 삭제 및 업데이트.

기능 요청은 epic 9341을 참조하세요.

실험이란 무엇인가요?

프로젝트에서 실험은 비교 가능한 모델 후보들의 집합입니다. 실험은 오래 지속될 수도 있으며(예: 사용 사례를 나타내는 경우), 혹은 빠르게 종료될 수도 있습니다(병합 요청에 의해 트리거된 하이퍼 파라미터 조정 결과). 하지만 보통 동일한 메트릭으로 측정된 유사한 매개변수 세트를 가진 모델 후보들을 담고 있습니다.

모델 후보자

모델 후보자란 머신러닝 모델의 훈련의 변형으로, 결국 모델의 한 버전으로 승격될 수 있는 것입니다.

데이터 과학자의 목표는 지정된 메트릭에 의해 표시된 대로 매개변수 값이 가장 좋은 모델 성능을 보여주는 모델 후보자를 찾는 것입니다.

일부 예제 매개변수:

• 알고리즘 (예: 선형 회귀 또는 의사 결정 트리).
• 알고리즘을 위한 하이퍼파라미터 (학습률, 트리 깊이, 에포크 수).
• 포함된 피처.

새 실험과 후보 추적

실험과 시험은 MLflow 클라이언트 호환성을 통해서만 추적될 수 있습니다. MLflow 클라이언트 호환성에 대한 자세한 내용은 MLflow 클라이언트 호환성을 참조하세요.

모델 후보자들 살펴보기

현재 활성 상태인 실험을 나열하려면 https/-/ml/experiments로 이동하거나:

1. 왼쪽 사이드바에서 검색 또는 이동을 선택하고 프로젝트를 찾습니다.
2. 분석 > 모델 실험을 선택합니다.
3. 기록된 모든 후보자를 표시하고 그들의 메트릭, 매개변수 및 메타데이터와 함께 선택된 실험을 표시합니다.
4. 후보자에 대한 세부 정보를 표시하려면 세부 정보를 선택합니다.

로깅 아티팩트 보기

시험 아티팩트는 일반 패키지로 저장되며 모든 한계를 따릅니다. 한 후보자에 대한 아티팩트가 기록된 후, 해당 후보자에 대한 모든 아티팩트가 패키지 레지스트리에 나열됩니다. 후보자에 대한 패키지 이름은 ml_experiment_<experiment_id>이며, 버전은 후보자 IID입니다. 아티팩트로의 링크는 실험 후보자 목록이나 후보자 세부 정보에서도 액세스할 수 있습니다.

CI 정보보기

• 16.1에서 선별되었습니다.

후보자들은 그들을 작성한 CI 작업과 연결될 수 있어서, 빠른 링크를 통해 병합 요청, 파이프라인 및 파이프라인을 트리거한 사용자에게 빠르게 액세스할 수 있습니다:

관련 주제

• epic 8560에 개발 세부 사항이 있습니다.
• issue 381660에 피드백을 추가하세요.