GitLab을 구성하여 자체 호스팅 모델에 접근하기

Tier: For a limited time, Ultimate. On October 17, 2024, Ultimate with GitLab Duo Enterprise.
Offering: Self-managed
Status: Beta
  • 도입됨 GitLab 17.1에서 ai_custom_model이라는 플래그와 함께. 기본적으로 비활성화되어 있습니다.

이 기능의 사용 가능성은 기능 플래그로 제어됩니다.
자세한 내용은 이력서를 참조하세요.

자체 호스팅 모델에 접근할 수 있도록 GitLab 인스턴스를 구성하려면:

  1. 자체 호스팅 모델을 구성합니다.
  2. 자체 호스팅 모델을 사용하기 위해 GitLab Duo 기능을 구성합니다.

자체 호스팅 모델 구성하기

전제 조건:

  • 관리자가 되어야 합니다.

자체 호스팅 모델을 구성하려면:

  1. 왼쪽 사이드바에서 하단의 Admin을 선택합니다.
  2. AI-powered features를 선택합니다.
    • AI-powered features 메뉴 항목이 없는 경우, 구매 후 구독을 동기화합니다:
      1. 왼쪽 사이드바에서 Subscription을 선택합니다.
      2. Subscription details에서 Last sync 오른쪽의 구독 동기화( ).
  3. Models를 선택합니다.
  4. New self-hosted model을 선택합니다.
  5. 필드를 작성합니다:
    • 예를 들어, 모델 이름을 입력합니다, Mistral.
    • Model family 드롭다운 목록에서 모델을 선택합니다. GitLab 승인 모델만 이 목록에 있습니다.
    • Endpoint에는 자체 호스팅 모델 엔드포인트를 선택합니다. 예를 들어, 모델을 호스팅하는 서버입니다.
    • 선택 사항. API token에는 모델에 접근하는 데 필요하면 API 키를 추가합니다.
    • 선택 사항. Model identifier에는 모델이 호스팅되는 클라우드 제공업체와 해당 모델의 이름을 입력합니다 (예: anthropic/claude-3-5-sonnet-20240620).
  6. Create model을 선택합니다.

GitLab Duo 기능을 구성하여 자체 호스팅 모델 사용하기

전제 조건:

  • 관리자가 되어야 합니다.

구성된 기능 보기

  1. 왼쪽 사이드바에서 하단의 Admin을 선택합니다.
  2. AI-powered features를 선택합니다.
    • AI-powered features 메뉴 항목이 없는 경우, 구매 후 구독을 동기화합니다:
      1. 왼쪽 사이드바에서 Subscription을 선택합니다.
      2. Subscription details에서 Last sync 오른쪽의 구독 동기화( ).
  3. Features를 선택합니다.

기능을 자체 호스팅 모델을 사용하도록 구성하기

구성된 자체 호스팅 모델에 쿼리를 보내도록 GitLab Duo 기능을 구성합니다:

  1. Features에서 설정하려는 기능을 선택하고 Edit를 선택합니다.
    예: Code Generation.
  2. 기능에 대한 모델 제공업체를 선택합니다:
    • 목록에서 Self-Hosted Model을 선택합니다.
    • 사용하고 싶은 자체 호스팅 모델을 선택합니다, 예: Mistral.
  3. Save Changes를 선택합니다.

GitLab AI Vendor 모델을 사용하도록 기능 구성하기

GitLab AI 공급업체를 GitLab Duo 기능의 모델 제공업체로 선택할 수 있습니다.
그런 다음 기능은 GitLab Cloud Connector를 통해 GitLab 호스팅 모델을 사용합니다:

  1. Features에서 설정하려는 기능을 선택하고 Edit를 선택합니다.
  2. 기능의 모델 제공업체 목록에서 AI Vendor를 선택합니다.
  3. Save Changes를 선택합니다.