자체 호스팅 대규모 언어 모델 배포

Tier: For a limited time, Ultimate. On October 17, 2024, Ultimate with GitLab Duo Enterprise.
Offering: Self-managed
Status: Beta
  • 도입됨 GitLab 17.1에서 ai_custom_model이라는 플래그와 함께 도입됨. 기본적으로 비활성화됨.

이 기능의 사용 가능성은 기능 플래그에 의해 제어됩니다.

자세한 내용은 기록을 참조하세요.

자체 호스팅 모델을 배포하면 다음을 수행할 수 있습니다:

  • GitLab Duo 기능을 위한 엔터프라이즈 호스팅 대규모 언어 모델(LLM) 백엔드에 대한 요청의 엔드 투 엔드 전송을 관리합니다.
  • 모든 요청을 해당 엔터프라이즈 네트워크 내에 유지하여 외부 아키텍처에 대한 호출이 없도록 보장합니다.
  • GitLab 인스턴스, AI 게이트웨이 및 자체 호스팅 모델을 자체 환경 내에서 격리하여 AI 기능 사용에 대한 완전한 프라이버시와 높은 보안을 보장하며, 공공 서비스에 의존하지 않습니다.

자체 호스팅 모델을 사용할 때:

  • GitLab 승인 LLM을 선택할 수 있습니다.
  • 모든 데이터와 요청/응답 로그를 자신 도메인에 보관할 수 있습니다.
  • 사용자에 대한 특정 GitLab Duo 기능을 선택할 수 있습니다.
  • GitLab 공유 AI 게이트웨이에 의존할 필요가 없습니다.

지원되는 모델을 LLM 기능에 연결할 수 있습니다. 모델별 프롬프트 및 GitLab Duo 기능 지원은 GitLab Duo 자체 호스팅 모델 기능에서 제공됩니다. 이 제공에 대한 자세한 내용은
구독 및
청사진을 참조하세요.

전제 조건

  • 자신의 LLM 인프라를 관리할 수 있어야 합니다.
  • GitLab Enterprise Edition을 보유하고 있어야 합니다.

자체 호스팅 모델 배포

자체 호스팅 대규모 언어 모델을 배포하려면:

  1. 자체 호스팅 모델 인프라 설치 및 이를 GitLab 인스턴스에 연결합니다.
  2. 자체 호스팅 모델에 접근하기 위해 GitLab 인스턴스를 구성합니다.

기본 GitLab AI 공급자 아키텍처와 비교한 자체 호스팅 모델

%%{init: { "fontFamily": "GitLab Sans" }}%% sequenceDiagram actor User participant GitLab participant AIGateway as AI Gateway participant SelfHostedModel as Self Hosted Model participant CloudConnector as Cloud Connector participant GitLabAIVendor as GitLab AI Vendor User ->> GitLab: 요청 전송 GitLab ->> GitLab: 자체 호스팅 모델이 구성되었는지 확인 alt 자체 호스팅 모델 구성됨 GitLab ->> AIGateway: 프롬프트 생성 및 요청 전송 AIGateway ->> SelfHostedModel: AI 모델에 API 요청 수행 SelfHostedModel -->> AIGateway: 프롬프트에 응답 AIGateway -->> GitLab: AI 응답 전달 else GitLab ->> CloudConnector: 프롬프트 생성 및 요청 전송 CloudConnector ->> GitLabAIVendor: AI 모델에 API 요청 수행 GitLabAIVendor -->> CloudConnector: 프롬프트에 응답 CloudConnector -->> GitLab: AI 응답 전달 end GitLab -->> User: AI 응답 전달