Self-hosted 대규모 언어 모델 배포
Tier: 한정 기간 동안 Ultimate. 2024년 10월 17일, GitLab Duo Enterprise와 함께 Ultimate으로 제공됨.
Offering: Self-managed
Status: Beta
- GitLab 17.1에서
ai_custom_model이라는 플래그로 함께 소개됨. 기본으로 비활성화됨.
플래그: 이 기능은 피처 플래그에 의해 제어됩니다. 자세한 정보는 히스토리를 참조하십시오.
Self-hosted 모델을 배포할 때 다음을 수행할 수 있습니다:
- 기업 호스팅 대규모 언어 모델 (LLM)을 위한 요청의 end-to-end 전송 관리 (GitLab Duo 기능).
- 모든 이러한 요청을 기업 네트워크 내에 유지하여 외부 아키텍처로의 호출을 보증.
- GitLab 인스턴스, AI 게이트웨이, 그리고 Self-hosted 모델을 고유의 환경 내에 격리시켜 AI 기능 사용시 완벽한 개인 정보 보호와 높은 보안을 보장하며, 공공 서비스에 의존하지 않음.
Self-hosted 모델을 사용할 때:
- GitLab이 승인한 LLM을 선택할 수 있습니다.
- 모든 데이터 및 요청/응답 로그를 자체 도메인에 보관할 수 있습니다.
- 특정 GitLab Duo 기능을 사용자에게 제공할 수 있습니다.
- GitLab 공유 AI 게이트웨이에 의존할 필요가 없습니다.
지원되는 모델을 LLM 기능에 연결할 수 있습니다. 모델별 프롬프트 및 GitLab Duo 기능 지원은 GitLab Duo Self-Hosted Models 기능에서 제공됩니다. 이 제공에 대한 자세한 내용은 구독 및 Blueprint을 참조하십시오.
전제 조건
- 자체 LLM 인프라를 관리할 수 있어야 합니다.
- GitLab Enterprise Edition이 있어야 합니다.
Self-hosted 모델 배포
Self-hosted 대규모 언어 모델을 배포하려면 다음을 수행하십시오:
- Self-hosted 모델 인프라 구성 및 GitLab 인스턴스에 연결합니다.
- 인스턴스 및 그룹 설정을 사용하여 GitLab 인스턴스에서 self-hosted 모델에 액세스하도록 구성합니다.
기본적인 GitLab AI 공급업체 구조와 비교한 Self-hosted 모델
%%{init: { "fontFamily": "GitLab Sans" }}%%
sequenceDiagram
actor User
participant GitLab
participant AIGateway as AI Gateway
participant SelfHostedModel as Self Hosted Model
participant CloudConnector as Cloud Connector
participant GitLabAIVendor as GitLab AI Vendor
User ->> GitLab: 요청 전송
GitLab ->> GitLab: self-hosted 모델이 구성되어 있는지 확인
alt Self-hosted 모델이 구성된 경우
GitLab ->> AIGateway: 프롬프트 생성 및 요청 전송
AIGateway ->> SelfHostedModel: AI 모델에 대한 API 요청 수행
SelfHostedModel -->> AIGateway: 프롬프트에 응답
AIGateway -->> GitLab: AI 응답 전달
else
GitLab ->> CloudConnector: 프롬프트 생성 및 요청 전송
CloudConnector ->> GitLabAIVendor: AI 모델에 대한 API 요청 수행
GitLabAIVendor -->> CloudConnector: 프롬프트 응답
CloudConnector -->> GitLab: AI 응답 전달
end
GitLab -->> User: AI 응답 전달
도움말