GitLab Duo 용어집

이것은 GitLab에서 일반적인 의미를 가질 수 있는 용어들의 디렉터리입니다. GitLab에서 기술적인 암호와 연관된 용어가 있다고 생각되면 해당 디렉터리에 추가하세요!

• Adapters: Fine Tuning의 변형입니다. 모델을 열어 레이어 가중치를 조정하는 대신, 새롭게 훈련된 레이어가 모델에 추가되거나 상위 독립 모델에 호스팅됩니다. 어댑터 기반 모델로도 알려져 있습니다. 전체 모델을 아닌 특정 모듈을 적절히 조정함으로써, 어댑터는 사전에 훈련된 모델을 특정 작업에 맞게 사용자 정의하는 것을 용이하게 합니다. 이 방법을 사용하면 모델의 기초 구조를 변경하지 않으면서 모델을 정밀하게 작업별로 조정할 수 있습니다.
• AI Gateway: 비-SaaS GitLab 사용자에게 AI 기능 액세스를 제공하기 위해 사용되는 독립형 서비스입니다. 이 로직은 해당 서비스가 준비되면 Cloud Connector로 이동될 것입니다. 최종적으로 AI Gateway는 GitLab Rails 모놀리식가 서드파티 대형 언어 모델과 직접 통합하고 통신할 필요 없이, AI 제공업체로의 요청을 프록시하는 엔드포인트를 호스팅하는 데 사용될 것입니다. 블루프린트.
• 에어갭트 모델: 조직의 내부망에만 있는 호스팅된 모델입니다. GitLab AI 기능 관련 문맥에서는 에어갭트 GitLab 인스턴스에 연결될 수 있습니다.
• Bring Your Own Model (BYOM): 하나 이상의 GitLab Duo 기능에 연결되는 제3자 모델입니다. 오픈 소스 모델, 세밀하게 조정된 모델 또는 폐쇄 소스 모델일 수 있습니다. GitLab은 특정하게 유효한 BYOM을 지원할 계획이지만, 일반적인 BYOM 사용에 대한 현재 지원 계획은 없습니다.
• 챗평가: GitLab Duo 챗의 도움과 정확성을 자동으로 평가하는 메커니즘입니다. MVC는 Chat에 일련의 질문을 하고 두 가지 다른 제3자 LLM이 생성된 답변이 정확한지 여부를 결정하는 RSpec 테스트를 GitLab CI를 통해 실행합니다. 다음 이터레이션에 대한 디자인 문서.
• Cloud Connector: GitLab 배포, 인스턴스 및 셀에서 공통 서비스에 액세스하는 방법으로, 모든 GitLab 고객에게 이러한 서비스를 제공하기 위해 사용되는 기술적 솔루션 및 API 세트를 일컬음. 자세한 정보는 Cloud Connector architecture를 참조하세요.
• 폐쇄 소스 모델: 조직이 독자적으로 세밀하게 조정하거나 처음부터 작성한 비공개 모델입니다. 예: ChatGPT와 같은 클라우드 서비스에 호스팅될 수 있습니다.
• 사실 검증: 데이터 포인트, 이벤트 또는 정보를 둘러싼 관련 정보로, 그 의미와 함의를 명확히 하는 데 도움이 되는 정보입니다. GitLab Duo 챗의 경우, 상황은 사용자 질문에 언급된 이슈나 에픽 관련 특성입니다.
• 사용자 정의 모델: BYOM, 세밀하게 조정된 모델, RAG 향상 모델 또는 어댑터 기반 모델을 사용하여 GitLab Duo 기능을 구현하는 모든 구현을 의미합니다.
• 임베딩: 기계 학습 및 대형 언어 모델의 맥락에서, 임베딩은 단어, 구절 또는 전체 문서를 연속적 벡터 공간에서 밀집 수치 벡터로 나타내는 기술을 참조합니다. GitLab에서는 GitLab 문서의 벡터 표현을 생성하기 위해 Vertex AI의 Embeddings API를 사용하여 사용됩니다. 이러한 임베딩은 embeddings 데이터베이스의 vertex_gitlab_docs 테이블에 저장되며, vector 확장을 사용하여 PostgreSQL에서 임베딩 검색이 수행됩니다. 최신 버전의 GitLab 문서를 기반으로 일일 시간대의 Llm::Embedding::GitlabDocumentation::CreateEmbeddingsRecordsWorker 크론 작업을 실행하여 업데이트됩니다.
• 세밀 조정: 특정 작업(코드 완성 또는 채팅과 같은)에 대한 LLM의 가중치를 업데이트하기 위한 지도되는 학습 프로세스를 사용하여 기존 모델을 변경하는 것입니다.
• 동결 모델: 세밀하게 조정되지 않은 모델(Locked LLM)입니다.
• GitLab Duo: GitLab DevSecOps 플랫폼 전반에 걸쳐 AI 지원 기능입니다. 이러한 기능은 소프트웨어 개발 수명주기 전반에 걸친 주요 고통점을 해결하고 작업 속도를 증가시키는 데 목표를 두고 있습니다. 또한 GitLab Duo 기능 페이지를 참조하세요.
• GitLab 관리 모델: GitLab이 관리하는 LLM입니다. 현재 모든 GitLab 관리 모델은 외부에서 호스팅되며 AI Gateway를 통해 액세스됩니다. GitLab 소유의 API 키를 사용하여 이러한 모델에 액세스됩니다.
• 골든 질문: 사용자가 GitLab Duo 챗에 물어볼 수 있는 유형의 질문의 작은 하위 집합입니다. 챗 평가 데이터를 생성하는 데 사용됩니다. 챗 베타용 질문.
• Ground Truth: 주어진 입력에 대한 실제 출력으로 결정된 데이터로, AI 모델이 학습하고 예측하기를 원하는 현실을 나타냅니다. Ground truth 데이터는 종종 사람이 주석을 달거나 LLM이 특정 사용 사례에 대해 알려진 우수한 출력을 가지고 있을 수 있습니다.
• 로컬 모델: 사용자의 워크스테이션에서 실행되는 LLM입니다. 자세한 정보.
• LLM: 대규모 언어 모델인 LLM은 인간과 유사한 텍스트를 이해하고 생성하도록 훈련된 매우 대규모의 신경망입니다. GitLab Duo 기능의 경우, GitLab은 현재 Google과 Anthropic에서 호스팅된 동결 모델과 협업하고 있습니다.
• 모델 검증: Prompt Library 작업을 수행하는 AI 파워ed단계 내의 그룹으로, GitLab Duo 기능을 지원하는 AI 검증을 지원하며 다른 AI 사용 사례를 지원하기 위해 AI/ML 모델을 연구합니다. 팀 핸드북 섹션
• 오프라인 모델: 인터넷 또는 내부망 연결 없이 실행되는 모델입니다(예: 비행기에서 노트북에서 모델을 실행 중인 경우).
• 오픈 소스 모델: 소스 코드 및 가중치와 함께 게시되며 수정 및 재배포할 수 있는 모델입니다. 예: Llama / Llama 2, BLOOM, Falcon, Mistral, Gemma.
• 프롬프트 라이브러리: “프롬프트 라이브러리”는 LLM과 다양한 프롬핑 기술을 테스트하기 위한 CLI를 제공하는 Python 라이브러리입니다. Apache Beam을 사용한 데이터플로우 파이프라인의 관리와 실행 기능을 제공하며, 단일 파이프라인 실행에서 여러 평가 실험의 실행을 지원합니다. 다양한 제3자 AI 서비스를 사용한 프롬프트와 관련하여 데이터 기반 개선을 용이하게 합니다. 코드.
• 프롬프트 레지스트리: 쌓이고 버전 관리된 프롬프트로, 제3자 AI 서비스와 상호 작용할 때 사용됩니다. 블루프린트.
• 프롬프트: 특정 작업을 수행하기 위해 LLM에 보내지는 자연어 명령입니다. 프롬프트 가이드라인 참조.
• RAG (검색 보강 생성): RAG는 결과를 개인화하기 위해 LLM에 추가적 맥락 데이터를 제공하는 쿼리의 일환으로 사용됩니다. RAG는 환상을 줄이고 출력의 품질을 향상시키기 위해 프롬프트에 추가적인 맥락을 주입하기 용도로 사용됩니다.
• RAG 파이프라인: 입력(예: 사용자 질문)을 시스템으로 보내고 해당 입력에 대한 관련 데이터를 검색하고 해당 입력에 추가적인 맥락을 증강시킨 다음, 정보를 합성하여 일관된 맥락에 맞는 답변을 생성하는 장치입니다. 이 디자인 패턴은 LLM을 사용한 오픈 도메인 질문에 답하는 데 유용하며, 이것이 바로 GitLab Duo 챗에 대한 질문에 답변하기 위해 이 디자인 패턴을 사용하는 이유입니다.
• 자체 호스팅 모델: 조직에서 GitLab AI 기능과 상호작용하도록 GitLab 외부에서 호스팅하는 LLM입니다.
• 유사성 점수: LLM이 생성한 답변과 참고 기준 실제 답변 사이의 유사성을 결정하는 수학적 방법입니다. 해당 메트릭에 대해서는 Model Validation direction page를 참조하세요.
• 도구: 특정 LLM 관련 작업을 수행하는 로직으로, 각 도구에는 설명과 해당 도구의 프롬프트가 있습니다. 새 도구 추가하는 방법 참조.
• 단어 수준 메트릭: LLM 평가를 위한 단어 수준에서 텍스트의 측면을 비교하는 방법입니다. 모델 검증 팀 이슈.
• 제로샷 에이전트: 훈련 단계에서 해당 작업의 어떠한 예제도 본 적이 없더라도 작업을 수행할 수 있는 학습 모델 또는 시스템입니다. GitLab에서는 GitLab Duo 챗의 사용자 입력을 해석하기 위한 LLM을 알록달록한 항공 교통 관제사처럼 기능하는코드 조각을 가리키는 데 이 용어를 사용합니다. GitLab 제로샷 에이전트는 LLM이 질문에 대답하기 위해 어떤 도구를 사용할지를 결정하는 시스템 프롬프트와 도구 설명 디렉터리과 함께 사용됩니다. 이 정보를 사용하여 에이전트는 질문에 대한 답변에 도구가 필요한지 여부를 결정합니다. 도구가 사용될 경우, 도구에서의 답변은 충분한지 아니면 질문에 답변하기 위해 추가적인 도구를 사용해야 하는지를 평가하기 위해 제로샷 에이전트로 다시 제공됩니다 코드. 제로샷 에이전트 작동 중.