GitLab Duo 용어집

이것은 일반적인 의미를 갖고 있을 수도 있지만 GitLab에서는 특정한 의미를 가질 수 있는 용어 디렉터리입니다. AI와 관련된 기술 용어가 포함될 경우 여기에 추가해 보세요!

• AI Gateway: AI 기능에 대한 액세스를 비-SaaS GitLab 사용자에게 제공하는 독립적인 서비스. 이 로직은 Cloud Connector가 준비되면 해당 서비스로 이동될 것입니다. AI Gateway는 결국 GitLab Rails 모놀리식가 직접 제3자 LLM과 통합하고 통신하는 필요성을 제거하며 AI 제공업체에 대한 요청을 프록시하는 엔드포인트를 호스팅하기 위해 사용될 것입니다. 블루프린트.
• Chat Evaluation: GitLab Duo Chat의 도움이 되는 정도와 정확성을 결정하는 자동화된 메커니즘. MVC는 Chat에 일련의 질문을 하고 두 가지 다른 제3자 LLM이 생성된 답변이 정확한지 여부를 결정하는 GitLab CI를 통해 실행되는 RSpec 테스트입니다. MVC. 다음 반복에 대한 설계 문서](https://gitlab.com/gitlab-org/gitlab/-/merge_requests/136127).
• Cloud Connector: 여러 GitLab 배포, 인스턴스 및 셀에서 공통 서비스에 액세스하는 방법. 이는 이러한 서비스를 모든 GitLab 고객에게 이용할 수 있게 하는 기술적 솔루션과 API 세트를 가리키는 우산 용어로 사용됩니다. 자세한 내용은 Cloud Connector 아키텍처를 참조하세요.
• Consensus Filtering: LLM 평가 방법으로 다른 LLM의 출력을 가이드하는 방식으로, 해당 출력으로 이어진 질문과 문맥에 기반하여 다른 LLM을 평가하도록 하는 방법. 이 방법은 Chat Evaluation MVC에서 사용되는 평가 방법입니다. Model Validation team의 이슈.
• Context: 데이터 포인트, 이벤트 또는 정보와 관련된 관련 정보로, 그 의미와 함축을 명확히 하는 데 도움이 되는 정보. GitLab Duo Chat의 경우, context는 사용자 질문에 언급된 이슈 또는 에픽의 속성입니다.
• Embeddings: 기계 학습 및 대형 언어 모델의 맥락에서, 단어, 구, 심지어 문서 전반을 연속적인 벡터 공간에 밀집한 숫자 벡터로 표현하는 기술을 나타냅니다. GitLab에서는 GitLab 문서의 벡터 표현을 생성하기 위해 Vertex AI의 Embeddings API를 사용합니다. 이러한 임베딩은 vertex_gitlab_docs 데이터베이스 테이블의 embeddings 데이터베이스에 저장됩니다. 임베딩 검색은 Postgres에서 vector 확장을 사용하여 수행됩니다. vertex 임베딩 데이터베이스는 Llm::Embedding::GitlabDocumentation::CreateEmbeddingsRecordsWorker를 cron 작업으로 실행하여 GitLab 문서의 최신 버전을 기반으로 매일 업데이트됩니다.
• Golden Questions: 사용자가 GitLab Duo Chat에 물어볼 수 있는 질문 유형의 소규모 하위 집합. Chat 평가를 위한 데이터를 생성하는 데 사용됩니다. Chat Beta용 질문.
• Ground Truth: 주어진 입력에 대한 실제로 결정된 데이터로, AI 모델이 학습하고 예측하려는 현실을 나타냅니다. Ground truth 데이터는 보통 사람이 주석을 달아 정합니다.
• Model Validation: AI 단계에서 다른 사용 사례의 AI를 지원하기 위한 AI/ML 모델을 연구하고 Prompt Library에 작업하는 그룹. 팀 핸드북 섹션.
• Prompt library: “Prompt Library”는 LLM과 함께 다양한 프롬프팅 기술을 테스트하는 CLI를 제공하는 Python 라이브러리입니다. Apache Beam을 사용하여 데이터 흐름 파이프라인을 관리하고 실행하는 기능과 단일 파이프라인 실행에서 여러 평가 실험을 수행하는 능력과 같은 주요 기능을 포함합니다. 다양한 제3자 AI 서비스로 프롬프트의 관리와 실행을 포함합니다. Code.
• Prompt Registry: 제3자 AI 서비스와 상호 작용하는 데 사용되는 저장된 버전화된 프롬프트. 블루프린트.
• Prompt: 특정 작업을 수행하기 위해 LLM에게 보내는 지침. Prompt 가이드라인.
• RAG Pipeline: (Retrieval-Augmented Generation)은 시스템에 입력(예: 사용자 질문)을 제공하고 해당 입력에 대한 관련 데이터를 검색하여 추가적인 문맥으로 입력을 확장한 뒤 정보를 종합하여 일관된 문맥적인 답변을 생성하는 메커니즘입니다. 이 디자인 패턴은 LLM을 사용한 오픈 도메인 질문에 유용하며, 이로 인해 GitLab Duo Chat 질문에 대한 답변에 이 디자인 패턴을 사용합니다.
• Similarity Score: LLM이 생성한 답변과 참조 지식 사실 답변 사이의 유사성을 결정하기 위한 방법. Model Validation team의 이슈.
• Tool: 특정 LLM 관련 작업을 수행하는 로직; 각 도구에는 설명과 고유한 프롬프트가 있습니다. 새로운 도구 추가하는 방법.
• Word-Level Metrics: LLM 평가를 위한 방법으로, 텍스트의 단어 수준에서의 측면을 비교합니다. Model Validation team의 이슈.
• Zero-shot agent: AI의 일반적인 시스템에서 학습 단계에서 해당 작업의 예제를 보지 않고 작업을 수행할 수 있는 학습 모델이나 시스템. GitLab에서는 이 용어를 특히 GitLab Duo Chat의 LLM-기반 항공 교통 관리자 역할을 하는 코드 조각을 나타내는 데 사용합니다. GitLab zero-shot agent에는 LLM이 GitLab Duo Chat의 사용자 입력을 해석하는 방법을 설명하는 시스템 프롬프트와 도구 설명 디렉터리이 포함됩니다. 이 정보를 사용하여 에이전트는 사용자의 질문에 답변하기 위해 어떤 도구를 사용할지 결정합니다. 에이전트는 도구가 필요하지 않을 수도 있고 직접 답변할 수도 있습니다. 도구를 사용하는 경우, 도구에서 나온 답변이 충분한지 확인하기 위해 답변이 zero-shot 에이전트로 피드백됩니다. Code. Zero-shot agent in action.