GitLab Duo 용어집

이것은 일반적인 의미를 갖는 용어들이지만 GitLab에서도 특정 의미를 갖는 용어들에 대한 목록입니다. AI와 관련된 기술적인 용어가 있다면 이 목록에 포함되었으면 좋겠다고 생각되는 경우, 추가해보세요!

  • AI Gateway: AI 기능에 대한 액세스 권한을 비-SaaS GitLab 사용자에게 제공하는 독립적인 서비스. 이 논리는 해당 서비스가 준비되면 클라우드 커넥터로 이동될 것입니다. AI Gateway는 최종적으로 GitLab Rails 모놀리스가 제3자 LLM과 직접 통합하고 통신해야 하는 필요성을 없애고 AI 공급업체에 요청을 프록시하는 엔드포인트를 호스팅하는 데 사용될 것입니다. 청사진.
  • Chat Evaluation: GitLab Duo Chat의 도움 및 정확도를 결정하는 자동화된 메커니즘. MVC는 Chat에 일련의 질문을 하고 두 개의 서드파티 LLM이 생성된 답변이 정확한지 여부를 결정하도록 하는 GitLab CI를 통해 실행되는 RSpec 테스트입니다. MVC. 다음 반복에 대한 설계 문서.
  • Cloud Connector: 여러 GitLab 배포, 인스턴스, 및 셀에서 공통 서비스에 액세스하는 방법. 이를 통해 이러한 서비스를 모든 GitLab 고객에게 제공하기 위해 사용되는 기술 솔루션 및 API 세트를 가리키는 용산어 용어로 사용됩니다. 자세한 정보는 Cloud Connector architecture를 참조하세요.
  • Consensus Filtering: 질문과 결과를 도출한 문맥을 기반으로 다른 LLM의 출력을 평가하도록 LLM에 지시하는 방법. Chat Evaluation MVC에서 사용되는 평가 방법입니다. 모델 검증 팀의 이슈.
  • Context: 데이터 포인트, 이벤트 또는 정보를 둘러싼 관련 정보로, 그 의미와 함의를 명확히 하는 데 도움이 되는 정보입니다. GitLab Duo Chat에서는 문제나 이픽에 언급된 속성이 문제로 제기된 사용자 질문과 관련이 있습니다.
  • Embeddings: 머신 러닝과 대규모 언어 모델의 문맥에서, embeddings는 단어, 구, 또는 전체 문서를 연속 벡터 공간에서 조밀한 수치 벡터로 표현하는 기술을 가리킵니다. GitLab에서는 GitLab 문서의 벡터 표현을 만들기 위해 Vertex AI의 Embeddings API를 사용합니다. 이러한 embeddings은 vertex_gitlab_docs 데이터베이스 테이블에 저장되며, Postgres에서 vector 익스텐션을 사용하여 embeddings 검색이 수행됩니다. vertex embeddings 데이터베이스는 Llm::Embedding::GitlabDocumentation::CreateEmbeddingsRecordsWorker를 cron 작업으로 실행하여 GitLab 문서의 최신 버전을 기반으로 매일 업데이트됩니다.
  • Golden Questions: 사용자가 GitLab Duo Chat에 물어볼 수 있는 질문 유형의 작은 하위 집합. Chat 평가 데이터를 생성하는 데 사용됩니다. Chat Beta용 질문.
  • Ground Truth: 주어진 입력에 대한 진실된 출력으로, AI 모델이 학습하고 예측하려는 현실을 나타내는 데이터입니다. Ground truth 데이터는 일반적으로 인간이 주석을 단 데이터입니다.
  • Model Validation: AI 기반 스테이지 내에서 Prompt Library에 작업을 하고 GitLab에서 AI의 다른 사용 사례를 지원하기 위해 AI/ML 모델을 연구하는 그룹입니다. 팀 핸드북 섹션.
  • Prompt library: “Prompt Library”는 LLMs와 함께 다양한 프롬프팅 기술을 테스트하기 위한 CLI를 제공하는 파이썬 라이브러리입니다. Apache Beam을 사용하여 데이터플로우 파이프라인을 관리하고 실행하는 기능과 단일 파이프라인 실행에서 여러 평가 실험을 실행하는 기능을 포함한 주요 기능이 있습니다. 코드.
  • Prompt Registry: 서드파티 AI 서비스와 상호 작용하기 위해 저장 및 버전 관리되는 프롬프트입니다. 청사진.
  • Prompt: 특정 작업을 수행하기 위해 LLM에게 전송되는 지침입니다. Prompt 가이드라인.
  • RAG Pipeline: (Retrieval-Augmented Generation)은 시스템으로 사용자 질문과 같은 입력을 받아 해당 입력에 대한 관련 데이터를 검색하고 추가적인 문맥으로 입력을 보강한 후 정보를 합성하여 일관된 맥락에 맞는 답변을 생성하는 메커니즘입니다. 이러한 설계 패턴은 LLMs와 함께 오픈 도메인 질문 응답에 유용하여 GitLab Duo Chat 질문에 대한 답변에 이 설계 패턴을 사용합니다.
  • Similarity Score: LLM이 생성한 답변과 참조 ground truth 답변 사이의 유사성을 결정하는 방법. 모델 검증 팀의 이슈.
  • Tool: 특정 LLM 관련 작업을 수행하는 논리; 각 도구에는 설명과 고유한 프롬프트가 있습니다. 새 도구 추가하는 방법.
  • Word-Level Metrics: 단어의 단위로 텍스트의 측면을 비교하는 LLM 평가 방법. 모델 검증 팀의 이슈.
  • Zero-shot agent: 훈련 중에 해당 작업의 어떤 예도도 보지 않은 학습 모델 또는 시스템. GitLab에서는 이 용어를 특히 GitLab Duo Chat에 대한 LLM 기반 항공 교통 관리자로 사용합니다. GitLab zero-shot agent에는 LLM이 GitLab Duo Chat의 사용자 입력을 해석하는 방법을 설명하는 시스템 프롬프트와 도구 설명 목록이 포함되어 있습니다. 이 정보를 사용하여 agent는 사용자의 질문에 대답하기 위해 어떤 도구를 사용할지 결정합니다. agent는 도구가 필요하지 않은 경우도 결정할 수 있으며, 도구가 사용되면 도구에서 얻은 답변을 다시 zero-shot agent에 피드백하여 해당 답변이 충분한지 여부 또는 추가 도구를 사용하여 질문에 답할 필요가 있는지를 평가합니다. 코드. Zero-shot agent in action.