GPU 지원 SaaS 러너

Tier: Premium, Ultimate Offering: GitLab.com

GitLab은 ModelOps나 HPC(고성능 컴퓨팅)과 같은 무거운 컴퓨팅 워크로드를 가속화하기 위해 GPU 지원 SaaS 러너를 제공합니다. 이는 ModelOps 워크로드의 일환으로 Large Language Models (LLMs)의 교육 또는 배포와 같은 작업을 가속화하는 데 사용됩니다.

GitLab은 GPU를 지원하는 러너를 Linux에서만 제공합니다. 이러한 러너의 작동 방식에 대해 더 많은 정보는 SaaS 러너 on Linux을(를) 참조하십시오.

GPU 지원 러너용 사용 가능한 머신 유형

다음 머신 유형은 Linux x86-64에서 GPU를 지원하는 러너에 사용할 수 있습니다.

러너 태그 vCPU 메모리 저장 공간 GPU GPU 메모리
saas-linux-medium-amd64-gpu-standard 4 15 GB 50 GB 1 Nvidia Tesla T4(또는 유사한 제품) 16 GB

GPU 드라이버가 포함된 컨테이너 이미지

Linux에서 GitLab SaaS 러너를 사용하는 것과 마찬가지로, 작업은 격리된 가상 머신(VM)에서 실행되며 사용자 지정 이미지 정책을 사용합니다. GitLab은 호스트 VM의 GPU를 격리된 환경으로 탑재합니다. GPU를 사용하려면 GPU 드라이버가 설치된 Docker 이미지를 사용해야 합니다. Nvidia GPU의 경우 CUDA Toolkit를 사용할 수 있습니다.

예시 .gitlab-ci.yml 파일

다음 .gitlab-ci.yml 파일 예시에서는 Nvidia CUDA 기반 Ubuntu 이미지가 사용됩니다. script: 섹션에서 Python을 설치합니다. 

gpu-job:
  stage: build
  tags:
    - saas-linux-medium-amd64-gpu-standard
  image: nvcr.io/nvidia/cuda:12.1.1-base-ubuntu22.04
  script:
    - apt-get update
    - apt-get install -y python3.10
    - python3.10 --version

각 작업을 실행할 때마다 Tensorflow나 XGBoost와 같은 큰 라이브러리를 설치하고 싶지 않다면, 필요한 모든 컴포넌트가 사전 설치된 자체 이미지를 만들 수 있습니다. GitLab GPU 지원 SaaS 러너를 활용하여 XGBoost 모델을 교육하는 방법을 알아보려면 이 데모를 시청하세요:

GitLab GPU 지원 SaaS 러너의 비디오 데모: GitLab을 사용하여 XGboost 모델 교육.