GPU 지원 SaaS 러너

Tier: Premium, Ultimate Offering: GitLab.com

GitLab은 GPU를 지원하는 SaaS 러너를 제공하여 ModelOps나 HPC를 포함한 무거운 컴퓨팅 워크로드를 가속화합니다. 이는 ModelOps 워크로드의 일환으로 대규모 언어 모델 (LLM)의 훈련이나 배포와 같은 작업을 가속화하는 데 사용됩니다.

GitLab은 GPU를 지원하는 러너를 Linux에서만 제공합니다. 이러한 러너의 작동 방식에 대한 자세한 내용은 Linux에서의 SaaS 러너를 참조하세요.

GPU를 지원하는 러너를 위한 사용 가능한 머신 유형

다음과 같은 머신 유형이 Linux x86-64에서 GPU를 지원하는 러너에 사용할 수 있습니다.

러너 태그 vCPU 메모리 저장 공간 GPU GPU 메모리
saas-linux-medium-amd64-gpu-standard 4 15 GB 50 GB 1 Nvidia Tesla T4 (또는 유사한 제품) 16 GB

GPU 드라이버가 설치된 컨테이너 이미지

Linux에서 GitLab SaaS 러너와 마찬가지로 작업은 격리된 가상 머신(VM)에서 실행되며 Bring-Your-Own-Image 정책이 존재합니다. GitLab은 호스트 VM의 GPU를 격리된 환경으로 마운트합니다. GPU를 사용하려면 GPU 드라이버가 설치된 Docker 이미지를 사용해야 합니다. Nvidia GPU의 경우 CUDA Toolkit를 사용할 수 있습니다.

예시 .gitlab-ci.yml 파일

다음 예시에서는 Nvidia CUDA 기반 Ubuntu 이미지를 사용합니다. script: 섹션에서는 Python을 설치합니다. 

gpu-job:
  stage: build
  tags:
    - saas-linux-medium-amd64-gpu-standard
  image: nvcr.io/nvidia/cuda:12.1.1-base-ubuntu22.04
  script:
    - apt-get update
    - apt-get install -y python3.10
    - python3.10 --version

Tensorflow나 XGBoost와 같은 큰 라이브러리를 매번 작업을 실행할 때마다 설치하고 싶지 않다면, 필요한 모든 구성 요소가 미리 설치된 작업 전용 이미지를 만들 수 있습니다. GitLab GPU를 지원하는 SaaS 러너를 활용하여 XGBoost 모델을 훈련하는 방법을 알아보려면 이 데모를 시청하세요:

GitLab GPU를 지원하는 SaaS 러너의 비디오 데모: GitLab을 사용한 XGBoost 모델 훈련.