GPU 지원 호스팅 러너

Tier: Premium, Ultimate Offering: GitLab.com

GitLab은 모델 오프스나 HPC(고성능 컴퓨팅)과 같은 무거운 컴퓨팅 작업을 가속화하기 위해 GPU를 지원하는 호스팅 러너를 제공합니다. 이는 모델 오프스 작업의 일환으로 대규모 언어 모델 (LLM)의 훈련이나 배포와 같은 작업에 도움이 됩니다.

GitLab은 GPU를 지원하는 러너를 리눅스에서만 제공합니다. 이러한 러너가 어떻게 작동하는지에 대한 자세한 내용은 Linux에서 호스팅된 러너을 참조하십시오.

GPU를 지원하는 러너용 사용 가능한 머신 유형

다음 머신 유형은 리눅스 x86-64에서 GPU를 지원하는 러너에 사용할 수 있습니다.

러너 태그 가상 CPU(vCPUs) 메모리 저장 공간 GPU GPU 메모리
saas-linux-medium-amd64-gpu-standard 4 15 GB 50 GB 1 Nvidia Tesla T4(또는 유사한 제품) 16 GB

GPU 드라이버가 탑재된 컨테이너 이미지

GitLab의 리눅스 호스팅 러너와 마찬가지로, 작업은 고립된 가상 머신(VM)에서 실행되며 bring-your-own-image 정책을 따릅니다. GitLab은 호스트 VM의 GPU를 고립된 환경으로 마운트합니다. GPU를 사용하려면 GPU 드라이버가 설치된 Docker 이미지를 사용해야 합니다. Nvidia GPU의 경우 CUDA Toolkit를 사용할 수 있습니다.

예시 .gitlab-ci.yml 파일

다음은 .gitlab-ci.yml 파일의 예시입니다. 해당 예시에서 Nvidia CUDA 기반 Ubuntu 이미지가 사용됩니다. script: 섹션에서는 Python을 설치합니다. 

gpu-job:
  stage: build
  tags:
    - saas-linux-medium-amd64-gpu-standard
  image: nvcr.io/nvidia/cuda:12.1.1-base-ubuntu22.04
  script:
    - apt-get update
    - apt-get install -y python3.10
    - python3.10 --version

만약 작업을 실행할 때마다 Tensorflow나 XGBoost와 같은 큰 라이브러리를 설치하고 싶지 않다면, 필요한 모든 구성 요소가 사전 설치된 자체 이미지를 만들 수 있습니다. GPU를 활용하여 XGBoost 모델을 훈련하는 방법을 알아보려면 이 데모를 시청하십시오:

GitLab GPU를 지원하는 호스팅 러너로 XGBoost 모델 훈련하기: Train XGboost models with GitLab.