GPU 지원 호스팅 러너

Tier: Premium, Ultimate Offering: GitLab.com

GitLab은 GPU를 지원하는 호스팅 러너를 제공하여 ModelOps나 HPC와 같은 무거운 컴퓨팅 워크로드를 가속화합니다. Large Language Models (LLM)의 학습 또는 배포를 ModelOps 워크로드의 일환으로 하는 경우 등에 사용할 수 있습니다.

GitLab은 GPU를 지원하는 러너를 Linux에서만 제공합니다. 이러한 러너의 작동 방법에 대한 자세한 정보는 Linux에서 호스팅된 러너를 참조하세요.

GPU를 지원하는 러너에 사용 가능한 머신 유형

다음 머신 유형들이 Linux x86-64에서 GPU를 지원하는 러너로 사용 가능합니다.

러너 태그 가상 CPU 메모리 저장 공간 GPU GPU 메모리
saas-linux-medium-amd64-gpu-standard 4 15 GB 50 GB 1 Nvidia Tesla T4 (또는 유사한 GPU) 16 GB

GPU 드라이버가 탑재된 컨테이너 이미지

Linux에서 GitLab 호스팅 러너와 마찬가지로, 작업은 격리된 가상 머신(VM)에서 실행되며 Bring-Your-Own-Image 정책이 적용됩니다. GitLab은 호스트 VM에서 GPU를 격리된 환경으로 마운트합니다. GPU를 사용하려면 GPU 드라이버가 설치된 Docker 이미지를 사용해야 합니다. Nvidia GPU를 사용하는 경우, CUDA Toolkit를 사용할 수 있습니다.

예시 .gitlab-ci.yml 파일

다음 예시에서는 Nvidia CUDA 기반 Ubuntu 이미지를 사용한 .gitlab-ci.yml 파일을 보여줍니다. script: 섹션에서 Python을 설치합니다. 

gpu-job:
  stage: build
  tags:
    - saas-linux-medium-amd64-gpu-standard
  image: nvcr.io/nvidia/cuda:12.1.1-base-ubuntu22.04
  script:
    - apt-get update
    - apt-get install -y python3.10
    - python3.10 --version

Tensorflow나 XGBoost와 같이 큰 라이브러리를 매번 작업을 실행할 때마다 설치하고 싶지 않다면, 필요한 모든 컴포넌트가 미리 설치된 사용자 지정 이미지를 만들 수 있습니다. GPU를 지원하는 호스팅 러너를 활용하여 XGBoost 모델을 학습하는 방법에 대해 알아보려면 이 데모를 시청하세요:

GitLab GPU를 지원하는 호스팅 러너를 사용하여 XGBoost 모델 학습: Train XGboost models with GitLab.