GPU 지원 호스팅 러너
GitLab은 GPU를 지원하는 호스팅 러너를 제공하여 ModelOps나 HPC와 같은 무거운 컴퓨팅 워크로드를 가속화합니다. Large Language Models (LLM)의 학습 또는 배포를 ModelOps 워크로드의 일환으로 하는 경우 등에 사용할 수 있습니다.
GitLab은 GPU를 지원하는 러너를 Linux에서만 제공합니다. 이러한 러너의 작동 방법에 대한 자세한 정보는 Linux에서 호스팅된 러너를 참조하세요.
GPU를 지원하는 러너에 사용 가능한 머신 유형
다음 머신 유형들이 Linux x86-64에서 GPU를 지원하는 러너로 사용 가능합니다.
러너 태그 | 가상 CPU | 메모리 | 저장 공간 | GPU | GPU 메모리 |
---|---|---|---|---|---|
saas-linux-medium-amd64-gpu-standard
| 4 | 15 GB | 50 GB | 1 Nvidia Tesla T4 (또는 유사한 GPU) | 16 GB |
GPU 드라이버가 탑재된 컨테이너 이미지
Linux에서 GitLab 호스팅 러너와 마찬가지로, 작업은 격리된 가상 머신(VM)에서 실행되며 Bring-Your-Own-Image 정책이 적용됩니다. GitLab은 호스트 VM에서 GPU를 격리된 환경으로 마운트합니다. GPU를 사용하려면 GPU 드라이버가 설치된 Docker 이미지를 사용해야 합니다. Nvidia GPU를 사용하는 경우, CUDA Toolkit를 사용할 수 있습니다.
예시 .gitlab-ci.yml
파일
다음 예시에서는 Nvidia CUDA 기반 Ubuntu 이미지를 사용한 .gitlab-ci.yml
파일을 보여줍니다. script:
섹션에서 Python을 설치합니다.
gpu-job:
stage: build
tags:
- saas-linux-medium-amd64-gpu-standard
image: nvcr.io/nvidia/cuda:12.1.1-base-ubuntu22.04
script:
- apt-get update
- apt-get install -y python3.10
- python3.10 --version
Tensorflow나 XGBoost와 같이 큰 라이브러리를 매번 작업을 실행할 때마다 설치하고 싶지 않다면, 필요한 모든 컴포넌트가 미리 설치된 사용자 지정 이미지를 만들 수 있습니다. GPU를 지원하는 호스팅 러너를 활용하여 XGBoost 모델을 학습하는 방법에 대해 알아보려면 이 데모를 시청하세요: