• GPU 지원 러너에 사용할 수 있는 머신 유형
• GPU 드라이버가 포함된 컨테이너 이미지
• 예시 .gitlab-ci.yml 파일

GPU 지원 호스팅 러너

GitLab은 ModelOps 또는 HPC와 같은 무거운 컴퓨트 작업의 성능을 높이기 위해 GPU 지원 호스팅 러너를 제공합니다.

이는 Large Language Models (LLMs)의 훈련 또는 배포와 같은 ModelOps 작업의 일부로 포함됩니다.

GitLab은 Linux에서만 GPU 지원 러너를 제공합니다. 이러한 러너가 작동하는 방식에 대한 추가 정보는 Linux에서의 호스팅 러너를 참조하세요.

GPU 지원 러너에 사용할 수 있는 머신 유형

다음은 Linux x86-64에서 GPU 지원 러너에 사용할 수 있는 머신 유형입니다.

GPU 드라이버가 포함된 컨테이너 이미지

Linux에서 GitLab 호스팅 러너와 마찬가지로, 작업은 BYOI(Bring Your Own Image) 정책을 가진 격리된 가상 머신(VM)에서 실행됩니다.

GitLab은 호스트 VM에서 GPU를 귀하의 격리된 환경으로 마운트합니다. GPU를 사용하려면 GPU 드라이버가 설치된 Docker 이미지를 사용해야 합니다. Nvidia GPU의 경우, 그들의 CUDA Toolkit을 사용할 수 있습니다.

예시 .gitlab-ci.yml 파일

다음은 Nvidia CUDA 기본 Ubuntu 이미지를 사용하는 .gitlab-ci.yml 파일의 예입니다.

script: 섹션에서는 Python을 설치합니다.

gpu-job:  
  stage: build  
  tags:  
    - saas-linux-medium-amd64-gpu-standard  
  image: nvcr.io/nvidia/cuda:12.1.1-base-ubuntu22.04  
  script:  
    - apt-get update  
    - apt-get install -y python3.10  
    - python3.10 --version  

매번 작업을 실행할 때 Tensorflow나 XGBoost와 같은 큰 라이브러리를 설치하고 싶지 않다면, 필요한 모든 구성 요소가 미리 설치된 자신의 이미지를 만들 수 있습니다.

GPU 지원 호스팅 러너를 활용하여 XGBoost 모델을 훈련하는 방법에 대한 데모를 시청하세요: