AWS Fargate에서 GitLab CI 자동 확장

Tier: Free, Premium, Ultimate Offering: GitLab.com, Self-managed

GitLab의 custom executor 드라이버는 AWS Fargate를 위해 설계되었으며, Amazon Elastic Container Service (ECS)에서 각 GitLab CI 작업을 실행하기 위한 컨테이너를 자동으로 시작합니다.

이 문서의 작업을 완료한 후, 드라이버는 GitLab에서 시작된 작업을 실행할 수 있습니다. GitLab에서 커밋할 때마다, GitLab 인스턴스는 새 작업이 이용 가능하다는 메시지를 Runner에게 알립니다. 그런 다음 Runner는 AWS ECS에 구성한 작업 정의를 기반으로 새 작업을 대상 ECS 클러스터에 시작합니다. AWS ECS 작업 정의는 Docker 이미지를 사용하도록 구성할 수 있으므로 AWS Fargate에서 실행할 수 있는 빌드의 유형에 대해 완전한 유연성이 주어집니다.

GitLab Runner Fargate Driver 아키텍처

이 문서는 구현에 대한 초기 이해를 제공하기 위한 예제를 보여줍니다. 제품화에는 적합하지 않으며, AWS에서 추가 보안이 필요합니다.

예를 들어, 두 개의 AWS 보안 그룹을 설정할 수 있습니다: - GitLab Runner를 호스팅하는 EC2 인스턴스에서 사용되며, 외부 IP 범위에서 SSH 연결만 허용합니다(관리 접근용). - Fargate 작업에 적용되며, EC2 인스턴스에서만 SSH 트래픽을 허용합니다.

또한, ECS 작업이 비공개 컨테이너 레지스트리를 사용하는 경우, IAM 권한(AWS ECR 전용)이 필요하거나 작업을 위한 개인 레지스트리 인증(ECR 이외의 비공개 레지스트리)이 필요합니다.

AWS 인프라의 프로비저닝 및 설정을 자동화하려면 CloudFormation 또는 Terraform을 사용할 수 있습니다.

caution

CI/CD 작업은 ECS 작업 정의에 정의된 이미지를 사용하며, .gitlab-ci.yml 파일의 image: 키워드 값은 사용하지 않습니다. 이 구성은 runner 관리자의 여러 인스턴스 또는 큰 빌드 컨테이너를 유발할 수 있습니다. AWS에서는 이 문제를 인지하고 GitLab이 해결책을 추적 중입니다. 공식 AWS EKS Blueprints를 따라 EKS 클러스터를 생성하는 것을 고려해 볼 수 있습니다.
caution

Fargate는 컨테이너 호스트를 추상화하므로 컨테이너 호스트 속성의 설정 가능성이 제한됩니다. 이는 Fargate에서 디스크 또는 네트워크에 대한 높은 IO를 필요로 하는 runner 작업에 영향을 줍니다. 따라서 Fargate에서 GitLab Runner를 사용하기 전에, CPU, 메모리, 디스크 IO, 또는 네트워크 IO에 대한 높거나 극단적인 컴퓨팅 특성을 가진 runner 작업이 Fargate에 적합한지 확인해야 합니다.

전제 조건

시작하기 전에 다음이 필요합니다: - EC2, ECS 및 ECR 자원을 생성하고 구성할 수 있는 권한을 가진 AWS IAM 사용자 - AWS VPC 및 하위넷 - 하나 이상의 AWS 보안 그룹

단계 1: AWS Fargate 작업을 위한 컨테이너 이미지 준비

컨테이너 이미지를 준비하고, GitLab 작업을 실행할 때 해당 이미지가 사용될 레지스트리에 업로드합니다.

  1. 이미지가 CI 작업을 빌드하는 데 필요한 도구를 포함하는지 확인합니다. 예를 들어, Java 프로젝트는 Java JDK 및 Maven 또는 Gradle과 같은 빌드 도구가 필요합니다.
  2. 이미지에 GitLab Runner가 포함되어있는지 확인합니다. 이는 아티팩트 및 캐싱을 처리하는데 사용됩니다. 자세한 정보는 custom executor 문서의 Run 단계 섹션을 참조하세요.
  3. 컨테이너 이미지가 공개 키 인증을 통해 SSH 연결을 허용할 수 있는지 확인합니다. Runner는 .gitlab-ci.yml 파일에 정의된 빌드 명령을 Fargate의 컨테이너로 전송하기 위해이 연결을 사용합니다. SSH 키는 Fargate 드라이버에서 자동으로 관리됩니다. 컨테이너는 SSH_PUBLIC_KEY 환경 변수에서 키를 수락할 수 있어야 합니다.

Debian 예제를 확인하여 GitLab Runner 및 SSH 구성이 포함된 이미지를 확인하세요. Node.js 예제를 확인하세요.

단계 2: 컨테이너 이미지를 레지스트리에 푸시하기

이미지를 생성한 후, 해당 이미지를 ECS 작업 정의에 사용할 레지스트리에 발행하세요.

  • ECR에 저장소를 생성하고 이미지를 푸시하려면 Amazon ECR Repositories 문서를 참조하세요.
  • AWS CLI를 사용하여 이미지를 ECR에 푸시하려면 AWS CLI를 사용한 Amazon ECR 시작하기 문서를 참조하세요.
  • GitLab 컨테이너 레지스트리를 사용하려면 Debian 또는 NodeJS 예제를 사용할 수 있습니다. Debian 이미지는 registry.gitlab.com/tmaczukin-test-projects/fargate-driver-debian:latest에 발행되었으며, NodeJS 예제 이미지는 registry.gitlab.com/aws-fargate-driver-demo/docker-nodejs-gitlab-ci-fargate:latest에 발행되었습니다.

단계 3: GitLab 러너용 EC2 인스턴스 생성

이제 AWS EC2 인스턴스를 만듭니다. 다음 단계에서 해당 인스턴스에 GitLab 러너를 설치합니다.

  1. https://console.aws.amazon.com/ec2/v2/home#LaunchInstanceWizard로 이동합니다.
  2. 인스턴스에서 Ubuntu Server 18.04 LTS AMI를 선택합니다. 선택한 AWS 지역에 따라 이름이 다를 수 있습니다.
  3. 인스턴스 유형은 t2.micro를 선택합니다. 다음: 인스턴스 구성을 클릭합니다.
  4. 인스턴스 수는 기본값으로 둡니다.
  5. 네트워크에서 VPC를 선택합니다.
  6. 퍼블릭 IP 자동 할당사용으로 설정합니다.
  7. IAM 역할 아래에, 새 IAM 역할 생성을 클릭합니다. 이 역할은 테스트 목적으로만 사용되며 안전하지 않습니다.
    1. 역할 생성을 클릭합니다.
    2. AWS 서비스를 선택하고 일반적인 사용 사례에서 EC2를 클릭합니다. 그런 다음 다음: 권한을 클릭합니다.
    3. AmazonECS_FullAccess 정책의 확인란을 선택합니다. 다음: 태그를 클릭합니다.
    4. 다음: 검토를 클릭합니다.
    5. IAM 역할에 이름을 입력합니다. 예: fargate-test-instance, 그리고 역할 생성을 클릭합니다.
  8. 인스턴스 생성 중인 브라우저 탭으로 돌아갑니다.
  9. 새 IAM 역할 생성 왼쪽에, 새로고침 버튼을 클릭합니다. fargate-test-instance 역할을 선택합니다. 다음: 스토리지 추가를 클릭합니다.
  10. 다음: 태그 추가를 클릭합니다.
  11. 다음: 보안 그룹 구성을 클릭합니다.
  12. 새 보안 그룹 생성을 선택하고 fargate-test라고 이름을 지정하고, SSH를 위한 규칙이 정의되어 있는지 확인합니다 (유형: SSH, 프로토콜: TCP, 포트 범위: 22). 내부 및 외부 규칙의 IP 범위를 지정해야 합니다.
  13. 검토 및 시작을 클릭합니다.
  14. 시작을 클릭합니다.
  15. 선택 사항. 새 키 페어 생성을 선택하고 fargate-runner-manager라고 이름을 지정하고 키 페어 다운로드 버튼을 클릭합니다. SSH용 개인 키가 컴퓨터에 다운로드됩니다 (브라우저에서 구성된 디렉터리를 확인하세요).
  16. 인스턴스 시작을 클릭합니다.
  17. 인스턴스 보기를 클릭합니다.
  18. 인스턴스가 활성화될 때까지 기다립니다. IPv4 퍼블릭 IP 주소를 메모해 둡니다.

단계 4: EC2 인스턴스에 GitLab 러너 설치 및 구성

이제 Ubuntu 인스턴스에 GitLab 러너를 설치합니다.

  1. GitLab 프로젝트의 설정 > CI/CD로 이동하여 러너 섹션을 확장합니다. 특정 러너 수동 설정 아래에서 등록 토큰을 확인합니다.
  2. 다음 명령을 실행하여 키 파일이 올바른 권한을 갖도록 합니다: chmod 400 path/to/downloaded/key/file.
  3. 다음 명령을 사용하여 생성한 EC2 인스턴스에 SSH로 연결합니다:

    ssh ubuntu@[ip_address] -i path/to/downloaded/key/file
    
  4. 연결이 성공하면 다음 명령을 실행합니다:

    sudo mkdir -p /opt/gitlab-runner/{metadata,builds,cache}
    curl -s "https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.deb.sh" | sudo bash
    sudo apt install gitlab-runner
    
  5. 다음 명령을 실행하여 1단계에서 확인한 GitLab URL과 등록 토큰을 사용합니다.

    sudo gitlab-runner register --url "https://gitlab.com/" --registration-token TOKEN_HERE --name fargate-test-runner --run-untagged --executor custom -n
    
  6. sudo vim /etc/gitlab-runner/config.toml을 실행하고 다음 내용을 추가합니다:

    concurrent = 1
    check_interval = 0
    
    [session_server]
      session_timeout = 1800
    
    [[runners]]
      name = "fargate-test"
      url = "https://gitlab.com/"
      token = "__REDACTED__"
      executor = "custom"
      builds_dir = "/opt/gitlab-runner/builds"
      cache_dir = "/opt/gitlab-runner/cache"
      [runners.custom]
        volumes = ["/cache", "/path/to-ca-cert-dir/ca.crt:/etc/gitlab-runner/certs/ca.crt:ro"]
        config_exec = "/opt/gitlab-runner/fargate"
        config_args = ["--config", "/etc/gitlab-runner/fargate.toml", "custom", "config"]
        prepare_exec = "/opt/gitlab-runner/fargate"
        prepare_args = ["--config", "/etc/gitlab-runner/fargate.toml", "custom", "prepare"]
        run_exec = "/opt/gitlab-runner/fargate"
        run_args = ["--config", "/etc/gitlab-runner/fargate.toml", "custom", "run"]
        cleanup_exec = "/opt/gitlab-runner/fargate"
        cleanup_args = ["--config", "/etc/gitlab-runner/fargate.toml", "custom", "cleanup"]
    
  7. 자체 관리형 인스턴스에 개인 CA가 있는 경우 다음 라인을 추가합니다:

    volumes = ["/cache", "/path/to-ca-cert-dir/ca.crt:/etc/gitlab-runner/certs/ca.crt:ro"]
    

    인증서 신뢰에 대해 자세히 알아보기.

    아래에 표시된 config.toml 파일의 섹션은 등록 명령에 의해 생성됩니다. 수정하지 마세요.

    concurrent = 1
    check_interval = 0
    
    [session_server]
      session_timeout = 1800
    
    name = "fargate-test"
    url = "https://gitlab.com/"
    token = "__REDACTED__"
    executor = "custom"
    
  8. sudo vim /etc/gitlab-runner/fargate.toml을 실행하고 다음 내용을 추가합니다:

    LogLevel = "info"
    LogFormat = "text"
    
    [Fargate]
      Cluster = "test-cluster"
      Region = "us-east-2"
      Subnet = "subnet-xxxxxx"
      SecurityGroup = "sg-xxxxxxxxxxxxx"
      TaskDefinition = "test-task:1"
      EnablePublicIP = true
    
    [TaskMetadata]
      Directory = "/opt/gitlab-runner/metadata"
    
    [SSH]
      Username = "root"
      Port = 22
    
    • Cluster의 값을, 그리고 TaskDefinition의 이름을 주의하여 메모합니다. 이 예제에서는 test-task:1을 리비전 번호로 보여줍니다. 리비전 번호가 지정되지 않으면, 최신의 활성 리비전이 사용됩니다.
    • 지역을 선택합니다. 러너 관리자 인스턴스의 Subnet 값을 사용합니다.
    • 보안 그룹 ID를 찾으려면:

      1. AWS에서 인스턴스 목록에서 생성한 EC2 인스턴스를 선택합니다. 세부 정보가 표시됩니다.
      2. 보안 그룹 아래에서 생성한 그룹의 이름을 클릭합니다.
      3. 보안 그룹 ID를 복사합니다.

      제작 환경에서는 AWS 지침 을 따라 보안 그룹을 설정하고 사용하세요.

    • EnablePublicIP가 true로 설정되면, 작업 컨테이너의 퍼블릭 IP를 수집하여 SSH 연결을 수행합니다.
    • EnablePublicIP가 false로 설정되는 경우:
      • Fargate 드라이버는 작업 컨테이너의 개인 IP를 사용합니다. false로 설정했을 때 연결을 설정하려면 VPC 보안 그룹에서 포트 22 (SSH)의 인바운드 규칙이 VPC CIDR에서 소스로 지정되어야 합니다.
      • 외부 종속성을 가져오려면, 프로비저닝된 AWS Fargate 컨테이너는 공개 인터넷에 액세스해야 합니다. AWS Fargate 컨테이너에 공개 인터넷 액세스를 제공하려면 VPC에서 NAT 게이트웨이를 사용할 수 있습니다.
    • SSH 서버의 포트 번호는 선택 사항입니다. 생략하면 기본 SSH 포트(22)가 사용됩니다.
    • 섹션 설정에 대한 자세한 내용은 Fargate 드라이버 문서를 참조하세요.
  9. Fargate 드라이버를 설치합니다:

    sudo curl -Lo /opt/gitlab-runner/fargate "https://gitlab-runner-custom-fargate-downloads.s3.amazonaws.com/latest/fargate-linux-amd64"
    sudo chmod +x /opt/gitlab-runner/fargate
    

단계 5: ECS Fargate 클러스터 생성

Amazon ECS 클러스터는 ECS 컨테이너 인스턴스를 그룹화한 것입니다.

  1. https://console.aws.amazon.com/ecs/home#/clusters로 이동합니다.
  2. 클러스터 생성을 클릭합니다.
  3. Networking only 유형을 선택합니다. 다음 단계를 클릭합니다.
  4. test-cluster로 이름을 지정합니다 (fargate.toml에 지정된 것과 동일).
  5. 생성을 클릭합니다.
  6. 클러스터 보기를 클릭합니다. Cluster ARN 값에서 지역 및 계정 ID 부분을 확인합니다.
  7. 클러스터 업데이트 버튼을 클릭합니다.
  8. 기본 용량 제공자 전략 옆에 다른 제공자 추가를 클릭하고 FARGATE를 선택합니다. 업데이트를 클릭합니다.

Amazon ECS Fargate에서 클러스터를 설정하고 사용하는 자세한 지침은 AWS 문서를 참조하세요.

단계 6: ECS 작업 정의 생성

이 단계에서는 CI 빌드에 사용할 컨테이너 이미지를 참조하는 Fargate 유형의 작업 정의를 생성합니다.

  1. https://console.aws.amazon.com/ecs/home#/taskDefinitions로 이동합니다.
  2. 새 작업 정의 생성을 클릭합니다.
  3. FARGATE를 선택하고 다음 단계를 클릭합니다.
  4. test-task로 이름을 지정합니다 (참고: 이름은 fargate.toml 파일에 정의된 값이지만 :1은 제외됩니다).
  5. 작업 메모리 (GB)작업 CPU (vCPU)의 값들을 선택합니다.
  6. 컨테이너 추가를 클릭합니다. 그런 다음:
    1. ci-coordinator로 이름을 지정하여 Fargate 드라이버가 SSH_PUBLIC_KEY 환경 변수를 주입할 수 있게 합니다.
    2. 이미지를 정의합니다 (예: registry.gitlab.com/tmaczukin-test-projects/fargate-driver-debian:latest).
    3. 22/TCP의 포트 매핑을 정의합니다.
    4. 추가를 클릭합니다.
  7. 생성을 클릭합니다.
  8. 작업 정의 보기를 클릭합니다.

경고: 단일 Fargate 작업에는 하나 이상의 컨테이너가 시작될 수 있습니다. Fargate 드라이버는 ci-coordinator 이름을 가진 컨테이너에만 SSH_PUBLIC_KEY 환경 변수를 주입합니다. Fargate 드라이버에 의해 사용된 모든 작업 정의에는 이 이름의 컨테이너가 필요합니다. 이 컨테이너에는 상기에 설명된 대로 SSH 서버 및 GitLab Runner 요구 사항이 모두 설치되어 있어야 합니다.

작업 정의 설정 및 사용에 대한 자세한 지침은 AWS 문서를 참조하세요.

AWS ECR에서 이미지 시작에 필요한 ECS 서비스 권한에 대한 자세한 정보는 AWS 설명서 Amazon ECS 작업 실행 IAM 역할을 참조하세요.

GitLab 인스턴스에 호스팅된 비공개 레지스트리를 포함한 비공개 레지스트리에 대해 ECS가 인증하도록 설정하는 방법에 대한 정보는 AWS 설명서 작업을 위한 비공개 레지스트리 인증를 참조하세요.

이 시점에서 러너 관리자 및 Fargate 드라이버가 구성되어 AWS Fargate에서 작업을 실행할 준비가 되어 있습니다.

단계 7: 구성 테스트

이제 구성이 사용할 준비가 되어 있어야 합니다.

  1. GitLab 프로젝트에서 간단한 .gitlab-ci.yml 파일을 만듭니다.

    test:
      script:
        - echo "작동합니다!"
        - for i in $(seq 1 30); do echo "."; sleep 1; done
    
  2. 프로젝트의 CI/CD > 파이프라인으로 이동합니다.
  3. 파이프라인 실행을 클릭합니다.
  4. 브랜치 및 모든 변수를 업데이트하고 파이프라인 실행을 클릭합니다.

참고: .gitlab-ci.yml 파일의 imageservice 키워드는 무시됩니다. 러너는 작업 정의에서 지정된 값만 사용합니다.

정리

AWS Fargate에서 사용자 정의 실행기를 테스트한 후 정리하려면 다음 개체를 제거하세요:

  • 3단계에서 만든 EC2 인스턴스, 키페어, IAM 역할 및 보안 그룹.
  • 5단계에서 생성한 ECS Fargate 클러스터.
  • 6단계에서 생성한 ECS 작업 정의.

비공개 AWS Fargate 작업 구성

높은 수준의 보안을 보장하기 위해 비공개 AWS Fargate 작업을 구성합니다. 이 구성에서 실행기는 내부 AWS IP 주소만 사용하고, AWS에서만 외부 트래픽을 허용하여 CI 작업이 비공개 AWS Fargate 인스턴스에서 실행됩니다.

비공개 AWS Fargate 작업을 구성하려면 다음 단계를 완료하여 AWS를 구성하고 프라이빗 서브넷에서 AWS Fargate 작업을 실행합니다:

  1. 기존의 퍼블릭 서브넷이 VPC 주소 범위에서 모든 IP 주소를 예약하지 않았는지 확인합니다. VPC 및 서브넷의 CIDR 주소 범위를 검사합니다. 만약 서브넷 CIDR 주소 범위가 VPC의 CIDR 주소 범위의 하위 집합인 경우, 2단계 및 4단계를 건너뜁니다. 그렇지 않은 경우 VPC에 무료 주소 범위가 없으므로 VPC와 퍼블릭 서브넷을 삭제하고 다음을 수행해야 합니다:
    1. 기존 서브넷 및 VPC를 삭제합니다.
    2. 삭제한 VPC와 동일한 구성으로 VPC를 생성하고 CIRD 주소를 업데이트합니다. 예: 10.0.0.0/23.
    3. 삭제한 서브넷과 동일한 구성으로 퍼블릭 서브넷을 생성합니다. VPC 주소 범위의 부분 집합인 CIDR 주소를 사용합니다. 예: 10.0.0.0/24.
  2. 퍼블릭 서브넷 구성과 동일한 구성으로 프라이빗 서브넷을 생성합니다. 퍼블릭 서브넷 범위와 중첩되지 않는 CIDR 주소 범위를 사용합니다. 예: 10.0.1.0/24.
  3. [NAT 게이트웨이를 생성](https://docs.aws.amazon.com/vpc/latest/userguide/vpc-nat-gateway.

문제 해결

구성을 테스트할 때 No Container Instances were found in your cluster 오류

error="starting new Fargate task: running new task on Fargate: error starting AWS Fargate Task: InvalidParameterException: No Container Instances were found in your cluster."

AWS Fargate 드라이버는 ECS 클러스터가 기본 용량 제공자 전략로 구성되어 있어야 합니다.

더 읽어보기:

  • 각 Amazon ECS 클러스터에는 기본 용량 제공자 전략이 연결되어 있습니다. 다른 용량 제공자 전략이나 시작 유형이 지정되지 않으면 클러스터는 작업이 실행되거나 서비스가 생성될 때 이 전략을 사용합니다.
  • capacityProviderStrategy가 지정된 경우 launchType 매개변수는 생략해야 합니다. capacityProviderStrategylaunchType이 지정되지 않으면 클러스터의 defaultCapacityProviderStrategy가 사용됩니다.

작업 실행 시 메타데이터 file does not exist 오류

Application execution failed PID=xxxxx error="obtaining information about the running task: trying to access file \"/opt/gitlab-runner/metadata/<runner_token>-xxxxx.json\": file does not exist" cleanup_std=err job=xxxxx project=xx runner=<runner_token>

IAM 역할 정책이 올바르게 구성되어 있고 /opt/gitlab-runner/metadata/에 메타데이터 JSON 파일을 생성할 수 있는 권한이 있는지 확인하세요. 비 프로덕션 환경에서 테스트하려면 AmazonECS_FullAccess 정책을 사용합니다. 조직의 보안 요구 사항에 따라 IAM 역할 정책을 검토하세요.

작업 실행 시 connection timed out

Application execution failed PID=xxxx error="executing the script on the remote host: executing script on container with IP \"172.x.x.x\": connecting to server: connecting to server \"172.x.x.x:22\" as user \"root\": dial tcp 172.x.x.x:22: connect: connection timed out"

EnablePublicIP가 false로 구성되어 있는 경우 VPC 보안 그룹에 SSH 연결을 허용하는 인바운드 규칙이 있는지 확인하세요. AWS Fargate 작업 컨테이너는 GitLab Runner EC2 인스턴스에서 SSH 트래픽을 수락할 수 있어야 합니다.

작업 실행 시 connection refused

Application execution failed PID=xxxx error="executing the script on the remote host: executing script on container with IP \"10.x.x.x\": connecting to server: connecting to server \"10.x.x.x:22\" as user \"root\": dial tcp 10.x.x.x:22: connect: connection refused"

작업 컨테이너가 포트 22를 노출하고 포트 매핑이 단계 6: ECS 작업 정의 만들기의 지침에 따라 구성되어 있는지 확인하세요. 포트가 노출되어 있고 컨테이너가 구성되어 있다면:

  1. Amazon ECS > 클러스터 > 작업을 선택 > 작업에서 컨테이너에 대한 오류가 있는지 확인하세요.
  2. 상태가 중지됨인 작업을 확인하고 가장 최근에 실패한 작업을 확인하세요. 로그 탭에 컨테이너 실패에 대한 자세한 내용이 있습니다.

또는 Docker 컨테이너를 로컬에서 실행할 수 있는지 확인하세요.