Kubernetes용 GitLab 에이전트 문제 해결

GitLab 에이전트를 Kubernetes에서 사용하는 경우 해결해야 할 문제가 발생할 수 있습니다.

먼저 서비스 로그를 보고 시작할 수 있습니다. 

kubectl logs -f -l=app.kubernetes.io/name=gitlab-agent -n gitlab-agent

GitLab 관리자인 경우 GitLab 에이전트 서버 로그도 볼 수 있습니다.

전송: WebSocket 다이얼링 중 오류 발생 

{
  "level": "warn",
  "time": "2020-11-04T10:14:39.368Z",
  "msg": "GetConfiguration failed",
  "error": "rpc error: code = Unavailable desc = connection error: desc = \"transport: Error while dialing failed to WebSocket dial: failed to send handshake request: Get \\\"https://gitlab-kas:443/-/kubernetes-agent\\\": dial tcp: lookup gitlab-kas on 10.60.0.10:53: no such host\""
}

이 오류는 kas-address와 에이전트 팟 사이에 연결 문제가 있는 경우 발생합니다. 이 문제를 해결하려면 kas-address가 정확한지 확인하십시오. 

{
  "level": "error",
  "time": "2021-06-25T21:15:45.335Z",
  "msg": "Reverse tunnel",
  "mod_name": "reverse_tunnel",
  "error": "Connect(): rpc error: code = Unavailable desc = connection error: desc= \"transport: Error while dialing failed to WebSocket dial: expected handshake response status code 101 but got 301\""
}

이 오류는 kas-address에 슬래시가 누락된 경우 발생합니다. 이 문제를 해결하려면 wss 또는 ws URL이 슬래시로 끝나도록 확인하십시오. 즉, wss://GitLab.host.tld:443/-/kubernetes-agent/나 ws://GitLab.host.tld:80/-/kubernetes-agent/와 같이 되어야 합니다.

WebSocket 다이얼링 중 오류 발생: 핸드셰이크 요청 전송에 실패함 

{
  "level": "warn",
  "time": "2020-10-30T09:50:51.173Z",
  "msg": "GetConfiguration failed",
  "error": "rpc error: code = Unavailable desc = connection error: desc = \"transport: Error while dialing failed to WebSocket dial: failed to send handshake request: Get \\\"https://GitLabhost.tld:443/-/kubernetes-agent\\\": net/http: HTTP/1.x transport connection broken: malformed HTTP response \\\"\\\\x00\\\\x00\\\\x06\\\\x04\\\\x00\\\\x00\\\\x00\\\\x00\\\\x00\\\\x00\\\\x05\\\\x00\\\\x00@\\\\x00\\\"\""
}

이 오류는 에이전트 측에서 kas-address를 wss로 구성했지만 에이전트 서버가 wss에서 사용할 수 없는 경우 발생합니다. 이 문제를 해결하려면 양쪽에서 동일한 스키마가 구성되도록 확인하십시오.

grpc-encoding용 압축 해제기가 설치되지 않음 

{
  "level": "warn",
  "time": "2020-11-05T05:25:46.916Z",
  "msg": "GetConfiguration.Recv failed",
  "error": "rpc error: code = Unimplemented desc = grpc: Decompressor is not installed for grpc-encoding \"gzip\""
}

이 오류는 에이전트의 버전이 에이전트 서버(KAS)의 버전보다 새로운 경우 발생합니다. 이 문제를 해결하려면 agentk와 에이전트 서버의 버전이 동일한지 확인하십시오.

알려지지 않은 권한으로 인증된 인증서 

{
  "level": "error",
  "time": "2021-02-25T07:22:37.158Z",
  "msg": "Reverse tunnel",
  "mod_name": "reverse_tunnel",
  "error": "Connect(): rpc error: code = Unavailable desc = connection error: desc = \"transport: Error while dialing failed to WebSocket dial: failed to send handshake request: Get \\\"https://GitLabhost.tld:443/-/kubernetes-agent/\\\": x509: certificate signed by unknown authority\""
}

이 오류는 GitLab 인스턴스가 에이전트에서 알 수 없는 내부 인증 기관에 의해 서명된 인증서를 사용하는 경우 발생합니다.

이 문제를 해결하려면 에이전트에 CA 인증서 파일을 제공할 수 있습니다. Helm 설치를 사용자 정의하여 helm install 명령에 --set-file config.kasCaCert=my-custom-ca.pem을 추가합니다. 파일은 유효한 PEM 또는 DER로 인코딩된 인증서여야 합니다.

config.kasCaCert 값을 설정하여 agentk를 배포하면 인증서가 configmap에 추가되고 인증서 파일이 /etc/ssl/certs에 마운트됩니다. 

$ kubectl get configmap -lapp=gitlab-agent -o yaml
apiVersion: v1
items:
- apiVersion: v1
  data:
    ca.crt: |-
      -----BEGIN CERTIFICATE-----
      MIIFmzCCA4OgAwIBAgIUE+FvXfDpJ869UgJitjRX7HHT84cwDQYJKoZIhvcNAQEL
      ...truncated certificate...
      GHZCTQkbQyUwBWJOUyOxW1lro4hWqtP4xLj8Dpq1jfopH72h0qTGkX0XhFGiSaM=
      -----END CERTIFICATE-----
  kind: ConfigMap
  metadata:
    annotations:
      meta.helm.sh/release-name: self-signed
      meta.helm.sh/release-namespace: gitlab-agent-self-signed
    creationTimestamp: "2023-03-07T20:12:26Z"
    labels:
      app: gitlab-agent
      app.kubernetes.io/managed-by: Helm
      app.kubernetes.io/name: gitlab-agent
      app.kubernetes.io/version: v15.9.0
      helm.sh/chart: gitlab-agent-1.11.0
    name: self-signed-gitlab-agent
    resourceVersion: "263184207"
kind: List

GitLab 애플리케이션 서버의 에이전트 서버(KAS) 로그에서 비슷한 오류가 발생할 수 있습니다: 

{"level":"error","time":"2023-03-07T20:19:48.151Z","msg":"AgentInfo()","grpc_service":"gitlab.agent.agent_configuration.rpc.AgentConfiguration","grpc_method":"GetConfiguration","error":"Get \"https://gitlab.example.com/api/v4/internal/kubernetes/agent_info\": x509: certificate signed by unknown authority"}

이 문제를 해결하려면 GitLab 인스턴스에서 내부 CA의 공개 인증서를 설치하고 /etc/gitlab/trusted-certs 디렉토리에 인스톨합니다.

또는 에이전트 서버(KAS)가 사용자 정의 디렉토리에서 인증서를 읽을 수 있도록 구성할 수 있습니다. /etc/gitlab/gitlab.rb에 다음 구성을 추가하십시오: 

gitlab_kas['env'] = {
   'SSL_CERT_DIR' => "/opt/gitlab/embedded/ssl/certs/"
 }

변경 사항을 적용하려면:

  1. GitLab을 재구성합니다. 

    sudo gitlab-ctl reconfigure

  2. gitlab-kas를 다시 시작합니다. 

    gitlab-ctl restart gitlab-kas

워크로드에서 취약점 스캔을 수행하지 못했습니다: jobs.batch 이미 존재함 

{
  "level": "error",
  "time": "2022-06-22T21:03:04.769Z",
  "msg": "워크로드에서 취약점 스캔을 수행하지 못했습니다",
  "mod_name": "starboard_vulnerability",
  "error": "스캔 작업 실행: jobs.batch \"scan-vulnerabilityreport-b8d497769\" 이미 존재함"
}

GitLab 에이전트는 각 워크로드를 스캔하기 위해 작업을 생성하여 취약점 스캔을 수행합니다. 스캔이 중단되면 이러한 작업이 남아 있을 수 있으며 더 많은 작업을 실행하기 전에 정리해야 합니다. 다음을 실행하여 이러한 작업을 정리할 수 있습니다: 

kubectl delete jobs -l app.kubernetes.io/managed-by=starboard -n gitlab-agent

이러한 작업을 더 견고하게 정리하기 위해 노력하고 있습니다.

설치 중 구문 분석 오류

에이전트를 설치하는 동안 다음과 같은 오류가 발생할 수 있습니다: 

Error: parse error at (gitlab-agent/templates/observability-secret.yaml:1): unclosed action

일반적으로 이 오류는 호환되지 않는 Helm 버전에 의해 발생합니다. 문제를 해결하려면 Kubernetes 버전과 호환되는 Helm 버전을 사용하도록 합니다.

Kubernetes 대시보드에서 GitLab 에이전트 서버: 권한 없음 오류

Kubernetes 대시보드 페이지에서 GitLab 에이전트 서버: 권한 없음. 추적 ID: <...>와 같은 오류가 발생하는 경우 다음 사항 중 하나일 수 있습니다:

  • 에이전트 구성 파일에서 user_access 항목이 존재하지 않거나 잘못되었습니다. 문제를 해결하려면 사용자에게 Kubernetes 액세스 권한 부여를 참조하십시오.
  • 브라우저와 KAS로 전송된 여러 _gitlab_kas 쿠키가 존재합니다. 가장 가능성 있는 원인은 동일 사이트에 호스팅된 여러 GitLab 인스턴스입니다.
    예를 들어, gitlab.com은 kas.gitlab.com을 대상으로 한 _gitlab_kas 쿠키를 설정하지만 해당 쿠키가 kas.staging.gitlab.com에도 전송되어 staging.gitlab.com에서 오류가 발생합니다.
    일시적으로 문제를 해결하려면 브라우저 쿠키 저장 공간에서 gitlab.com의 _gitlab_kas 쿠키를 삭제하십시오. 알려진 문제에 대한 해결책으로 이슈 418998이 제안되었습니다.
  • GitLab과 KAS가 서로 다른 사이트에서 실행됩니다. 예를 들어, gitlab.example.com에서 GitLab을 실행하고 kas.example.com에서 KAS를 실행합니다. GitLab은 이러한 사용 사례를 지원하지 않습니다. 자세한 내용은 이슈 416436을 참조하십시오.

에이전트 버전 불일치

GitLab의 Kubernetes 클러스터 페이지의 에이전트 탭에서, 클러스터의 파드 간에 에이전트 버전 불일치: 클러스터의 파드 간에 에이전트 버전이 일치하지 않습니다.라는 경고가 표시될 수 있습니다.

이 경고는 에이전트 서버 for Kubernetes (kas)에서 캐시된 이전 버전의 에이전트에 의해 발생할 수 있습니다. kas는 주기적으로 오래된 에이전트 버전을 삭제하므로 에이전트와 GitLab을 조정하기 위해 최소 20분이 지나야 합니다.

경고가 지속되면 클러스터에 설치된 에이전트를 업데이트하십시오.