• 요구 사항
• 설계 선택
• 구성
• 설치 명령줄 옵션
• 차트 구성 예제
  • resources
  • extraEnv
  • extraEnvFrom
  • extraVolumes
  • extraVolumeMounts
  • image.pullSecrets
  • serviceAccount
  • tolerations
  • annotations
• Using the Community Edition of this chart
• External Services
  • Redis
  • PostgreSQL
  • Gitaly
• 메트릭
• 차트 전체 기본값
• Per-pod 설정
  • 큐
  • 예시 pod 항목
  • Sidekiq 구성의 전체 예시
• networkpolicy 구성
  • 예시 네트워크 정책
• KEDA 구성

GitLab-Sidekiq 차트 사용하기

sidekiq 하위 차트는 Sidekiq 작업자의 구성 가능한 배포를 제공하며,
개별적으로 확장 가능성과 구성에 맞춰 여러 Deployment 간의 큐 분리를 제공하도록 설계되어 있습니다.

이 차트는 기본 pods: 선언을 제공하지만, 정의를 비워 두면
작업자가 없게 됩니다.

요구 사항

이 차트는 Redis, PostgreSQL 및 Gitaly 서비스에 대한 접근에 의존하며,
전체 GitLab 차트의 일환으로 또는 이 차트가 배포되는 Kubernetes 클러스터에서
접근할 수 있는 외부 서비스로 제공됩니다.

설계 선택

이 차트는 여러 Deployment와 연관된 ConfigMap을 생성합니다.
명령 길이에 대한 우려를 피하기 위해 environment 속성이나
추가 인수를 컨테이너의 command에 사용하는 대신
ConfigMap 동작을 사용하는 것이 더 명확할 것이라고 판단했습니다.
이 선택은 많은 수의 ConfigMap을 생성하지만, 각 팟이
무엇을 해야 하는지 매우 명확한 정의를 제공합니다.

구성

sidekiq 차트는 세 부분으로 구성됩니다: 차트 전체 외부 서비스,
차트 전체 기본값, 및 퍼-팟 정의.

설치 명령줄 옵션

아래 표에는 --set 플래그를 사용하여 helm install 명령에 제공할 수 있는
모든 가능한 차트 구성이 포함되어 있습니다:

차트 구성 예제

resources

resources는 Sidekiq pod가 소비할 수 있는 메모리 및 CPU의 최소 및 최대 양을 구성할 수 있게 해줍니다.

Sidekiq pod의 워크로드는 배포에 따라 크게 다릅니다. 일반적으로 각 Sidekiq 프로세스는 약 1 vCPU와 2 GB의 메모리를 소비하는 것으로 이해됩니다. 수직 스케일링은 일반적으로 이 1:2 비율의 vCPU:Memory에 맞춰져야 합니다.

아래는 resources의 사용 예입니다:

resources:
  limits:
    memory: 5G
  requests:
    memory: 2G
    cpu: 900m

extraEnv

extraEnv는 종속성 컨테이너에서 추가 환경 변수를 노출할 수 있게 해줍니다.

아래는 extraEnv의 사용 예입니다:

extraEnv:
  SOME_KEY: some_value
  SOME_OTHER_KEY: some_other_value

컨테이너가 시작되면, 환경 변수가 노출되었는지 확인할 수 있습니다:

env | grep SOME
SOME_KEY=some_value
SOME_OTHER_KEY=some_other_value

지정된 pod에 대해 extraEnv를 설정할 수도 있습니다:

extraEnv:
  SOME_KEY: some_value
  SOME_OTHER_KEY: some_other_value
pods:
  - name: mailers
    queues: mailers
    extraEnv:
      SOME_POD_KEY: some_pod_value
  - name: catchall

이렇게 하면 mailers pod의 애플리케이션 컨테이너에 대해서만 SOME_POD_KEY가 설정됩니다. Pod 수준의 extraEnv 설정은 init containers에 추가되지 않습니다.

extraEnvFrom

extraEnvFrom은 pod의 모든 컨테이너에서 다른 데이터 소스의 추가 환경 변수를 노출할 수 있게 해줍니다.

아래는 extraEnvFrom의 사용 예입니다:

extraEnvFrom:
  MY_NODE_NAME:
    fieldRef:
      fieldPath: spec.nodeName
  MY_CPU_REQUEST:
    resourceFieldRef:
      containerName: test-container
      resource: requests.cpu
  SECRET_THING:
    secretKeyRef:
      name: special-secret
      key: special_token
      # 선택적: boolean
pods:
  - name: immediate
    extraEnvFrom:
      CONFIG_STRING:
        configMapKeyRef:
          name: useful-config
          key: some-string
          # 선택적: boolean

extraVolumes

extraVolumes는 차트 전반에 걸쳐 추가 볼륨을 구성할 수 있게 해줍니다.

아래는 extraVolumes의 사용 예입니다:

extraVolumes: |
  - name: example-volume
    persistentVolumeClaim:
      claimName: example-pvc

extraVolumeMounts

extraVolumeMounts는 차트 전반에 걸쳐 모든 컨테이너에 대해 추가 volumeMounts를 구성할 수 있게 해줍니다.

아래는 extraVolumeMounts의 사용 예입니다:

extraVolumeMounts: |
  - name: example-volume-mount
    mountPath: /etc/example

image.pullSecrets

pullSecrets는 pod에 대한 이미지를 가져오기 위해 개인 레지스트리에 인증할 수 있게 해줍니다.

개인 레지스트리 및 인증 방법에 대한 추가 정보는 Kubernetes 문서에서 확인할 수 있습니다.

아래는 pullSecrets의 사용 예입니다:

image:
  repository: my.sidekiq.repository
  pullPolicy: Always
  pullSecrets:
  - name: my-secret-name
  - name: my-secondary-secret-name

serviceAccount

이 섹션은 ServiceAccount가 생성되어야 하는지 여부와 기본 액세스 토큰이 파드에 탑재되어야 하는지 여부를 제어합니다.

tolerations

tolerations는 오염된 작업자 노드에서 파드를 스케줄하도록 허용합니다.

아래는 tolerations의 사용 예입니다:

tolerations:
- key: "node_label"
  operator: "Equal"
  value: "true"
  effect: "NoSchedule"
- key: "node_label"
  operator: "Equal"
  value: "true"
  effect: "NoExecute"

annotations

annotations는 Sidekiq 파드에 주석을 추가할 수 있도록 합니다.

아래는 annotations의 사용 예입니다:

annotations:
  kubernetes.io/example-annotation: annotation-value

Using the Community Edition of this chart

기본적으로 Helm 차트는 GitLab의 Enterprise Edition을 사용합니다. 원하는 경우 커뮤니티 에디션을 대신 사용할 수 있습니다. 두 버전의 차이점에 대해 더 알아보세요.

커뮤니티 에디션을 사용하려면 image.repository를 registry.gitlab.com/gitlab-org/build/cng/gitlab-sidekiq-ce로 설정하세요.

External Services

이 차트는 Webservice 차트와 동일한 Redis, PostgreSQL 및 Gitaly 인스턴스에 연결되어야 합니다. 외부 서비스의 값은 모든 Sidekiq 파드에서 공유되는 ConfigMap에 채워집니다.

Redis

redis:
  host: rank-racoon-redis
  port: 6379
  sentinels:
    - host: sentinel1.example.com
      port: 26379
  password:
    secret: gitlab-redis
    key: redis-password

Redis 비밀번호를 포함하는 비밀은 GitLab 차트를 배포하기 전에 수동으로 생성해야 합니다.

PostgreSQL

psql:
  host: rank-racoon-psql
  serviceName: pgbouncer
  port: 5432
  database: gitlabhq_production
  username: gitlab
  preparedStatements: false
  password:
    secret: gitlab-postgres
    key: psql-password

Gitaly

gitaly:
  internal:
    names:
      - default
      - default2
  external:
    - name: node1
      hostname: node1.example.com
      port: 8079
  authToken:
    secret: gitaly-secret
    key: token

메트릭

기본적으로 각 포드에 대해 Prometheus 메트릭 수출자가 활성화됩니다. 메트릭은 GitLab Prometheus 메트릭이 관리 영역에서 활성화된 경우에만 사용할 수 있습니다. 수출자는 포트 3807에서 /metrics 엔드포인트를 노출합니다. 메트릭이 활성화되면, 주석이 각 포드에 추가되어 Prometheus 서버가 노출된 메트릭을 발견하고 스크랩할 수 있습니다.

차트 전체 기본값

다음 값들은 특정 값이 per-pod 기준으로 제시되지 않는 경우 차트 전체에서 사용됩니다.

참고: Sidekiq 메모리 킬러에 대한 자세한 문서가 있습니다 Linux 패키지 문서에서 확인할 수 있습니다.

Per-pod 설정

pods 선언은 작업 pod에 대한 모든 속성을 선언할 수 있도록 합니다. 이러한 속성은 Deployment에 템플릿화되며, 각 Sidekiq 인스턴스에 대해 개별 ConfigMap이 생성됩니다.

참고: 설정은 모든 큐를 모니터링하도록 설정된 단일 pod를 포함하는 것을 기본으로 합니다. pods 섹션에 변경 사항을 추가하면 기본 pod를 덮어쓰게 되며, 기본 pod와 함께 새로운 pod를 추가하지 않습니다.

큐

queues 값은 처리할 큐의 쉼표로 구분된 목록을 포함하는 문자열입니다. 기본적으로 설정되어 있지 않으며, 이는 모든 큐가 처리됨을 의미합니다.

문자열에는 공백이 포함되어서는 안 됩니다: merge,post_receive,process_commit은 동작하지만 merge, post_receive, process_commit은 동작하지 않습니다.

작업이 추가되지만 최소한 하나의 팟 항목의 일부로 나타나지 않는 큐는 처리되지 않습니다. 모든 큐의 전체 목록은 GitLab 소스의 다음 파일을 참조하세요:

1. app/workers/all_queues.yml
2. ee/app/workers/all_queues.yml

gitlab.sidekiq.pods[].queues를 구성하는 것 외에도 global.appConfig.sidekiq.routingRules도 구성해야 합니다. 자세한 내용은 Sidekiq 라우팅 규칙 설정을 참조하세요.

예시 pod 항목

pods:
  - name: immediate
    concurrency: 10
    minReplicas: 2  # 기본값으로 상속된 값
    maxReplicas: 10 # 기본값으로 상속된 값
    maxUnavailable: 5 # 기본값으로 상속된 값
    queues: merge,post_receive,process_commit
    extraVolumeMounts: |
      - name: example-volume-mount
        mountPath: /etc/example
    extraVolumes: |
      - name: example-volume
        persistentVolumeClaim:
          claimName: example-pvc
    resources:
      limits:
        cpu: 800m
        memory: 2Gi
    hpa:
      cpu:
        targetType: Value
        targetAverageValue: 350m

Sidekiq 구성의 전체 예시

다음은 가져오기 관련 작업을 위한 별도의 Sidekiq 팟, 내보내기 관련 작업을 위한 Sidekiq 팟 및 기타 모든 작업을 위한 또 다른 팟을 사용하는 Sidekiq 구성의 전체 예입니다.

...
global:
  appConfig:
    sidekiq:
      routingRules:
      - ["feature_category=importers", "import"]
      - ["feature_category=exporters", "export", "queues_shard_extra_shard"]
      - ["*", "default"]
  redis:
    redisYmlOverride:
      queues_shard_extra_shard: ...
...
gitlab:
  sidekiq:
    pods:
    - name: import
      queues: import
    - name: export
      queues: export
      extraEnv:
        SIDEKIQ_SHARD_NAME: queues_shard_extra_shard # global.redis.redisYmlOverride의 키와 일치
    - name: default
...

networkpolicy 구성

이 섹션은 NetworkPolicy를 제어합니다. 이 구성은 선택 사항이며 특정 끝점으로의 Pods의 Egress 및 Ingress를 제한하는 데 사용됩니다.

예시 네트워크 정책

Sidekiq 서비스는 Prometheus exporter에 대해 Ingress 연결만 필요하며, 일반적으로 다양한 위치에 Egress 연결이 필요합니다. 이 예시는 다음과 같은 네트워크 정책을 추가합니다:

• TCP 10.0.0.0/8 포트 3807에서 네트워크로부터의 모든 Ingress 요청을 메트릭스 내보내기를 위해 허용합니다.

• UDP 10.0.0.0/8 포트 53으로 네트워크에 대한 모든 Egress 요청을 DNS를 위해 허용합니다.

• TCP 10.0.0.0/8 포트 5432로 네트워크에 대한 모든 Egress 요청을 PostgreSQL을 위해 허용합니다.

• TCP 10.0.0.0/8 포트 6379로 네트워크에 대한 모든 Egress 요청을 Redis를 위해 허용합니다.

• 10.0.0.0/8의 로컬 네트워크에 대한 다른 Egress 요청은 제한됩니다.

• 10.0.0.0/8 외부의 Egress 요청은 허용됩니다.

제공된 예시는 단지 예일 뿐이며 완전하지 않을 수 있습니다.

Sidekiq 서비스는 외부 오브젝트 스토리지에서 이미지를 위해 공용 인터넷에 대한 아웃바운드 연결이 필요합니다.

networkpolicy:
  enabled: true
  ingress:
    enabled: true
    rules:
      - from:
        - ipBlock:
            cidr: 10.0.0.0/8
        ports:
        - port: 3807
  egress:
    enabled: true
    rules:
      - to:
        - ipBlock:
            cidr: 10.0.0.0/8
        ports:
        - port: 53
          protocol: UDP
      - to:
        - ipBlock:
            cidr: 10.0.0.0/8
        ports:
        - port: 5432
          protocol: TCP
      - to:
        - ipBlock:
            cidr: 10.0.0.0/8
        ports:
        - port: 6379
          protocol: TCP
      - to:
        - ipBlock:
            cidr: 0.0.0.0/0
            except:
            - 10.0.0.0/8

KEDA 구성

이 keda 섹션은 일반 HorizontalPodAutoscalers 대신 KEDA ScaledObjects의 설치를 활성화합니다.

이 구성은 선택 사항이며 사용자 지정 또는 외부 메트릭에 기반한 자동 축척이 필요할 때 사용할 수 있습니다.

대부분의 설정은 가능한 경우 hpa 섹션에 설정된 값이 기본값으로 설정됩니다.

다음 조건이 충족되면 hpa 섹션에 설정된 CPU 및 메모리 임계값에 따라 CPU 및 메모리 트리거가 자동으로 추가됩니다:

• triggers가 설정되지 않았습니다.

• 해당 request.cpu.request 또는 request.memory.request 설정이 또한 영(0)이 아닌 값으로 설정되어 있습니다.

트리거가 설정되지 않으면 ScaledObject가 생성되지 않습니다.

해당 설정에 대한 자세한 내용은 KEDA 문서를 참조하세요.