메트릭 계측 가이드
이 가이드는 메트릭 계측을 사용하여 Service Ping 메트릭을 개발하는 방법을 설명합니다.
비디오 튜토리얼은 계측 클래스를 통한 Service Ping 메트릭 추가를 참조하세요.
명명법
-
계측 클래스:
- 다음 메트릭 클래스 중 하나를 상속합니다:
DatabaseMetric,NumbersMetric또는GenericMetric. - Service Ping 메트릭의 값을 계산하는 로직을 구현합니다.
- 다음 메트릭 클래스 중 하나를 상속합니다:
-
메트릭 정의 Service Data 메트릭 YAML 정의입니다.
- 강화: 메서드를 강화하는 것은 메서드가 안전하게 실패하여 -1과 같은 대체 값을 반환하도록 보장하는 과정입니다.
작동 방식
메트릭 정의에는 instrumentation_class 필드가 있으며, 이 필드는 클래스로 설정할 수 있습니다.
정의된 계측 클래스는 기존 메트릭 클래스 중 하나인 DatabaseMetric, NumbersMetric 또는 GenericMetric을 상속해야 합니다.
현재 관습은 단일 계측 클래스가 단일 메트릭에 해당하는 것입니다.
계측 클래스를 사용하면 메트릭이 개별적으로 안전하게 실패할 수 있도록 보장하여 Service Ping 생성의 전체 프로세스가 중단되지 않도록 합니다.
데이터베이스 메트릭
참고: 가능한 경우 데이터베이스 메트릭 대신 내부 이벤트 추적 사용을 권장합니다.
데이터베이스 메트릭은 더 큰 GitLab 인스턴스의 데이터베이스에 불필요한 부하를 생성할 수 있으며 잠재적 최적화가 인스턴스 성능에 영향을 미칠 수 있습니다.
데이터베이스 메트릭을 사용하여 특정 인스턴스에 존재하는 문제 수와 같이 데이터베이스에 저장된 데이터를 추적할 수 있습니다.
-
operation: 주어진relation에 대한 작업으로,count,distinct_count,sum,average중 하나입니다. -
relation:operation을 수행할 객체에 대한ActiveRecord::Relation을 반환하는 람다를 할당합니다. 할당된 람다는 최대 하나의 매개변수를 받을 수 있습니다. 매개변수는 해시로 정리되어 메트릭 정의의options키 아래에 저장됩니다. -
start: 배치 카운팅의 시작 값을 지정하며, 기본값은relation.minimum(:id)입니다. -
finish: 배치 카운팅의 종료 값을 지정하며, 기본값은relation.maximum(:id)입니다. -
cache_start_and_finish_as:start및finish값의 캐시 키를 지정하고 캐시 설정을 합니다.start및finish가 서로 다른 메트릭 계산 간에 재사용되어야 하는 비용이 큰 쿼리인 경우 이 호출을 사용하십시오. -
available?: 메트릭이 보고되어야 하는지 여부를 지정합니다. 기본값은true입니다. -
timestamp_column: 선택적으로 시간 제약 메트릭을 위해 레코드를 필터링하는 데 사용되는 타임스탬프 열을 지정합니다. 기본값은created_at입니다.
최적화 권장 사항 및 예시
Service Ping 메트릭에 대한 단일 쿼리는 콜드 캐시에서 1초 실행 시간 이하로 유지해야 합니다.
- 전문 인덱스를 사용하십시오. 예시는 다음 병합 요청을 참조하세요:
- 정의된
start및finish를 사용하십시오. 이러한 값은 메모이제이션되어 재사용될 수 있으며, 다음 예시 병합 요청에서와 같습니다. - 쿼리에서 조인 및 불필요한 복잡성을 피하십시오. 이 예시 병합 요청을 참조하십시오.
-
distinct_count에 대해 사용자 지정batch_size를 설정하십시오. 이 예시 병합 요청을 참조하십시오.
데이터베이스 메트릭 예시
카운트 예시
module Gitlab
module Usage
module Metrics
module Instrumentations
class CountIssuesMetric < DatabaseMetric
operation :count
relation ->(options) { Issue.where(confidential: options[:confidential]) }
end
end
end
end
end
배치 카운터 예시
module Gitlab
module Usage
module Metrics
module Instrumentations
class CountIssuesMetric < DatabaseMetric
operation :count
start { Issue.minimum(:id) }
finish { Issue.maximum(:id) }
relation { Issue }
end
end
end
end
end
고유 배치 카운터 예시
# frozen_string_literal: true
module Gitlab
module Usage
module Metrics
module Instrumentations
class CountUsersAssociatingMilestonesToReleasesMetric < DatabaseMetric
operation :distinct_count, column: :author_id
relation { Release.with_milestones }
start { Release.minimum(:author_id) }
finish { Release.maximum(:author_id) }
end
end
end
end
end
합계 예시
# frozen_string_literal: true
module Gitlab
module Usage
module Metrics
module Instrumentations
class JiraImportsTotalImportedIssuesCountMetric < DatabaseMetric
operation :sum, column: :imported_issues_count
relation { JiraImportState.finished }
end
end
end
end
end
평균 예시
# frozen_string_literal: true
module Gitlab
module Usage
module Metrics
module Instrumentations
class CountIssuesWeightAverageMetric < DatabaseMetric
operation :average, column: :weight
relation { Issue }
end
end
end
end
end
추정 배치 카운터
추정 배치 카운터 기능은 제공된 estimate_batch_distinct_count 메서드를 통해 사용될 때 ActiveRecord::StatementInvalid 오류를 처리합니다.
오류는 -1 값을 반환합니다.
경고:
이 기능은 주어진 열에서 특정 ActiveRecord_Relation의 고유 카운트를 추정하며, HyperLogLog 알고리즘을 사용합니다.
HyperLogLog 알고리즘은 확률적이므로 결과에는 항상 오류가 포함됩니다.
가장 높은 오류율은 4.9%입니다.
올바르게 사용하면, estimate_batch_distinct_count 메서드는 고유하지 않은 값을 포함하는 열에 대한 효율적인 카운트를 가능하게 하며, 이는 다른 카운터로는 보장할 수 없습니다.
estimate_batch_distinct_count 메서드
메서드:
estimate_batch_distinct_count(relation, column = nil, batch_size: nil, start: nil, finish: nil)
메서드에는 다음과 같은 매개변수가 포함됩니다:
-
relation: 카운트를 수행할 ActiveRecord_Relation. -
column: 고유 카운트를 수행할 열. 기본값은 기본 키입니다. -
batch_size:Gitlab::Database::PostgresHll::BatchDistinctCounter::DEFAULT_BATCH_SIZE에서. 기본값: 10,000. -
start: 복잡한 최소 계산을 피하기 위한 배치 카운트의 사용자 정의 시작. -
finish: 복잡한 최대 계산을 피하기 위한 배치 카운트의 사용자 정의 종료.
이 메서드에는 다음과 같은 사전 조건이 포함됩니다:
- 제공된
relation에는 숫자 열로 정의된 기본 키가 포함되어야 합니다. 예:id bigint NOT NULL. -
estimate_batch_distinct_count는 조인된 관계를 처리할 수 있습니다. 고유하지 않은 열을 카운트하려면, 조인된 관계는 하나의 관계가 아닌 다수의 관계를 가져서는 안 됩니다. 예:has_many :boards. -
start와finish매개변수는 항상 기본 키 관계 값을 나타내야 하며, 추정된 카운트가 다른 열을 참조하는 경우에도 해당합니다. 예:estimate_batch_distinct_count(::Note, :author_id, start: ::Note.minimum(:id), finish: ::Note.maximum(:id))
예시:
-
관계만 제공된 간단한 추정 배치 카운터 실행, 반환된 값은
Project관계의id열(즉, 기본 키)에서 고유 값의 추정 개수를 나타냅니다:estimate_batch_distinct_count(::Project) -
추가 필터가 적용된 제공된 관계에서 추정 배치 카운터를 실행, 사용자 정의 열(
:author_id)에서 고유 값이 추정되고, 매개변수인start와finish는 제공된 관계의 범위를 정의합니다:estimate_batch_distinct_count(::Note.with_suggestions.where(time_period), :author_id, start: ::Note.minimum(:id), finish: ::Note.maximum(:id))
숫자 메트릭
-
operation: 주어진data블록에 대한 작업. 현재 우리는add작업만 지원합니다. -
data: 숫자 배열을 포함하는block입니다. -
available?: 메트릭이 보고되어야 하는지 여부를 지정합니다. 기본값은true입니다.
# frozen_string_literal: true
module Gitlab
module Usage
module Metrics
module Instrumentations
class IssuesBoardsCountMetric < NumbersMetric
operation :add
data do |time_frame|
[
CountIssuesMetric.new(time_frame: time_frame).value,
CountBoardsMetric.new(time_frame: time_frame).value
]
end
end
end
end
end
end
end
YAML 설정에 계측 클래스 이름도 포함해야 합니다.
time_frame: 28d
instrumentation_class: IssuesBoardsCountMetric
일반 메트릭
인스턴스의 데이터베이스 버전과 같은 다른 메트릭을 위한 일반 메트릭을 사용할 수 있습니다.
-
value: 메트릭의 값을 지정합니다. -
available?: 메트릭이 보고되어야 하는지 여부를 지정합니다. 기본값은true입니다.
module Gitlab
module Usage
module Metrics
module Instrumentations
class UuidMetric < GenericMetric
value do
Gitlab::CurrentSettings.uuid
end
end
end
end
end
end
프롬테우스 메트릭
이 계측 클래스는 value 블록에 Prometheus 클라이언트 객체를 인수로 전달하여 Prometheus 쿼리를 처리할 수 있도록 합니다.
모든 Prometheus 오류 처리는 블록 자체에서 수행해야 합니다.
-
value: 메트릭의 값을 지정합니다. Prometheus 클라이언트 객체가 첫 번째 인수로 전달됩니다. -
available?: 메트릭이 보고되어야 하는지 여부를 지정합니다. 기본값은true입니다.
module Gitlab
module Usage
module Metrics
module Instrumentations
class GitalyApdexMetric < PrometheusMetric
value do |client|
result = client.query('avg_over_time(gitlab_usage_ping:gitaly_apdex:ratio_avg_over_time_5m[1w])').first
break FALLBACK unless result
result['value'].last.to_f
end
end
end
end
end
end
새 메트릭 계측 클래스 생성
생성기는 클래스 이름을 인수로 취하고 다음 옵션을 가집니다:
-
--type=TYPE필수. 메트릭 유형을 나타냅니다. 반드시 다음 중 하나여야 합니다:database,generic,redis,numbers. -
--operationdatabase및numbers유형에 필요합니다.-
database의 경우 반드시 다음 중 하나여야 합니다:count,distinct_count,estimate_batch_distinct_count,sum,average. -
numbers의 경우 반드시add여야 합니다.
-
-
--ee메트릭이 EE용인지 여부를 나타냅니다.
rails generate gitlab:usage_metric CountIssues --type database --operation distinct_count
create lib/gitlab/usage/metrics/instrumentations/count_issues_metric.rb
create spec/lib/gitlab/usage/metrics/instrumentations/count_issues_metric_spec.rb
서비스 핑 메트릭스를 계측 클래스에 마이그레이션하기
이 가이드는 lib/gitlab/usage_data.rb 또는 ee/lib/ee/gitlab/usage_data.rb에서 서비스 핑 메트릭을 계측 클래스로 마이그레이션하는 방법을 설명합니다.
- 메트릭 유형 선택:
-
계측 클래스의 위치 결정:
ee아래 또는ee외부. -
계측 클래스 본문 채우기:
-
메트릭을 위한 코드 논리를 추가합니다. 이는
usage_data.rb의 메트릭 구현과 유사할 수 있습니다. -
개별 메트릭에 대한 테스트를 추가합니다
spec/lib/gitlab/usage/metrics/instrumentations/. -
서비스 핑에 대한 테스트를 추가합니다.
-
-
lib/gitlab/usage_data.rb또는ee/lib/ee/gitlab/usage_data.rb에서 코드를 제거합니다. -
spec/lib/gitlab/usage_data.rb또는ee/spec/lib/ee/gitlab/usage_data.rb에서 테스트를 제거합니다.
메트릭 문제 해결
가끔 메트릭은 명확하지 않은 이유로 실패할 수 있습니다. 실패는 성능 문제 또는 기타 문제와 관련이 있을 수 있습니다.
다음의 페어링 세션 비디오는 실제 세계에서 실패하는 메트릭에 대한 조사 예를 제공합니다.
도움말