성능 튜닝 및 테스트 속도

API Fuzzing과 같은 API 퍼즈 테스트를 수행하는 보안 도구는 실행 중인 애플리케이션 인스턴스로 요청을 보내어 테스트를 수행합니다. 요청은 퍼징 엔진에 의해 변이되어 응용 프로그램에 존재할 수 있는 예상치 못한 동작을 유발합니다. API 퍼즈 테스트의 속도는 다음에 따라 달라집니다.

우리의 도구로 응용 프로그램에 초당 전송할 수 있는 요청의 수
응용 프로그램이 요청에 응답하는 속도
응용 프로그램 테스트를 위해 전송해야 하는 요청 수
- API가 구성된 작업 수
- 각 작업에 포함된 필드 수 (JSON 본문, 헤더, 쿼리 문자열, 쿠키 등)

이 성능 가이드의 조언을 따라도 API Fuzzing 테스트 작업이 예상보다 더 오랜 시간이 걸리는 경우, 추가 지원을 위해 지원팀에 문의하십시오.

성능 문제 진단

성능 문제 해결의 첫 번째 단계는 예상보다 느린 테스트 시간에 기여하는 요소를 이해하는 것입니다. 우리가 자주 발견하는 몇 가지 일반적인 문제는 다음과 같습니다:

API Fuzzing이 저 vCPU 러너에서 실행 중
응용 프로그램이 느린/단일 CPU 인스턴스에 배포되어 있으며 테스트 부하를 견딜 수 없음
응용 프로그램에 전체 테스트 속도에 영향을 미치는 느린 작업이 포함
응용 프로그램에 대량의 데이터를 반환하는 작업이 포함(> 500K+)
응용 프로그램에 대량의 작업이 포함(> 40)

응용 프로그램에 전체 테스트 속도에 영향을 미치는 느린 작업이 포함

API Fuzzing 작업 출력에는 테스트하는 속도, 각 테스트 중인 작업이 응답하는 속도 및 요약 정보에 대한 유용한 정보가 포함되어 있습니다. 성능 문제를 추적하는 데 이 출력을 어떻게 사용할 수 있는지 알아봅시다:

API Fuzzing: assets/har-large-response/large_responses.har에서 10개의 작업 로드됨
API Fuzzing:
API Fuzzing: 작업 테스트 중 [1/10]: 'GET http://target:7777/api/large_response_json'
API Fuzzing:  - 매개변수: (헤더: 4, 쿼리: 0, 바디: 0)
API Fuzzing:  - 요청 바디 크기: 0 바이트 (0 바이트)
API Fuzzing:
API Fuzzing: 'GET http://target:7777/api/large_response_json' 테스트 완료
API Fuzzing:  - 제외된 매개변수: (헤더: 0, 쿼리: 0, 바디: 0)
API Fuzzing:  - 수행된 요청 수: 767
API Fuzzing:  - 평균 응답 바디 크기: 130 MB
API Fuzzing:  - 평균 호출 시간: 2초 82.69밀리초 (2.082693초)
API Fuzzing:  - 완료까지 소요된 시간: 14분 8초 788.36밀리초 (848.788358초)

이 작업 콘솔 출력 스니펫은 찾은 작업 수(10)를 알려주고, 특정 작업에서 테스트가 시작되었음을 알리는 알림으로 시작하여 작업에 대한 요약이 완료되었다는 알림을 따릅니다. 요약은 이 로그 출력의 가장 흥미로운 부분입니다. 요약에서 우리는 이 작업 및 해당 관련 필드를 완전히 테스트하기 위해 API Fuzzing이 767개의 요청을 수행했음을 볼 수 있습니다. 또한, 평균 응답 시간은 2초이고 완료하는 데 걸린 시간은 한 작업에 대해 14분입니다.

평균 응답 시간이 2초는 해당 작업이 테스트하는 데 오랜 시간이 걸린다는 초기 지표입니다. 더불어 응답 본문 크기가 상당히 크다는 것을 알 수 있습니다. 큰 본문 크기가 이 문제의 주범으로, 각 요청에서 그만큼 많은 데이터를 전송하는 데 대부분의 2초가 소요됩니다.

이 문제에 대해 팀은 아마도 다음을 결정할 것입니다:

API Fuzzing이 수행하는 작업을 병렬화할 수 있게 하는 더 많은 vCPU가 장착된 러너를 사용합니다. 이렇게 함으로써 테스트 시간을 줄일 수 있지만, 해당 작업이 테스트하는 데 소요되는 시간이 길기 때문에 10분 이내로 테스트를 완료하는 것은 여전히 문제일 수 있습니다. 큰 러너는 더 비싸지만, 작업 실행 시간이 더 짧다면 시간당 요금도 줄어듭니다.
이 작업 제외시킵니다. 이것이 가장 간단하지만, 보안 테스트 범위에 공백이 발생합니다.
기능 브랜치 API Fuzzing 테스트에서 해당 작업 제외, 그러나 기본 브랜치 테스트에는 포함시키세요.
API Fuzzing 테스트를 여러 작업으로 분할합니다.

팀의 요구 사항이 5-7분 범위에 있다고 가정하면 이러한 솔루션의 조합을 사용하여 수용 가능한 테스트 시간에 도달할 수 있을 것입니다.

성능 문제 대처

다음 섹션에서는 API Fuzzing의 성능 문제를 해결하기 위한 여러 옵션에 대해 문서화되어 있습니다:

보다 큰 러너 사용
느린 작업 제외
테스트를 여러 작업으로 분할
기능 브랜치에서 작업 제외, 그러나 기본 브랜치에 포함

보다 큰 러너 사용

API Fuzzing에 대한 가장 쉬운 성능 향상 중 하나는 보다 큰 러너를 사용하는 것입니다. 이 표는 Java Spring Boot REST API를 벤치마킹하는 동안 수집된 통계를 보여줍니다. 이 벤치마킹에서 타겟과 API Fuzzing은 하나의 러너 인스턴스를 공유합니다.

Linux에서 호스팅된 러너 태그	초당 요청 수
`saas-linux-small-amd64` (기본값)	255
`saas-linux-medium-amd64`	400

이 표에서 보듯이 러너 크기와 vCPU 수를 증가시키면 테스트 속도/성능에 상당한 영향을 미칠 수 있습니다.

다음은 Linux용 중간 SaaS 러너를 사용하도록 tags 섹션을 추가하는 API Fuzzing 작업 정의의 예입니다. 이 작업은 API Fuzzing 템플릿을 통해 포함된 작업 정의를 확장합니다.

apifuzzer_fuzz:
  tags:
  - saas-linux-medium-amd64

gl-api-security-scanner.log 파일에서 Starting work item processor 문자열을 검색하여 보고된 최대 DOP(병렬성)을 검토할 수 있습니다. 최대 DOP는 러너에 할당된 vCPU 수보다 크거나 같아야 합니다. 문제를 식별할 수 없는 경우, 지원티켓을 열어서 지원팀에 도움을 요청하십시오.

예시 로그 항목:

17:00:01.084 [INF] <Peach.Web.Core.Services.WebRunnerMachine> Starting work item processor with 4 max DOP

느린 작업 제외

한 개 또는 두 개의 느린 작업의 경우, 팀은 해당 작업 테스트를 건너뛰기로 결정할 수 있습니다. 이 작업 제외는 작업 URL의 경로 부분을 FUZZAPI_EXCLUDE_PATHS 구성 변수를 사용하여 수행됩니다.

이 예에서 우리는 대량의 데이터를 반환하는 작업이 있는데, 해당 작업은 GET http://target:7777/api/large_response_json입니다. 이를 제외하기 위해 FUZZAPI_EXCLUDE_PATHS 구성 변수를 작업 URL의 경로 부분 /api/large_response_json으로 제공합니다.

작업이 제외되었는지 확인하려면 API Fuzzing 작업을 실행하고 작업 콘솔 출력을 검토하면 됩니다. 테스트의 끝에 포함된 작업과 제외된 작업 디렉터리이 포함되어 있습니다.

apifuzzer_fuzz:
  variables:
    FUZZAPI_EXCLUDE_PATHS: /api/large_response_json

테스트에서 작업을 제외함으로써 일부 취약점이 감지되지 않을 수 있음을 주의하세요.

테스트를 여러 작업으로 분할

테스트를 여러 작업으로 분할하는 것은 FUZZAPI_EXCLUDE_PATHS 및 FUZZAPI_EXCLUDE_URLS을 사용하여 API Fuzzing에서 지원됩니다. 테스트를 분할할 때 좋은 패턴은 apifuzzer_fuzz 작업을 비활성화하고 식별 가능한 이름의 두 작업으로 대체하는 것입니다. 이 예에서는 API의 버전을 테스트하는 두 개의 작업이 있으므로 작업 이름도 그에 따라 나타냅니다. 그러나 이 기술은 API의 버전 뿐만 아니라 다른 상황에도 적용할 수 있습니다.

apifuzzer_v1 및 apifuzzer_v2 작업에서 사용하는 규칙은 API Fuzzing 템플릿에서 복사되었습니다.

# 주요 apifuzzer_fuzz 작업 비활성화
apifuzzer_fuzz:
  rules:
  - if: $CI_COMMIT_BRANCH
    when: never

apifuzzer_v1:
  extends: apifuzzer_fuzz
  variables:
    FUZZAPI_EXCLUDE_PATHS: /api/v1/**
  rules:
    - if: $API_FUZZING_DISABLED == 'true' || $API_FUZZING_DISABLED == '1'
      when: never
    - if: $API_FUZZING_DISABLED_FOR_DEFAULT_BRANCH == 'true' &&
            $CI_DEFAULT_BRANCH == $CI_COMMIT_REF_NAME
      when: never
    - if: $API_FUZZING_DISABLED_FOR_DEFAULT_BRANCH == '1' &&
            $CI_DEFAULT_BRANCH == $CI_COMMIT_REF_NAME
      when: never
    - if: $CI_COMMIT_BRANCH &&
          $CI_GITLAB_FIPS_MODE == "true"
      variables:
          FUZZAPI_IMAGE_SUFFIX: "-fips"
    - if: $CI_COMMIT_BRANCH

apifuzzer_v2:
  variables:
    FUZZAPI_EXCLUDE_PATHS: /api/v2/**
  rules:
    - if: $API_FUZZING_DISABLED == 'true' || $API_FUZZING_DISABLED == '1'
      when: never
    - if: $API_FUZZING_DISABLED_FOR_DEFAULT_BRANCH &&
            $CI_DEFAULT_BRANCH == $CI_COMMIT_REF_NAME
      when: never
    - if: $CI_COMMIT_BRANCH &&
          $CI_GITLAB_FIPS_MODE == "true"
      variables:
          FUZZAPI_IMAGE_SUFFIX: "-fips"
    - if: $CI_COMMIT_BRANCH

기능 브랜치에서 연산 제외하기 (기본 브랜치는 제외하지 않음)

한 개 또는 두 개의 느린 연산이 있는 경우, 팀은 연산을 건너뛰거나 기능 브랜치 테스트에서 제외하고 기본 브랜치 테스트에 포함하기로 결정할 수 있습니다. 연산을 제외하는 것은 FUZZAPI_EXCLUDE_PATHS 구성 변수를 사용하여 해당 섹션에 설명된 대로 수행합니다.

이 예에서 우리는 많은 양의 데이터를 반환하는 연산이 있습니다. 해당 연산은 GET http://target:7777/api/large_response_json 입니다. 이를 제외하기 위해 우리는 우리의 연산 URL의 경로 부분 /api/large_response_json과 함께 FUZZAPI_EXCLUDE_PATHS 구성 변수를 제공합니다. 우리의 구성은 주요 apifuzzer_fuzz 작업을 비활성화하고 apifuzzer_main 및 apifuzzer_branch 두 새 작업을 생성합니다. apifuzzer_branch는 긴 연산을 제외하고 기본 브랜치가 아닌 경우(예: 기능 브랜치)에만 실행되도록 설정됩니다. apifuzzer_main 브랜치는 기본 브랜치(main 예시)에서만 실행되도록 설정됩니다. apifuzzer_branch 작업은 더 빠르게 실행되어 빠른 개발 주기를 가능케 하고 기본 브랜치 빌드에서만 실행되는 apifuzzer_main 작업은 더 오래 걸립니다.

연산이 제외되었는지 확인하려면 API Fuzzing 작업을 실행하고 작업 콘솔 출력을 확인하세요. 테스트의 마지막에 포함된 및 제외된 연산 디렉터리이 표시됩니다.

# 두 개의 작업을 만들기 위해 주요 작업 비활성화
apifuzzer_fuzz:
  rules:
  - if: $CI_COMMIT_BRANCH
    when: never

# 기능 브랜치 작업을 위한 API Fuzzing, /api/large_response_json 제외
apifuzzer_branch:
  extends: apifuzzer_fuzz
  variables:
    FUZZAPI_EXCLUDE_PATHS: /api/large_response_json
  rules:
    - if: $API_FUZZING_DISABLED == 'true' || $API_FUZZING_DISABLED == '1'
      when: never
    - if: $API_FUZZING_DISABLED_FOR_DEFAULT_BRANCH &&
            $CI_DEFAULT_BRANCH == $CI_COMMIT_REF_NAME
      when: never
    - if: $CI_COMMIT_BRANCH &&
          $CI_GITLAB_FIPS_MODE == "true"
      variables:
          FUZZAPI_IMAGE_SUFFIX: "-fips"
    - if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH
      when: never
    - if: $CI_COMMIT_BRANCH

# 기본 브랜치(main)용 API Fuzzing
# 긴 실행 연산 포함
apifuzzer_main:
  extends: apifuzzer_fuzz
  rules:
    - if: $API_FUZZING_DISABLED == 'true' || $API_FUZZING_DISABLED == '1'
      when: never
    - if: $API_FUZZING_DISABLED_FOR_DEFAULT_BRANCH &&
            $CI_DEFAULT_BRANCH == $CI_COMMIT_REF_NAME
      when: never
    - if: $CI_COMMIT_BRANCH &&
          $CI_GITLAB_FIPS_MODE == "true"
      variables:
          FUZZAPI_IMAGE_SUFFIX: "-fips"
    - if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH