프롬프트 캐시 미스: 라우팅을 의심하기 전 확인할 5가지

목차
  1. 캐시 적중이 사라지면 무엇부터 확인해야 할까?
  2. 애플리케이션 설정과 타이밍은 어떻게 확인할까?
  3. 게이트웨이는 클라이언트와 제공자 사이에서 무엇을 바꿀 수 있을까?
  4. Synthorai에서는 캐시 성능 저하를 어떻게 조사할까?
  5. 세션 측정 사례: 성능 저하를 찾은 뒤 span 확인하기
  6. 네이티브 진단으로 요청 변경을 어떻게 찾을까?
  7. 추론 서비스 자체는 언제 조사해야 할까?
  8. 수정 효과는 어떻게 검증할까?
  9. FAQ
  10. cache_control을 추가하면 적중이 보장되나요?
  11. 모델 이름이 그대로여도 라우팅 때문에 캐시 미스가 발생할 수 있나요?
  12. 일부 토큰이 캐시되었는데 진단에서는 왜 요청이 바뀌었다고 하나요?

프롬프트 캐시 미스를 진단할 때는 먼저 사용량을 확인합니다. 그런 다음 재사용 가능 접두부, 캐시 적격성, 타이밍, 실제 업스트림 목적지를 캐시 적중이 확인된 기준 요청과 비교합니다.

TL;DR

  • 캐시 사용량이 없으면 상태를 알 수 없습니다. 읽기 사용량이 0으로 보고됐다는 사실만으로는 원인을 특정할 수 없습니다.
  • 요청 적중률은 캐시를 조금이라도 재사용한 요청의 비율이고, 토큰 재사용률은 입력 중 재사용된 양의 비율입니다.
  • 네이티브 진단 상태에 따라 대응이 달라집니다. 차이를 수정하거나, 사라진 비교 기준을 새로 만들거나, 결론을 내리지 못한 비교를 추가로 조사해야 합니다.
  • DeepSeek에서는 영속화된 접두부 단위가 일치해야 합니다. 텍스트 접두부가 같다는 것만으로는 부족할 수 있습니다.

캐시 적중이 사라지면 무엇부터 확인해야 할까?

먼저 원시 응답에 캐시 사용량이 실제로 포함되어 있는지 확인합니다. 제공자는 읽기 사용량을 보고했는데 클라이언트나 대시보드에 표시되지 않는다면 보고 경로부터 조사합니다. 그 외에는 마지막으로 캐시 적중이 확인된 요청을 보관하고, 문제가 발생한 요청과 비교합니다.

첫 확인 항목수집할 근거바로 할 수 있는 최소 조치
실제 캐시 미스인가?제공자의 원시 사용량, 클라이언트 응답, 대시보드 기록프롬프트를 바꾸기 전에 누락된 필드와 streaming 집계를 확인
접두부가 바뀌었는가?순서가 유지된 도구 목록, 시스템 텍스트, 이전 메시지구성 요소별로 비교하고, 매번 바뀌는 타임스탬프나 요청 ID를 재사용할 콘텐츠 뒤로 이동
접두부가 캐시 조건을 충족했고 기록되었는가?모델 최소 요건, 제어 설정, 읽기/쓰기 사용량정확한 모델과 API를 확인하고 의도한 중단점 점검
요청이 너무 빨랐거나 늦었는가?응답 시작 시각, 요청 간격, 캐시 수명병렬 트래픽을 테스트하기 전에 후속 요청 하나를 순차 실행
목적지가 바뀌었는가?실제 적용 모델, 서비스, 계정 범위, fallback 시도게이트웨이 운영자에게 실제 업스트림 시도 비교 요청

입력 및 캐시 사용량이 모두 있는 요청을 대상으로, 다음 두 지표를 이름부터 명확히 구분해 사용합니다.

  • 요청 적중률 = 캐시 읽기 토큰이 0보다 큰 요청 수 / 사용량이 완전한 요청 수.
  • 토큰 재사용률 = 캐시 읽기 토큰 합계 / 캐시된 입력과 캐시 쓰기를 포함한 전체 입력 토큰 합계.

사용량이 누락된 요청은 별도로 보고하고, 장애 비용에는 실패한 시도도 포함합니다. 입력이 늘어나면 요청 적중률은 그대로여도 토큰 재사용률은 낮아질 수 있습니다.

네이티브 API캐시 읽기 필드토큰 재사용률의 분모에 사용하는 전체 입력
OpenAI Responsesusage.input_tokens_details.cached_tokens캐시된 입력이 이미 포함된 usage.input_tokens
Anthropic Messagesusage.cache_read_input_tokensusage 내의 input_tokens + cache_read_input_tokens + cache_creation_input_tokens
DeepSeekusage.prompt_cache_hit_tokensusage 내의 prompt_cache_hit_tokens + prompt_cache_miss_tokens

네이티브 필드가 변환되었다면 게이트웨이의 정규화된 스키마를 사용합니다. Synthorai의 계산식은 아래에 나옵니다.

애플리케이션 설정과 타이밍은 어떻게 확인할까?

재사용할 접두부 앞쪽에서 콘텐츠가 바뀌었는지 확인합니다. 시스템 타임스탬프, 도구 순서, 다시 작성된 대화 이력부터 살펴보면 좋습니다.

접두부 변경. 순서가 유지된 도구 정의, 고정 시스템 텍스트, 이전 메시지 블록마다 별도의 지문(변경 감지용 해시)을 수집합니다. 요청별 표식은 끝에 둡니다. 요청 전체의 해시는 대화 뒤에 내용만 추가되는 정상적인 상황에서도 바뀌므로 최초 차이가 생긴 위치를 찾을 수 없습니다. 텍스트 밖의 JSON 공백과 모델에 보이는 문자열 내부의 공백도 구분해야 합니다.

검색 결과 삽입 위치, 모드 전환, 압축, 프레임워크가 최종 생성한 요청을 점검합니다. 멀티모달 입력은 전처리와 파일 참조도 비교합니다.

캐시 적격성과 제어 설정. 중단점은 캐시를 요청한 접두부의 끝을 표시합니다. TTL(time to live)은 캐시 항목에 설정된 유효 기간입니다.

요청 전체가 길다고 해서 선택한 재사용 접두부가 모델의 최소 요건을 충족하는 것은 아닙니다. 명시적 중단점을 사용한다면 중단점 앞의 콘텐츠를 확인합니다. cache_control을 추가해도 원래 조건을 충족하지 못한 접두부를 재사용할 수 있게 만들지는 못합니다. Anthropic에서는 자동 제어와 블록 단위 제어, TTL 충돌, 중단점 개수 제한을 점검합니다. 잘못된 조합은 캐시 읽기가 0인 성공 응답이 아니라 HTTP 400을 반환할 수 있습니다. 이 경우 요청 자체가 거부된 것입니다. Anthropic 프롬프트 캐싱.

사용 가능 시점과 만료. 첫 쓰기가 사용 가능해지기 전에 동일한 요청을 한꺼번에 보내면 캐시가 준비되지 않은 요청이 여러 개 생길 수 있습니다. Anthropic 문서에 따르면 캐시는 첫 응답이 시작된 뒤 사용할 수 있습니다. 첫 응답이 시작된 뒤 후속 요청 하나를 보내 캐시 적중 기준을 확보하고, 이후 병렬 요청을 응답 시작 시각 기준으로 비교합니다. 한동안 사용하지 않은 대화라면 요청 간격을 설정된 캐시 수명 및 문서에 명시된 갱신 동작과 비교합니다. Anthropic 캐시 가용성.

DeepSeek의 영속화 단위. DeepSeek는 이전 컨텍스트에서 저장해 둔 부분인 영속화된 접두부 단위 전체를 매칭합니다. 문서의 예시는 A+B 요청 다음에 A+C를 보내는 것으로 시작합니다. 두 번째 요청은 A+B 단위 전체를 재사용할 수 없습니다. 서비스가 공통 접두부 A를 감지해 영속화한 뒤에는 세 번째 요청 A+D가 그 단위를 재사용할 수 있습니다. 여기서 A는 고정 컨텍스트이고 B, C, D는 서로 다른 접미부입니다. 이는 저희가 측정한 결과가 아니라 제공자 문서에 명시된 동작입니다.

이 패턴에서는 A를 정확히 유지하고 처음 두 요청을 순차적으로 완료합니다. 영속화에 수 초가 걸릴 수 있다는 점을 고려한 뒤 세 번째 요청의 캐시 적중/미스 토큰 필드를 확인합니다. 기다리기만 한다고 원하는 공통 접두부 단위가 생성되는 것은 아니며, 캐싱은 여전히 최선형 방식으로 동작해 보장되지 않습니다. DeepSeek 영속화 규칙.

게이트웨이는 클라이언트와 제공자 사이에서 무엇을 바꿀 수 있을까?

게이트웨이는 실제로 전송되는 요청과 클라이언트에 반환되는 근거를 모두 바꿀 수 있습니다. 라우팅 때문에 성능이 나빠졌다고 판단하기 전에 둘을 따로 확인합니다.

모델 별칭, 자격 증명 범위, 정책에 따른 설정 덮어쓰기, fallback 시도를 확인합니다. 프로토콜을 변환한다면 외부로 전송되는 제어 설정과 반환된 네이티브 필드를 점검합니다. Streaming에서는 업스트림 사용량 이벤트와 최종 클라이언트 사용량을 비교합니다.

공급업체 간 라우팅 변경. 부하 분산이나 장애 전환으로 동일한 공개 모델의 요청이 서로 다른 추론 공급업체로 이동할 수 있습니다. 이들은 캐시를 따로 사용하므로 공급업체 A에서 준비된 접두부를 공급업체 B에서는 사용할 수 없습니다. 저희 공급업체 변경 연구에서는 업스트림 9개와 요청 적중 4/20을 관측했습니다. 단일 백엔드 비교에서는 19/20이었습니다. 이는 당시 구성에 대한 결과입니다.

시도를 공급업체, 모델, 계정 범위별로 묶습니다. 접두부와 요청 간격을 일정하게 유지하고, 실패와 fallback 목적지를 포함해 각 그룹 안에서 캐시 읽기를 비교합니다. 운영자에게 affinity(관련 요청을 일관되게 라우팅하는 동작)와 장애 전환을 확인해 달라고 요청합니다. 승인된 조정 후 다시 측정합니다. 공급업체 변경은 라우팅 변경의 근거가 되지만, 개별 캐시 미스는 여전히 타이밍과 적격성을 확인해야 합니다.

Synthorai 요청에는 제공자/채널 선택자가 없습니다.

Synthorai에서는 캐시 성능 저하를 어떻게 조사할까?

워크로드 추세는 Analytics에서, 개별 요청은 Logs에서 확인합니다. 화면의 명칭은 2026년 11월 6일에 실제 서비스에서 확인했습니다.

  1. 워크로드 범위를 좁힙니다. Analytics에서 Time range와 All keys · all models를 선택합니다. Logs에서는 Add filter에 model 또는 key를 사용합니다. 정상 구간과 문제 구간에 동일한 선택 조건을 적용합니다. CACHE HIT는 요청 적중률이 아니라 토큰 재사용률입니다.
  2. 요청을 점검합니다. Overview의 Cost at your rate에서 입력, 캐시 읽기, 출력, 해당하는 쓰기 항목을 비교합니다. 읽기는 일정한데 입력이 늘면 컨텍스트 증가를 의심할 수 있습니다. 읽기는 줄고 쓰기가 늘면 접두부와 타이밍을 확인합니다. Raw에는 원래 제공자 응답이 아니라 저장된 필드가 들어 있습니다.
  3. 트레이스와 세션을 따라갑니다. 문제가 있는 Logs 요청에서 Open trace를 선택한 다음 Open session을 선택합니다. Traces in this session에서 작업을 비교하고 재사용이 0인 트레이스를 엽니다. 각 span(개별 작업)을 클릭해 캐시 읽기/쓰기와 요금을 확인합니다. 워터폴만으로는 캐시 재사용을 알 수 없습니다. 원본 기록은 Logs의 session 또는 trace 필터로 확인합니다. 에스컬레이션에 사용할 링크, 타임스탬프, 네이티브 응답 ID를 보관합니다.

대화마다 X-Session-Id, 작업마다 X-Trace-Id, 개별 연산마다 X-Span-Id를 보냅니다. 캐시 추세를 해석하기 전에 모델과 공유하려는 접두부를 기준으로 묶습니다.

관측 데이터 연결과 라우팅은 별개입니다. X-Session-Id는 게이트웨이 affinity를 결정할 때 본문의 캐시 키보다 우선하기도 합니다. X-Trace-Id는 관측 데이터를 묶는 역할만 합니다. 비교 중에는 세션 식별자를 일정하게 유지합니다. 어느 쪽도 캐시 공유나 고정 목적지를 보장하지 않으므로, 적중률을 높이려고 무관한 대화를 하나로 묶어서는 안 됩니다.

필요한 필드가 모두 있는 Synthorai 저장 기록에서는 토큰 재사용률을 다음과 같이 계산합니다.

cache reads = cached_tokens + explicit_cached_tokens
input total = prompt_tokens + explicit_cached_tokens + cache_write_tokens
reuse ratio = sum(cache reads) / sum(input total)

여기서 cached_tokens는 이미 prompt_tokens에 포함되어 있습니다. 다시 더하면 입력을 이중 계산하게 됩니다. 캐시 쓰기는 분자가 아니라 분모에 넣습니다. 사용량이 누락된 기록은 제외하고 그 수를 별도로 보고합니다. 저장된 값이 0이라는 사실만으로 업스트림이 실제 측정값 0을 제공했다고 단정할 수는 없습니다.

세션 측정 사례: 성능 저하를 찾은 뒤 span 확인하기

에이전트 비용 조사에 이어, 2026년 11월 6일에 GPT-6.1 Sol을 사용해 Synthorai로 Responses 요청 6개를 순차 전송했습니다. 하나의 세션에 트레이스 3개를 넣었고, 각 트레이스에는 lookup-1과 lookup-2로 표시한 호출 2개가 있었습니다. 이 명칭은 테스트용 모델 호출을 구분하기 위한 것으로, 조회 도구는 실행하지 않았습니다. 모델, 도구, 세션 ID는 고정했습니다. 문제를 재현할 때는 요청마다 새로운 타임스탬프 형태의 값을 맨 앞에 붙였고, 수정 시에는 원래 접두부를 복원했습니다. 요청별 표식은 끝에 유지했습니다.

트레이스입력 토큰캐시 읽기재사용률보고된 비용
기준4,7292,27348.1%$0.0063923
성능 저하4,76400%$0.0119350
수정4,7324,54696.1%$0.0009446

기준, 성능 저하, 수정 트레이스를 비교한 실제 세션 표

Traces in this session에서 재사용률이 0인 성능 저하 행을 엽니다. 기준 트레이스에는 캐시가 준비되지 않은 첫 호출이 포함되어 있고, 수정 트레이스는 이미 준비된 접두부를 재사용합니다. 이 6회 호출 실험은 의도적으로 만든 장애와 복구를 보여줄 뿐, 프로덕션에서 기대할 절감률을 나타내지는 않습니다. 세션 전체 재사용률은 6,819 / 14,225 = 47.9%이며, 이 평균만 보면 성능 저하가 드러나지 않습니다.

조회 span 2개가 포함된 성능 저하 트레이스 워터폴

워터폴에서 lookup-1을 선택합니다. 상세 화면에는 입력 토큰 2,381개 중 캐시 쓰기 토큰이 2,306개로 표시됩니다. 이는 변경된 접두부를 다시 구축하는 동작과 부합합니다. 의도적으로 만든 차이는 저장된 테스트 요청으로 확인할 수 있으며, 타임라인만으로는 식별할 수 없습니다. Open in Logs에서 요청 기록을 열고 애플리케이션 측 접두부 지문과 비교합니다.

캐시 쓰기 요금이 표시된 성능 저하 span 상세 화면

이 실험에서는 네이티브 진단 비교를 요청하지 않았습니다. 의도적인 접두부 변경과 보고된 사용량으로 관측된 성능 저하 및 복구를 확인했지만, 실제 공급업체가 계속 동일했는지는 별도로 검증하지 않았습니다. 세션 식별자를 고정했으므로 이 실험은 affinity의 효과를 측정한 것이 아닙니다.

BYOK에서는 청구서와 대조하기 전에 제공자가 보고한 비용과 추정 비용을 구분합니다. 확인할 수 없는 목적지/fallback 세부 정보는 운영자에게 근거를 요청합니다.

네이티브 진단으로 요청 변경을 어떻게 찾을까?

네이티브 진단은 요청의 차이를 식별하고, 사용량은 보고된 재사용량을 측정합니다. 둘을 함께 읽어야 합니다. 선택한 게이트웨이 경로가 네이티브 필드를 지원하고 그대로 보존해야 합니다. 앞서 수행한 Synthorai 비교 테스트에서는 진단이 반환되지 않았으므로, 공급업체 문서만으로 게이트웨이에서도 사용할 수 있다고 판단할 수는 없습니다.

OpenAI Responses는 지원 모델에서 prompt_cache_options.comparison_response_id를 받습니다. 완료된 기준 응답의 ID를 보관하고 실제 후속 콘텐츠를 제출합니다. 비교 참조가 대화 이력을 불러오지는 않습니다. 결과는 prompt_cache_diagnostics에 표시되며, streaming에서는 response.completed 이벤트에도 포함됩니다. 아래 상태에 따라 다음 조치를 정합니다. 진단용 토큰 추정치는 과금 사용량과 별개입니다. OpenAI 캐시 진단.

Anthropic Messages에서는 처음 진단을 활성화할 때 diagnostics: {"previous_message_id": null}을 사용하고, 이후 진단을 활성화한 요청에는 이전 네이티브 메시지 ID를 넣습니다. Streaming에서는 message_start에 결과가 표시됩니다. 두 요청 모두 진단을 활성화했고 후속 요청에 실제 참조를 제공했는지 확인한 다음에만 null 결과를 해석합니다. Anthropic 문서의 진단 기능은 Claude API를 대상으로 하며 Amazon Bedrock과 Google 관리형 Claude는 제외됩니다. Anthropic 캐시 진단.

API와 반환 상태의미다음 조치
OpenAI cache_hit비교에서 캐시 미스를 감지하지 못함사용량으로 재사용량을 확인. 새 접미부 토큰은 여전히 처리해야 할 수 있음
OpenAI cache_miss분류된 차이가 예상 재사용에 영향을 줌reason을 확인하고 해당 구성 요소를 수정한 뒤 다시 비교
OpenAI comparison_response_not_found기준 기록이 없거나 만료됨같은 조직에서 최근 완료된 응답 선택
OpenAI unavailable지원되지 않거나 결론을 내릴 수 없는 비교모델 지원 여부를 확인하고 최근 참조로 재시도. 계속되면 수동 점검
Anthropic diagnostics: null유효하고 진단이 활성화된 비교가 실행되었을 때만 차이 없음을 의미. 진단 미활성화 상태나 첫 턴에도 반환됨활성화 여부와 참조부터 확인. 유효한 비교에서 일치했는데 읽기가 적으면 캐시 가용성 점검
진단 객체 내부의 Anthropic cache_miss_reason: null비교 대기 중다음 진단 활성화 턴에서 확인. 대기 중인 결과를 캐시 미스로 분류하지 않음
Anthropic 원인 유형 *_changed처음 식별된 차이 발생 구성 요소해당 구성 요소를 수정하고 다시 비교. 뒤쪽의 다른 차이가 남아 있을 수 있음
Anthropic previous_message_not_found보관된 기준 지문이 없음이전 요청의 진단 활성화 여부, 조직/워크스페이스, 경과 시간을 확인하고 새 기준 수립
Anthropic unavailable다른 일부 매개변수 변경이나 비교 한도 등을 포함해 결론을 내릴 수 없음실제 적용된 tool_choice, thinking/출력 설정, beta 헤더를 비교. 계속되면 수동 점검
어느 API에서든 진단 필드가 없음근거 누락API/모델 지원, 요청 옵션, 변환, streaming 이벤트 수집 확인

OpenAI의 prompt_cache_key_changed는 특히 주의해야 합니다. 실제 캐시 미스가 없어도 사용량에는 미스로 보고될 수 있습니다. 캐시 가용성 때문이라고 판단하기 전에, 별도 사용량 집계를 위해 의도적으로 키를 바꿨는지 확인합니다. 같은 집계 그룹 안에서는 키를 일정하게 유지하되, 게이트웨이 affinity에서 어떤 역할을 하는지도 확인합니다. OpenAI 진단 원인.

추론 서비스 자체는 언제 조사해야 할까?

콘텐츠가 캐시 조건을 충족하고, 타이밍이 적절하며, 목적지 범위가 비교 가능하고, 사용량을 신뢰할 수 있음을 확인한 뒤 캐시 가용성을 조사합니다. 이 조건이 모두 맞더라도 입력이 바뀌지 않았다는 이유만으로 재사용 가능한 항목이 존재한다고 보장할 수는 없습니다.

가능한 원인으로는 만료, 영속화 미완료, 용량 압박, 서비스 측 스케줄링이 있습니다. OpenAI 문서에는 캐시 라우팅과 가용성 제약이 명시되어 있습니다. 세션 라벨이 특정 워커에 대한 접근을 보장하지는 않습니다. 부분 적중은 앞쪽 접두부는 재사용할 수 있지만 뒤쪽 콘텐츠는 처리해야 한다는 뜻일 수도 있습니다. OpenAI 프롬프트 캐싱.

첫 토큰이 늦거나 읽기가 0이라는 사실만으로 클러스터 전환을 입증할 수는 없습니다. 네이티브 응답 ID, 타임스탬프, 요청 간격, 목적지 라벨을 모아 에스컬레이션합니다. 제공자의 근거가 없다면 내부 동작은 미확정 상태로 둡니다.

명시적 캐시 리소스를 사용한다면 추가로 확인할 것이 있습니다. 참조한 객체의 존재 여부, 만료, 범위를 점검합니다. 오래되어 유효하지 않은 명시적 리소스 ID를 자동 접두부 캐싱과 같은 가정으로 진단해서는 안 됩니다.

수정 효과는 어떻게 검증할까?

사용량, 진단, 목적지를 기준으로 정상 구간, 문제 구간, 수정 후 트래픽을 비교합니다.

비용에는 재시도도 포함합니다. 보고 경로를 수정했다면 네이티브 사용량과 클라이언트 사용량이 일치해야 합니다. 접두부를 수정했다면 차이가 사라지고 비교 가능한 수준의 재사용이 복구되어야 합니다. 라우팅을 수정했다면 의도한 목적지와 그 범위 안에서의 복구를 확인해야 합니다. 해당 조건을 충족하지 못하면 미해결 분류를 유지하고 남은 근거로 조사를 이어갑니다.

FAQ

cache_control을 추가하면 적중이 보장되나요?

캐시 제어를 사용해도 접두부 길이, 배치 위치, 준비 상태, 수명 조건을 충족해야 합니다. 모델 요건과 원시 사용량을 확인합니다.

모델 이름이 그대로여도 라우팅 때문에 캐시 미스가 발생할 수 있나요?

클라이언트의 모델 이름이 같아도 실제로는 다른 공급업체, 모델, 계정 범위로 연결될 수 있습니다. 공급업체 변경 대응 절차를 참고해 게이트웨이 운영자와 실제 시도를 비교합니다.

일부 토큰이 캐시되었는데 진단에서는 왜 요청이 바뀌었다고 하나요?

요청 뒤쪽이 바뀌어도 앞쪽 접두부는 재사용 가능할 수 있습니다. 변경된 구성 요소와 캐시 읽기 토큰의 절대량을 함께 확인합니다. 진단 비교와 캐시 사용량 집계는 요청의 서로 다른 측면을 설명합니다.

관련 조사 방법은 게이트웨이 캐시 감사, 캐시 쓰기 비용 분석, 컨텍스트 압축 타이밍을 참고하세요.

← 블로그로 돌아가기