요청 하나, 속도 제한 크기 여섯 가지
요청 예시: 입력 토큰 2,000개(그중 1,500개는 캐시 읽기), max_tokens 4,000, 실제 응답 토큰 300개(추론 토큰 200개 포함). 막대 길이는 토큰 수에 비례
max_tokens 추정치
입력 토큰
출력 토큰(Bedrock: 소진 적용 후)
프롬프트 추정치
max_tokens
Azure OpenAI TPM
6,000: 도착 시 프롬프트 추정치와 max_tokens의 합
max_tokens, 선차감
OpenAI TPM
4,000: max_tokens, 모델 실행 전 차감
출력 300 x 10 소진
Bedrock TPM (Claude 5)
3,500: 캐시 읽기 제외, 출력 10x 소진
캐시된 1,500 포함 입력
xAI TPM
2,300: 모든 토큰, 캐시 및 추론 포함
입력
Gemini TPM
2,000: 입력만
Anthropic ITPM + OTPM
800: 캐시 읽기 제외, 출력은 생성된 만큼 집계
출처: Azure OpenAI 할당량 가이드, OpenAI 쿡북, Bedrock 토큰 계산 페이지(Claude 5 소진 10x), xAI, Gemini 및 Anthropic 속도 제한 페이지, 2026-09-03 및 2026-09-04 확인