Tencent Hy4가 답변 전에 token을 모두 소진하는 이유
목차
Tencent Hy4는 가상 장애 요약 요청에 HTTP 200을 반환했지만 최종 답변은 비어 있었다. 보고된 추론 token은 요청한 출력 한도와 정확히 같은 8,192개였다. 이 API 경로에서는 추론과 최종 답변이 같은 token 예산을 공유한다. HTTP 상태만 확인하는 클라이언트라면 token을 모두 소진한 응답을 정상적으로 완료된 요약으로 오인할 수 있다.
TL;DR
- Hy4는 출력 token 8,192개를 추론에 모두 사용한 뒤, 최종 답변이 비어 있는 HTTP 200 응답을 반환했다.
- 응답은
finish_reason: "length"로 끝났고 크기는 68,410 bytes였다. 클라이언트 한도인 128 KiB보다는 작았다. - 규칙 기반 장애 4건에서는
none이 두 언어 모두에서 핵심 사실을 유지했고,medium과 비교해 응답 body 중앙값을 51,780 bytes에서 1,467 bytes로 줄였다.
카탈로그 장애 요약에서 무슨 일이 있었나?
Hy4에 가상 서비스 장애를 영어와 중국어로 요약하고, 정해진 규칙에 따라 심각도를 평가한 뒤 장애와 복구 event를 JSON으로 인용하도록 요청했다. 카탈로그 case에서 effort를 medium으로 설정하자 API는 HTTP 200과 finish_reason: "length"를 반환했다. 출력 한도가 8,192 token인 상황에서 추론 token도 8,192개로 보고됐고, message.content는 비어 있었다. 전체 응답 크기는 68,410 bytes로 클라이언트 한도인 128 KiB보다 작았다.
빈 답변은 어떻게 진단해야 하나?
| 클라이언트에서 보이는 현상 | 확인할 항목 |
|---|---|
| header를 받기 전에 요청 timeout 발생 | transport 예외와 경과 시간을 기록한다. 클라이언트에는 확인할 status나 response body가 없다. |
| reader가 byte 한도에 도달 | 한도와 수신한 byte 수를 기록한다. 답변을 parsing하기 전에 클라이언트가 읽기를 중단했을 수 있다. |
| 전체 응답의 최종 content가 비어 있거나 일부만 존재 | finish_reason, message.content, usage.completion_tokens_details.reasoning_tokens를 확인한다. 카탈로그 case에서는 length와 출력 한도와 같은 추론 token 수를 통해 생성이 중단된 지점을 알 수 있다. |
답변을 downstream으로 넘기기 전에 생성이 완료됐는지 확인해야 한다. 최종 content를 JSON으로 parsing할 수 있고 field도 올바르게 보여도, finish가 length라면 생성 중 한도에 도달했다는 뜻이다. 생성이 끝난 뒤 최종 답변을 입력과 대조해 검증한다.
요청 log에는 원래 response status와 finish reason을 함께 남긴다. 두 경우를 모두 일반적인 “invalid JSON” error로 처리하면, 답변이 누락된 경우와 답변은 완료됐지만 field가 잘못된 경우를 monitoring에서 구분할 수 없다. 조사 방식도 다르다. 전자는 예산과 생성 완료 여부를 확인해야 한다. 후자는 prompt, 예상값, validation 규칙을 점검해야 한다.
Hy4의 추론 및 출력 parameter는 무엇을 제어하나?
요청 매개변수 reasoning_effort는 최종 답변을 내기 전에 모델에 요청하는 추론의 깊이를 지정한다. Tencent의 TokenHub 문서에서는 Hy4의 추론을 제어하는 방법으로 두 가지를 제공한다. thinking.type field에서 enabled 또는 disabled를 지정해 추론을 켜거나 끌 수 있다. 기본값은 활성화다. 모델별 표에서 Hy4의 reasoning_effort 옵션은 high와 no_think이며 기본값은 high다. 다른 모델에는 서로 다른 옵션이 나와 있다. provider 간에 요청을 옮길 때는 정확한 model ID에 해당하는 행을 확인해야 한다. Tencent TokenHub 심층 추론 가이드
Synthorai Chat Completions에는 요청 effort 값으로 none, low, medium, high를 보냈다. TokenHub 문서는 자체 endpoint를 설명한다. 여기서 측정한 값은 Synthorai 요청의 동작만 보여 주며, 모든 effort label이 upstream에서 어떻게 mapping되는지는 입증하지 않는다. 테스트한 Synthorai 경로에서는 none으로 실행한 12회 모두 최종 답변이 반환됐고, 보고된 추론 token은 0이었다. 애플리케이션에서 실제로 호출하는 경로가 호환되는지는 이 응답 측정값으로 확인해야 한다. 다른 endpoint로 옮기거나 model ID를 변경한다면, 배포 전에 입력값이 고정된 probe를 다시 실행해 추론 사용량과 최종 content를 확인한다.
출력 한도는 별도로 제어한다. 생성 상한은 max_tokens로 지정했다. 모델이 최종 답변 생성을 시작하기 전에 이 한도에 도달하면, 짧은 JSON object를 요구하는 prompt도 빈 content를 반환할 수 있다. Tencent troubleshooting 가이드에서는 Hy3 예제를 통해 추론과 답변이 같은 token 한도를 공유한다고 설명한다. 이번 Hy4 측정에서는 테스트한 Synthorai 경로에서도 같은 장애 패턴이 확인됐다. 8,192 token 전부가 추론에 사용된 것으로 보고됐다. Tencent Hy API 가이드
출력 예산은 생성을 제한한다. 클라이언트의 byte 한도는 추론 field를 포함해 읽어 들일 HTTP body의 크기를 제한한다. 같은 입력과 추론 설정으로 두 한도를 각각 조정해야 한다.
case 2는 8,192 token에서 다시 잘렸나?
Hy4에서 카탈로그 case를 medium effort와 8,192 token으로 3회 재실행했다. 3회 모두 통과했으며 추론 token은 5,106-7,155개로 보고됐다. 16,384-token 비교에는 아래의 4개 설정 실험에서 실행한 medium-effort 카탈로그 요청 3개를 다시 사용했다. 3개 모두 통과했다. 8,192-token 요청은 그 뒤에 실행했다. 최초 8,192-token 요청은 잘렸지만, 이후 같은 한도로 실행한 3개 요청은 모두 완료됐다. 이 반복 테스트는 입력 1개만 다뤘으며, 두 한도는 순차적으로 테스트했다. 한도를 높였을 때 truncation 비율이 어떻게 달라지는지는 아직 확실하지 않다.
4가지 추론 설정은 어떤 차이가 있었나?
같은 4개 case를 Synthorai의 Hy4에서 case 및 요청 effort별로 3회씩 다시 실행했다. prompt, 16,384-token 한도, 512 KiB 읽기 한도, 120초 client socket timeout은 그대로 유지했다. medium과 none을 함께 테스트한 뒤, 이후 batch에서 low와 high를 실행했다.
| 요청한 effort | JSON field 검사 통과 | 보고된 추론 token | 측정된 response body 중앙값 |
|---|---|---|---|
none | 12/12 | 전체 0 | 1,467 bytes |
low | 11/12 | 2,575-11,181 | 42,047 bytes |
medium | 12/12 | 2,989-9,317 | 51,780 bytes |
high | 12/12 | 2,911-9,987 | 58,369.5 bytes |
low group의 token 범위와 body 중앙값은 측정에 성공한 응답 11개를 기준으로 한다. 나머지 3개 group은 각각 12개를 측정했다. low, medium, high로 보낸 요청에서 관측된 token 범위는 서로 겹친다. low 응답 중 하나는 추론 token 11,181개를 보고했는데, 이번 테스트에서 측정한 모든 medium 응답보다 많았다.
완료된 각 응답의 두 요약문과 위험 설명을 원본 event와 대조했다. 두 언어의 요약 모두 영향받은 서비스, HTTP 503 event 2건, 확인된 복구 사실을 유지했다. 설명에서는 제공된 심각도 규칙을 적용하고, 함께 관측된 신호를 관찰 결과로 기술했다. 이 검사는 공통 template과 명시적인 심각도 규칙을 사용한 4개 case에서 사실이 정확히 유지되는지를 다룬다.
호출 측에서는 이 Hy4 장애를 어떻게 처리해야 하나?
카탈로그 장애가 종료되면 영어와 중국어 요약을 게시하는 worker가 있다고 하자. worker는 이미 원본 event를 가지고 있으므로 code로 검증할 수 있는 사실을 기록한다. 카탈로그 서비스는 event 31과 36에서 HTTP 503을 반환했고, event 49에서 복구가 확인됐다. 점수 규칙에 따른 심각도는 3이다. 이 값들은 worker가 결과를 승인할 때도 쓸 수 있고, 요약 생성이 실패했을 때 반환할 정보로도 쓸 수 있다.
- 완료되고 검증된 요약만 승인한다. worker는 설정된 byte 한도 내에서 응답을 읽고, 최종 JSON을 검사하기 전에 finish가
stop인지 확인한다. 게시하려면 object가 카탈로그 서비스를 명시하고, 심각도 3을 보고하며,[31, 36, 49]를 순서대로 인용해야 한다. 배포 중에는 두 언어 모두 같은 event 사실을 기준으로 검증한다. 각 요약에는 장애와 확인된 복구가 반영돼야 한다. 위험 설명에는 관측된 connection pool saturation을 언급할 수 있지만, 인과관계를 주장하려면 추가 근거가 필요하다. 일부 content를 parsing할 수 있더라도 finish가length면 승인하지 않는다. - 빈 응답은 횟수를 제한해 1회만 재시도한다. 이 예시의 첫 요청은
medium과 8,192-token 한도를 사용한다. content가 비어 있고 finish가length이며 추론 사용량이 한도와 같다면, 자체 workload 검사에서 통과한 경우none으로 재시도할 수 있다. prompt와 token 한도는 그대로 유지한다. 이번none비교는 16,384 token으로 실행했으므로, 실제 적용 전에 8,192 token으로 재시도를 검증해야 한다. 최초 실패는 attempt log에 남기고 재시도에도 같은 승인 검사를 적용한다. 예제 script의 120초 socket timeout은 개별 호출에 적용된다. worker는 남은 시간 안에 작업 전체 deadline을 지킬 수 있을 때만 재시도해야 한다. - 재시도가 실패하거나 시간이 끝나면 명시적인 fallback을 반환한다. 검토자가 확인할 예정인지에 따라 요약 상태를
failed또는pending_review로 설정하고, 생성된 두 요약 field는 비워 둔다. 검증된 장애 metadata와 원본 event ID는 유지해 호출 측에서 근거를 계속 확인할 수 있게 한다. 첫 시도와 재시도 결과는 별도로 저장한다. 재시도가 성공하면 요약을 전달하되, 원래의 빈 응답은 monitoring에서 계속 확인할 수 있어야 한다.
판단이 필요한 workload에서 추론을 유지한다면, 대표 입력에서 측정한 completion 사용량을 기준으로 출력 예산을 정해야 한다. 여기에는 추론 token과 최종 답변 token이 모두 포함된다. 애플리케이션이 buffering해야 하는 byte에는 response envelope도 포함되므로, reader 한도를 설정하기 전에 전체 body 크기를 별도로 측정한다. 한도를 정할 때 peak concurrency도 확인한다. 배포 평가는 timeout을 분모에 포함해 완전하고 정확한 요약을 생성한 요청 비율로 판단한다. 반환된 요약의 사실 품질은 별도로 검토해야 한다. 특히 점수 규칙이 모델의 판단에 맡긴 부분은 근거가 그 판단을 뒷받침하는지 확인한다.
Hy4와 DeepSeek는 같은 case를 어떻게 처리했나?
4개 prompt를 Synthorai를 통해 모델 및 한도별로 각각 1회 보냈다. Hy4와 DeepSeek V4.1 Flash (1017) 모두 medium reasoning effort로 요청했다. 각 응답은 512 KiB 한도로 읽었고, 수신한 byte에 128 KiB 임계값을 적용했다.
| 모델 | 요청한 출력 한도 | HTTP 200 | 측정된 body 중 128 KiB 초과 | 답변 검사 통과 | 읽은 body 최대 크기 (bytes) |
|---|---|---|---|---|---|
| Hy4 | 8,192 | 4/4 | 0/4 | 3/4 | 68,410 |
| DeepSeek V4.1 Flash (1017) | 8,192 | 4/4 | 0/4 | 4/4 | 3,595 |
| Hy4 | 16,384 | 3/4 | 0/3 | 3/4 | 47,934 |
| DeepSeek V4.1 Flash (1017) | 16,384 | 4/4 | 0/4 | 4/4 | 4,127 |
4개 case는 같은 event pattern을 사용했고, 최초 비교에서는 configuration별로 1회만 시도했다. 최초 실행과 모든 후속 실행을 합치면 요청 67개 중 65개에서 body를 측정할 수 있었다. 가장 큰 body는 89,739 bytes로, 클라이언트 임계값인 128 KiB (131,072-byte)보다 작았다. 나머지 2개 요청은 16,384 token을 사용한 case 3에서 response header를 받기 전에 timeout됐다. 하나는 최초 실행의 medium effort 요청이었고, 다른 하나는 이후 batch의 low effort 요청이었다. 둘 다 답변 검사에서 전체 요청 수에 포함했다.
모델에 어떤 작업을 요청했나?
각 case에는 가상 서비스 event 72개가 있다. 한 서비스에서 발생한 HTTP 503 응답 2건, queue delay 같은 신호, 확인된 복구를 제외하면 모두 정상적으로 실행된다. prompt는 영어 요약, 중국어 요약, 영향받은 서비스, 심각도 점수, 짧은 설명, 근거 event ID 3개가 담긴 JSON object 하나를 요구한다. 또한 관측된 신호를 언급하되 원인으로 단정하지 않도록 요청한다.
단순한 요약이라면 무슨 일이 있었는지 한 문장으로 물으면 된다. 이 prompt는 routine event 사이에서 영향받은 서비스를 찾고, 명시적인 점수 규칙을 적용하고, program이 검증할 수 있는 참조를 반환하도록 요구한다. 각 case는 template을 공유하므로 예상 서비스, 점수, event ID를 알고 있다. 자동 검사는 구조와 이 정확한 값들을 확인한다. 또한 요약문이 비어 있지 않고 설명이 최대 480자인지 검사한다. 번역 품질은 평가하지 않으며 prose 내용도 독립적으로 검증하지 않는다.
이 예제를 replay.py로 저장하고 SYNTHORAI_API_KEY를 설정한다. 카탈로그 case를 실행하려면 python replay.py --case 2 --effort none --max-tokens 16384를 사용한다. 추론을 테스트하려면 --effort low, medium, high를 사용하고, 낮은 한도를 테스트하려면 --max-tokens 8192를 사용한다. body 크기, finish reason, 보고된 사용량, 생성 완료 여부, field 검사 결과가 출력된다. 전체 success flag가 참이 되려면 finish가 stop이어야 하고 field 검사를 통과해야 한다.
"""Replay a fictional operations incident and evaluate two reader limits."""
import argparse
import json
import os
import time
from urllib.error import HTTPError, URLError
from urllib.request import Request, urlopen
LOW_LIMIT = 128 * 1024
HIGH_LIMIT = 512 * 1024
SERVICES = ("checkout", "catalog", "notifications", "search")
def fixture(index):
service = SERVICES[index]
signals = ("queue delay", "connection pool saturation", "cache miss spike", "disk latency")
signal = signals[index]
events = []
for i in range(1, 73):
if i in (31, 36):
detail = f"{service} returned HTTP 503. Observed {signal}."
name = service
elif i == 49:
detail = f"{service} returned HTTP 200. Recovery confirmed."
name = service
else:
name = SERVICES[(index + i) % 4]
detail = "Routine operation. HTTP 200. No incident evidence."
events.append({"id": i, "minute": i, "service": name, "detail": detail})
prompt = (
"Review these fictional operations events. Return one JSON object with "
"summary_en, summary_zh, affected_service, severity, risk_reason, and evidence_ids. "
"Severity is 3 when a service has at least two observed HTTP 503 events followed "
"by confirmed recovery. Identify that service. Cite precisely the two failure "
"events and the recovery event in order. Write one sentence in each summary and "
"explain the rating in at most 480 characters. Mention the observed signal but "
"do not claim it caused the failures. Events: " + json.dumps(events)
)
return prompt, service
def probe(index, effort, cap):
model = "hy4"
prompt, service = fixture(index)
payload = {"model": model, "max_tokens": cap, "reasoning_effort": effort,
"messages": [{"role": "user", "content": prompt}]}
request = Request(
"https://synthorai.io/v1/chat/completions", json.dumps(payload).encode(),
{"Authorization": "Bearer " + os.environ["SYNTHORAI_API_KEY"],
"Content-Type": "application/json", "Accept-Encoding": "identity"},
)
row = {"model": model, "cap": cap, "case": index + 1, "effort": effort}
started = time.monotonic()
try:
with urlopen(request, timeout=120) as response:
row["status"] = response.status
raw = response.read(HIGH_LIMIT + 1)
row.update(bytes_read=len(raw), exceeds_128_kib=len(raw) > LOW_LIMIT,
exceeds_512_kib=len(raw) > HIGH_LIMIT)
if len(raw) <= HIGH_LIMIT:
data = json.loads(raw)
choice = data["choices"][0]
content = choice["message"].get("content")
usage = data.get("usage") or {}
row.update(finish_reason=choice.get("finish_reason"),
generation_completed=choice.get("finish_reason") == "stop",
content_chars=len(content or ""),
reasoning_tokens=(usage.get("completion_tokens_details") or {}).get("reasoning_tokens"),
completion_tokens=usage.get("completion_tokens"), cost_usd=usage.get("cost"))
try:
answer = json.loads(content or "")
row["valid_json"] = isinstance(answer, dict)
row["passes_field_checks"] = (
row["valid_json"] and answer.get("severity") == 3
and answer.get("affected_service") == service
and answer.get("evidence_ids") == [31, 36, 49]
and all(isinstance(answer.get(k), str) and bool(answer[k].strip())
for k in ("summary_en", "summary_zh", "risk_reason"))
and len(answer["risk_reason"]) <= 480
)
except ValueError:
row.update(valid_json=False, passes_field_checks=False)
except HTTPError as exc:
row["status"] = exc.code
except (URLError, OSError, ValueError, KeyError, IndexError) as exc:
row["error"] = type(exc).__name__
row["success"] = (
row.get("generation_completed") is True and row.get("passes_field_checks") is True
)
row["seconds"] = round(time.monotonic() - started, 2)
return row
parser = argparse.ArgumentParser()
parser.add_argument("--case", type=int, choices=range(1, len(SERVICES) + 1), default=1)
parser.add_argument("--effort", choices=("none", "low", "medium", "high"), default="medium")
parser.add_argument("--max-tokens", type=int, choices=(8192, 16384), default=16384)
args = parser.parse_args()
print(json.dumps(probe(args.case - 1, args.effort, args.max_tokens), indent=2))
자주 묻는 질문
응답이 클라이언트의 128 KiB 한도를 넘으면 어떻게 되나?
클라이언트가 최종 답변을 parsing하기 전에 응답 읽기를 중단할 수 있다. 이번 Hy4 실험에서 128 KiB는 reader의 byte 임계값이었다. 별도로 설정한 출력 token 한도는 생성을 제어했다.
Hy4가 reasoning_effort none을 적용했는지 어떻게 확인하나?
usage.completion_tokens_details.reasoning_tokens를 확인한다. Hy4는 Synthorai에서 reasoning_effort: "none"으로 실행한 요청 12개 모두에서 0을 보고했다. 이 field가 없다면 응답에 검증할 수 있는 추론 token 수가 제공되지 않은 것이다.