Tencent Hy4 為何會在回答前耗盡權杖
目錄
Tencent Hy4 在處理一份合成事件摘要時回傳 HTTP 200,但最終答案是空的。回應顯示推理使用了 8,192 個權杖,恰好等於要求的輸出上限。在這條 API 路由上,推理與最終答案共用同一個額度。若用戶端只檢查 HTTP 狀態,可能會把權杖耗盡的回應誤認為已完成的摘要。
TL;DR
- Hy4 把 8,192 個輸出權杖全部用於推理,最終答案為空,但仍回傳 HTTP 200。
- 回應以
finish_reason: "length"結束,大小為 68,410 位元組,低於用戶端的 128 KiB 門檻。 - 在 4 個規則式事件案例中,
none在兩種語言都保留了關鍵事實。與medium相比,回應本文大小的中位數從 51,780 位元組降至 1,467 位元組。
目錄服務摘要發生了什麼事?
我們要求 Hy4 以英文和中文摘要一個虛構的服務事件,依固定規則評定嚴重程度,並以 JSON 引用故障與復原事件。在目錄服務案例中使用中等推理強度時,API 回傳 HTTP 200 和 finish_reason: "length"。在 8,192 個輸出權杖的上限下,回應顯示推理使用了 8,192 個權杖,且 message.content 為空。完整回應大小為 68,410 位元組,低於用戶端的 128 KiB 門檻。
如何診斷空白答案?
| 用戶端看到的情況 | 應檢查的項目 |
|---|---|
| 收到標頭前請求就逾時 | 記錄傳輸例外與經過時間。用戶端沒有狀態或回應本文可供檢查。 |
| 讀取器達到位元組上限 | 記錄上限與已接收的位元組數。用戶端可能在解析答案前就停止讀取。 |
| 完整回應的最終內容為空或不完整 | 檢查 finish_reason、message.content 和 usage.completion_tokens_details.reasoning_tokens。在目錄服務案例中,length 加上等於輸出上限的推理權杖數,足以判斷生成中止的位置。 |
把答案傳給下游前,先確認生成已完成。即使最終內容可解析為 JSON,欄位看起來也正確,只要結束原因是 length,就表示生成碰到了限制。生成完成後,還要用輸入資料驗證最終答案。
在請求日誌中,同時保留原始回應狀態與結束原因。若兩種情況最後都變成一般的「無效 JSON」錯誤,監控系統便無法區分答案缺失,以及答案已完成但欄位錯誤。兩者的調查方向不同。前者要檢查額度與生成是否完成,後者要檢查 prompt、預期值和驗證規則。
Hy4 的推理與輸出參數控制什麼?
請求參數 reasoning_effort 指定模型在產生最終答案前所需的推理深度。 Tencent TokenHub 文件為 Hy4 提供兩個推理控制項。thinking.type 欄位可用 enabled 或 disabled 開啟或關閉推理,預設為開啟。模型專屬表格列出 Hy4 的 reasoning_effort 可設為 high 和 no_think,預設值為 high。其他模型支援的選項不同。將請求移轉到不同供應商時,請查閱該模型 ID 對應的資料列。Tencent TokenHub 深度推理指南
對 Synthorai Chat Completions,我們送出的推理強度分別是 none、low、medium 和 high。TokenHub 文件描述的是其自有端點。我們的測量只反映 Synthorai 請求的行為,無法證明每個推理強度標籤在所有上游都如何對應。在受測的 Synthorai 路由中,12 次使用 none 的請求都回傳最終答案,且回報的推理權杖數為 0。應以這項回應測量結果,確認應用程式實際呼叫路由的相容性。若改用其他端點或變更模型 ID,請重新用已知輸入進行探測,並在上線前確認推理用量與最終內容。
輸出上限是另一個獨立控制項。我們透過 max_tokens 設定生成上限。若模型在開始產生最終答案前就達到上限,即使 prompt 只要求簡短的 JSON 物件,也可能回傳空白內容。Tencent 的疑難排解指南以 Hy3 為例,說明推理與答案共用額度。這次 Hy4 測量確認,受測的 Synthorai 路由也有相同故障模式,8,192 個權杖全部回報為推理用量。Tencent Hy API 指南
輸出額度限制的是生成量。用戶端的位元組上限則決定可讀取多少 HTTP 本文,其中也包含推理欄位。請使用相同的輸入和推理設定,分別調整這兩項限制。
案例 2 是否再次在 8,192 個權杖處截斷?
我們使用 Hy4 和中等推理強度,以 8,192 個權杖的上限重播目錄服務案例 3 次。3 次都通過,回報的推理權杖數介於 5,106 至 7,155。至於 16,384 個權杖的比較,我們沿用下方 4 種設定實驗中的 3 次中等推理強度目錄服務請求,3 次都通過。8,192 個權杖的請求是在之後執行。最初的 8,192 權杖請求遭到截斷,但後續 3 次使用相同上限的請求都順利完成。這些重複測試只涵蓋單一輸入,而且兩種上限是依序測試。提高上限是否能降低截斷率,目前仍無法確定。
4 種推理設定的結果如何?
我們透過 Synthorai,在 Hy4 上重跑相同的 4 個案例,每個案例和推理強度各執行 3 次。prompt、16,384 個權杖上限、512 KiB 讀取限制,以及 120 秒用戶端 socket 逾時均維持不變。我們先一起測試 medium 和 none,之後再執行 low 和 high。
| 要求的推理強度 | 通過 JSON 欄位檢查 | 回報的推理權杖數 | 實測回應本文大小中位數 |
|---|---|---|---|
none | 12/12 | 全部為 0 | 1,467 位元組 |
low | 11/12 | 2,575 至 11,181 | 42,047 位元組 |
medium | 12/12 | 2,989 至 9,317 | 51,780 位元組 |
high | 12/12 | 2,911 至 9,987 | 58,369.5 位元組 |
low 組的權杖範圍和本文大小中位數,是以 11 個可測量的回應計算。其餘 3 組各有 12 筆測量結果。使用 low、medium 和 high 的請求,其實測權杖範圍彼此重疊。其中一個 low 回應回報 11,181 個推理權杖,高於這次測試中所有 medium 回應。
我們逐一比對每個完整回應中的兩種語言摘要、風險說明和來源事件。兩種語言的摘要都保留了受影響的服務、兩次 HTTP 503 事件,以及確認復原的事實。說明也有套用指定的嚴重程度規則,並把伴隨出現的訊號描述為觀察結果。這些檢查涵蓋 4 個案例的事實一致性。案例採用共同範本,並提供明確的嚴重程度規則。
呼叫端應如何處理這類 Hy4 故障?
假設有一個 worker,會在目錄服務事件結束時發布英文和中文摘要。它已持有來源事件,因此可先記錄能透過程式驗證的事實。目錄服務在事件 31 和 36 回傳兩次 HTTP 503,事件 49 則確認復原。依評分規則,嚴重程度為 3。這些值既可用於驗收,也能在摘要生成失敗時提供給呼叫端。
- 只接受已完成且通過驗證的摘要。worker 在設定的位元組上限內讀取回應,並在檢查最終 JSON 前確認結束原因為
stop。要發布摘要,物件必須指定目錄服務、回報嚴重程度 3,並依序引用[31, 36, 49]。上線期間,兩種語言都要依同一組事件事實驗證。每份摘要都應反映故障和已確認的復原。風險說明可以提到觀察到的連線池飽和,但任何因果判斷都需要額外證據。即使部分內容剛好可解析,只要結束原因是length,就不能通過驗收。 - 對空白回應只進行一次有界重試。在這個範例中,第一次請求使用
medium和 8,192 個權杖上限。若回傳length、內容為空,而且推理用量等於上限,只要none已通過自身工作負載測試,worker 就能改用none重試。prompt 和權杖上限維持不變。我們的none比較使用 16,384 個權杖,因此採用前必須先驗證 8,192 個權杖下的重試。嘗試日誌中應保留原始故障,並對重試套用相同的驗收檢查。範例指令碼的 120 秒 socket 逾時適用於單次呼叫。只有在剩餘時間足以讓重試於工作總截止時間內完成時,worker 才應重試。 - 重試失敗或時間耗盡時,回傳明確的替代結果。根據後續是否會有人審查,將摘要狀態設為
failed或pending_review,並讓兩個生成摘要欄位保持空白。保留已驗證的事件中繼資料與來源事件 ID,讓呼叫端仍可開啟相關證據。第一次嘗試和重試結果應分開儲存。即使重試成功並交付摘要,監控中仍應保留原始的空白回應。
若需要判斷的工作負載仍保留推理,請根據代表性輸入的實測完成用量設定輸出額度,其中必須同時包含推理與最終答案的權杖。設定讀取器上限前,還要另外測量完整本文大小,因為應用程式需要緩衝的位元組也包含回應封裝。選擇上限時,請檢查尖峰並行量。上線成效應以產出完整且正確摘要的請求比例判斷,分母也要包含逾時請求。回傳摘要的事實品質則應另行審查,包括模型在評分規則未明確規定之處所作的判斷,是否有足夠證據支持。
Hy4 和 DeepSeek 如何處理相同案例?
我們透過 Synthorai,針對每種模型和上限各送出一次 4 個案例的 prompt。Hy4 和 DeepSeek V4.1 Flash (1017) 都收到要求中等推理強度的請求。我們使用 512 KiB 額度讀取每個回應,並依已接收的位元組套用 128 KiB 門檻。
| 模型 | 要求的輸出上限 | HTTP 200 | 實測本文中超過 128 KiB | 通過答案檢查 | 讀取到的最大本文(位元組) |
|---|---|---|---|---|---|
| Hy4 | 8,192 | 4/4 | 0/4 | 3/4 | 68,410 |
| DeepSeek V4.1 Flash (1017) | 8,192 | 4/4 | 0/4 | 4/4 | 3,595 |
| Hy4 | 16,384 | 3/4 | 0/3 | 3/4 | 47,934 |
| DeepSeek V4.1 Flash (1017) | 16,384 | 4/4 | 0/4 | 4/4 | 4,127 |
4 個案例共用同一種事件模式,初始比較中每個設定只執行 1 次。加總初始測試與所有後續測試,67 個請求中有 65 個產生可測量的本文。最大本文為 89,739 位元組,低於用戶端設定的 128 KiB(131,072 位元組)門檻。其餘 2 個請求都在收到回應標頭前逾時,發生在案例 3、16,384 個權杖的設定中。其中一個是初始測試的中等推理強度,另一個是後續批次的低推理強度。計算答案檢查的請求總數時,兩者都計入分母。
我們要求模型執行什麼工作?
每個案例都有 72 個虛構的服務事件。除了某個服務回傳兩次 HTTP 503、出現佇列延遲等訊號,以及後續確認復原外,其餘一切正常。prompt 要求回傳單一 JSON 物件,其中包含英文摘要、中文摘要、受影響的服務、嚴重程度分數、簡短說明,以及 3 個佐證事件 ID。模型必須提及觀察到的訊號,但不能把它當成故障原因。
一般摘要可能只要求用一句話說明發生了什麼。這個 prompt 還要求模型從例行事件中找出受影響的服務、套用明確的評分規則,並回傳程式可驗證的引用。所有案例共用範本,因此預期的服務、分數和事件 ID 都是已知值。自動化檢查涵蓋資料結構和這些確切值,也要求摘要不得為空,說明不得超過 480 個字元。檢查不會評定翻譯品質,也不會獨立驗證文字內容。
將這個範例儲存為 replay.py,並設定 SYNTHORAI_API_KEY。執行 python replay.py --case 2 --effort none --max-tokens 16384 即可測試目錄服務案例。使用 --effort low、medium 或 high 測試推理,使用 --max-tokens 8192 測試較低上限。程式會輸出本文大小、結束原因、回報用量、生成是否完成,以及欄位檢查結果。只有結束原因為 stop 且欄位檢查通過,整體成功旗標才會成立。
"""Replay a fictional operations incident and evaluate two reader limits."""
import argparse
import json
import os
import time
from urllib.error import HTTPError, URLError
from urllib.request import Request, urlopen
LOW_LIMIT = 128 * 1024
HIGH_LIMIT = 512 * 1024
SERVICES = ("checkout", "catalog", "notifications", "search")
def fixture(index):
service = SERVICES[index]
signals = ("queue delay", "connection pool saturation", "cache miss spike", "disk latency")
signal = signals[index]
events = []
for i in range(1, 73):
if i in (31, 36):
detail = f"{service} returned HTTP 503. Observed {signal}."
name = service
elif i == 49:
detail = f"{service} returned HTTP 200. Recovery confirmed."
name = service
else:
name = SERVICES[(index + i) % 4]
detail = "Routine operation. HTTP 200. No incident evidence."
events.append({"id": i, "minute": i, "service": name, "detail": detail})
prompt = (
"Review these fictional operations events. Return one JSON object with "
"summary_en, summary_zh, affected_service, severity, risk_reason, and evidence_ids. "
"Severity is 3 when a service has at least two observed HTTP 503 events followed "
"by confirmed recovery. Identify that service. Cite precisely the two failure "
"events and the recovery event in order. Write one sentence in each summary and "
"explain the rating in at most 480 characters. Mention the observed signal but "
"do not claim it caused the failures. Events: " + json.dumps(events)
)
return prompt, service
def probe(index, effort, cap):
model = "hy4"
prompt, service = fixture(index)
payload = {"model": model, "max_tokens": cap, "reasoning_effort": effort,
"messages": [{"role": "user", "content": prompt}]}
request = Request(
"https://synthorai.io/v1/chat/completions", json.dumps(payload).encode(),
{"Authorization": "Bearer " + os.environ["SYNTHORAI_API_KEY"],
"Content-Type": "application/json", "Accept-Encoding": "identity"},
)
row = {"model": model, "cap": cap, "case": index + 1, "effort": effort}
started = time.monotonic()
try:
with urlopen(request, timeout=120) as response:
row["status"] = response.status
raw = response.read(HIGH_LIMIT + 1)
row.update(bytes_read=len(raw), exceeds_128_kib=len(raw) > LOW_LIMIT,
exceeds_512_kib=len(raw) > HIGH_LIMIT)
if len(raw) <= HIGH_LIMIT:
data = json.loads(raw)
choice = data["choices"][0]
content = choice["message"].get("content")
usage = data.get("usage") or {}
row.update(finish_reason=choice.get("finish_reason"),
generation_completed=choice.get("finish_reason") == "stop",
content_chars=len(content or ""),
reasoning_tokens=(usage.get("completion_tokens_details") or {}).get("reasoning_tokens"),
completion_tokens=usage.get("completion_tokens"), cost_usd=usage.get("cost"))
try:
answer = json.loads(content or "")
row["valid_json"] = isinstance(answer, dict)
row["passes_field_checks"] = (
row["valid_json"] and answer.get("severity") == 3
and answer.get("affected_service") == service
and answer.get("evidence_ids") == [31, 36, 49]
and all(isinstance(answer.get(k), str) and bool(answer[k].strip())
for k in ("summary_en", "summary_zh", "risk_reason"))
and len(answer["risk_reason"]) <= 480
)
except ValueError:
row.update(valid_json=False, passes_field_checks=False)
except HTTPError as exc:
row["status"] = exc.code
except (URLError, OSError, ValueError, KeyError, IndexError) as exc:
row["error"] = type(exc).__name__
row["success"] = (
row.get("generation_completed") is True and row.get("passes_field_checks") is True
)
row["seconds"] = round(time.monotonic() - started, 2)
return row
parser = argparse.ArgumentParser()
parser.add_argument("--case", type=int, choices=range(1, len(SERVICES) + 1), default=1)
parser.add_argument("--effort", choices=("none", "low", "medium", "high"), default="medium")
parser.add_argument("--max-tokens", type=int, choices=(8192, 16384), default=16384)
args = parser.parse_args()
print(json.dumps(probe(args.case - 1, args.effort, args.max_tokens), indent=2))
常見問題
回應超過用戶端的 128 KiB 上限時會發生什麼事?
用戶端可能在解析最終答案前就停止讀取回應。在這次 Hy4 實驗中,128 KiB 是讀取器的位元組門檻。另一個獨立的輸出權杖上限控制生成量。
如何確認 Hy4 是否採用 reasoning_effort none?
檢查 usage.completion_tokens_details.reasoning_tokens。透過 Synthorai 送出的 12 個 reasoning_effort: "none" 請求中,Hy4 回報的數值全部為 0。若缺少該欄位,回應就沒有可供驗證的計數。