Gemini 4 Hydrogen vs 3.8 Flash:速度、工具與任務成本
目錄
透過 Synthorai 執行的 16 組簡單任務配對測試中,Gemini 4 Hydrogen 有 15 組比 Gemini 3.8 Flash 更快完成。兩個模型在每組測試都交出了通過驗證的結果。Google 於 2026 年 11 月 12 日推出 Hydrogen,定位是日常程式開發與使用工具的代理。在我們較難的測試案例中,Hydrogen 完成了更多程式碼修改,而 Flash 每次對帳成功的成本較低。Google 發布評測
TL;DR
- Hydrogen 和 3.8 Flash 各自通過 16/16 次簡單任務。耗時中位數分別為 8.59 與 16.88 秒。
- 兩個模型都通過 4/4 次依腳本設定的工具故障復原測試。Hydrogen 在每組配對中都更快,Flash 則是每次成功的成本較低。
- 每次呼叫上限為 2,048 個 token 時,Hydrogen 通過 4/4 次跨模組修正;上限為 4,096 時,通過 3/4 次遷移。Flash 在這兩組都只通過 0/4 次。
- 在專門測試的 4/4 個工作階段中,Hydrogen 都將三次讀取合併提出,並回傳正確結果。
Hydrogen 相較於 3.8 Flash 有哪些改變?
Google 表示,Gemini 4 Hydrogen 的 Terminal-Bench 4.1 分數高於 Gemini 3.8 Flash,任務執行速度也更快。Google 發布評測
| Google 發布時的比較 | 衡量項目 | Gemini 4 Hydrogen | Gemini 3.8 Flash |
|---|---|---|---|
| Terminal-Bench 4.1 | 終端機任務平均分數,已針對作弊行為調整 | 57.0% | 18.2% |
| 任務執行速度 | Google 發布評測中相對於 3.8 Flash 的速度 | 預設 high 下為 2.5x | 1.0x 基準 |
| 原生思考等級預設值 | Google API 未指定時使用的推理設定 | high | medium |
Google 使用 mini-swe-agent vision runner,在 high 設定下執行 Hydrogen 的 Terminal-Bench 4.1 測試,每個任務嘗試五次。發布文章並未提供 2.5x 比較的絕對耗時、完整計時程序,或 Flash 的思考設定。我們使用不同的任務集,並透過 Synthorai 測量直到最終驗證完成的總耗時。這能檢查這些工作流程是否也有速度優勢。Google 評測方法
Hydrogen 新增了供深度推理使用的 xhigh。Google 也將批次讀取檔案與呼叫搜尋工具列為代理工作流程的改善項目。以下範例檢查透過 Synthorai 使用時,批次工具呼叫、簽章回傳及較高推理強度設定的實際行為。Hydrogen 開發人員指南 · Google 發布評測
代理目前可以使用 Hydrogen 的哪些功能?
在四個 Synthorai Chat Completions 工作階段中,Gemini 4 Hydrogen 都在第一次回應裡一次提出三個互不相依的目錄讀取要求。目錄內容為 North = 17、South = 29、West = 31。我們要求模型一次提出這些讀取要求,再回傳總和 77。每次請求的輸出上限為 1,024 個 token。
每批只有第一個工具呼叫帶有思考簽章。這項中繼資料讓 API 能在工具呼叫之間延續模型的推理。我們將 assistant 訊息原封不動地傳回,再依呼叫順序附上三個工具結果,Hydrogen 每次都回傳正確總和。下表的推理 token 數是每個工作階段兩次模型請求的合計,包含提出工具呼叫的請求與產生最終答案的請求。Google Hydrogen 開發人員指南
| 要求的推理強度 | 單次回應提出全部三次讀取 | 最終答案正確 | 每個工作階段回報的推理 token 數 |
|---|---|---|---|
medium | 2/2 | 2/2 | 95, 130 |
xhigh | 2/2 | 2/2 | 245, 287 |
將互不相依的讀取合併處理。探索程式碼庫、查閱文件,以及檢查互不相依的紀錄時,若模型一次提出所有讀取要求,就能減少與模型往返的次數。工具與速率限制允許的話,用戶端也能並行執行這些讀取。相依步驟仍應依序執行,例如先寫入修補程式,再執行測試。我們的用戶端是依序執行工具。
工具往返過程中必須保留思考簽章。遷移會在請求之間儲存或重建訊息的代理時,尤其需要檢查這點。保留完整的 assistant 訊息,包括原本位置上的簽章,並將每個結果對應到原始工具呼叫 ID。若用戶端並行執行工具,應先收集結果,再按原始呼叫順序傳回。Google 原生 API 文件也說明了最終文字的簽章保留方式,以及編輯對話紀錄的規則。我們在閘道上的檢查範圍是帶簽章的工具往返流程。Google Hydrogen 開發人員指南
這個 Python 輔助函式會在工具執行完畢後,將訊息傳回。它根據原始 Chat Completions 回應,以及以工具呼叫 ID 為鍵、可序列化為 JSON 的結果字典,建立下一次請求的訊息紀錄。
import json
def append_tool_turn(messages, response, results_by_id):
assistant = response["choices"][0]["message"]
tool_messages = [
{
"role": "tool",
"tool_call_id": call["id"],
"content": json.dumps(results_by_id[call["id"]]),
}
for call in assistant["tool_calls"]
]
return [*messages, assistant, *tool_messages]
提高推理強度前,先建立 medium 基準。Google 提供原生思考等級 XHIGH。Synthorai 在兩個工作階段都接受了 reasoning_effort: "xhigh",並回報更多推理 token。兩種設定都完成了查詢。我們成功的跨模組修正與遷移也都使用 medium。先從這個設定開始,記錄通過驗證的交付成果、耗時與每次成功的費用。對於未能完成的困難任務,再以相同基準與驗收測試比較 high 和 xhigh。輸出上限要替修補程式或工具參數保留空間,因為推理也會消耗這個額度。Google Hydrogen 開發人員指南
我們如何判定代理已完成任務?
我們比較了八個簡單任務與六個複雜任務,每個模型在每個任務上各執行兩次。較高上限的遷移批次重用了其中兩個複雜任務,額外執行八次。另有一組未指定推理強度的檢查,使用四個簡單任務,每個模型各執行一次。這些結果是在少量任務上的重複觀測。
執行結果的最終檔案或修補程式若在 300 秒內通過自動檢查,就算成功。資料任務會檢查數值與來源參照。程式碼任務則在隔離環境中執行測試。較難的程式碼任務還要求代理撰寫迴歸測試:套用修補後必須通過,對原始程式碼執行該測試套件則必須失敗。遷移評分器會透過關鍵字檢查 README 是否涵蓋必要主題。例如,Flash 的兩次 CSV 執行都在觸及 token 相關停止條件前寫出了通過驗證的檔案,因此兩次都算完成交付。
我們透過 Synthorai Chat Completions,對 Hydrogen 與 3.8 Flash 使用相同的 prompt、工具、輸入與檢查。每次執行都使用全新工作目錄與唯一的 prompt 標記,以減少相同請求的重用。我們一次只執行一個工作階段,並輪替先執行的模型。主要比較中,兩個模型都要求使用 reasoning_effort: "medium"。相同的請求值不代表推理用量相同。另行執行的未指定強度檢查則省略這個欄位,記錄閘道呈現的行為。
| 批次 | 每個任務的模型呼叫次數上限 | 每次呼叫的輸出 token 上限 |
|---|---|---|
| 簡單任務,含未指定強度的檢查 | 8 | 2,048 |
| 複雜任務,含最初的遷移比較 | 10 | 2,048 |
| 較高上限的遷移 | 10 | 4,096 |
執行器為每個任務保留 8,000 個 token 的累計輸出額度。每次呼叫的上限涵蓋推理、工具參數與可見文字。送出請求前,執行器會將目前回報的輸入用量,加上下一次請求的保守估計值,確認未超過 40,000 個 token 的保護門檻。
我們從第一次 API 請求開始計時,包含工具執行與最終驗證,並在兩個模型都通過的配對中比較交付耗時。每次成功成本是同一組所有嘗試回報的閘道費用總和,包含失敗嘗試,再除以成功次數。成功次數為零時,每次成功成本無法定義。
Hydrogen 在簡單任務上快多少?
Hydrogen 和 3.8 Flash 通過了所有簡單任務。這八個測試案例涵蓋小型資料與文件工作流程,以及範圍較小的程式碼修改。Hydrogen 的耗時中位數約為 Flash 的一半;Hydrogen 所有執行合計呼叫模型 60 次,Flash 則為 81 次。
| 模型 | 完成次數 | 端到端耗時中位數 | 總費用 | 每次成功成本 |
|---|---|---|---|---|
| Hydrogen | 16/16 | 8.59 s | $0.1365 | $0.00853 |
| 3.8 Flash | 16/16 | 16.88 s | $0.1429 | $0.00893 |
將 Flash 的中位數除以 Hydrogen 的中位數,速度比為 1.97x。在另一組未指定推理強度的四任務檢查中,兩個模型也都通過所有任務,且 Hydrogen 在四組配對中都更快。耗時中位數分別為 8.26 與 13.54 秒,比值為 1.64x;總費用分別為 $0.0248 與 $0.0198。在我們的任務與計時定義下,兩組比較結果都與 Google 宣稱的速度優勢方向一致。
簡單任務的 medium 批次中,Hydrogen 的費用略低。若排除兩組 CSV 配對,總費用則反過來,Hydrogen 為 $0.1025,Flash 為 $0.0831。即使兩個模型都完成所有任務,工作流程的組成仍會影響哪個模型比較便宜。
工具失敗時發生了什麼事?
Hydrogen 和 3.8 Flash 各自完成了全部四次復原測試。在兩個人工設計的對帳任務中,主要退款檔案一律回傳空結果,第一次讀取結算資料則一律回傳暫時性錯誤。代理必須讀取封存資料、重試結算資料讀取,並產出正確金額與來源參照。兩個模型每次都走完這條復原路徑。
Hydrogen 在四組配對中都較早完成,耗時中位數為 12.93 秒,Flash 則為 17.48 秒。每次通過驗證的對帳成本,Hydrogen 為 $0.0120,Flash 為 $0.0079。Google 強調模型能從工具失敗與空結果中復原。本次測試提供了明確的備援與重試指示,兩個模型都展現了這項行為。在這組工作負載中,兩個模型各有 8/20 次回應提出多個讀取要求,因此不能單憑完成較快就認定是批次處理帶來的效益。
模型能完成跨模組修正嗎?
Hydrogen 四次全部通過,3.8 Flash 則是四次都未通過。這些單位與幣別換算任務的程式進入點,會經由 adapter 呼叫實際使用的轉換器。兩個程式碼庫也都有名稱相近、但不在本次修改範圍內的轉換器。評分器要求修正實際執行路徑,並新增迴歸測試。
Flash 在兩次單位換算任務都漏了迴歸測試。兩次幣別換算任務則都在交付實際使用的轉換器修改與測試之前停止。Hydrogen 完成四次任務共花費 $0.0722,每次成功成本為 $0.01805。Flash 的四次嘗試共產生 $0.0553 費用。這個批次沒有兩個模型都完成的配對,因此無法直接比較速度。
提高遷移任務的單次呼叫上限後,有什麼改變?
每次呼叫上限提高到 4,096 個 token 後,Hydrogen 通過四次遷移中的三次,3.8 Flash 則全部未通過。兩個匯入器測試案例都要求條件式欄位規則、編號欄位支援、向後相容、迴歸測試與文件更新。我們只調整每次呼叫的上限,測試案例、評分器、要求的 medium 強度、10 次呼叫限制、8,000 個 token 累計輸出額度、輸入保護門檻與時限都維持不變。
| 單次呼叫上限 | 模型 | 完成次數 | 總費用 | 每次成功成本 |
|---|---|---|---|---|
| 2,048 | Hydrogen | 0/4 | $0.0719 | 未定義 |
| 2,048 | 3.8 Flash | 0/4 | $0.0995 | 未定義 |
| 4,096 | Hydrogen | 3/4 | $0.1894 | $0.0631 |
| 4,096 | 3.8 Flash | 0/4 | $0.1163 | 未定義 |
在較高上限下,Hydrogen 完成了兩次計量任務與一次出貨任務。另一次出貨任務中,某次回應在回報的 4,096 個輸出 token 裡,將 3,877 個用於推理,結束時沒有呼叫寫入檔案的工具。Flash 的兩次出貨任務都停在執行器的預算保護檢查。紀錄對輸入估計值超標與剩餘輸出額度不足使用相同原因,因此無法區分是哪一項觸發。其中一次 Flash 計量任務寫出了檔案,但未通過條件式欄位檢查,之後達到呼叫次數上限;另一次則在寫入檔案前就達到單次呼叫的輸出上限。
兩種上限設定是先後執行的,每個測試案例各重複兩次。這些結果反映的是各設定下實際交付的成果。生成變異與批次執行時間仍可能影響結果,而 Flash 的失敗也無法說明它在其他限制下會有什麼表現。
你的工作流程應該評估哪個模型?
在每次呼叫上限為 2,048 個 token 的六個複雜任務中,Hydrogen 通過 8/12 次,3.8 Flash 通過 4/12 次。這個總計包含每個模型各四次復原、四次跨模組修正與四次遷移嘗試。4,096 個 token 的遷移批次已在上方另列。Hydrogen 的總費用略高,但通過驗收的交付次數是兩倍。
| 模型 | 完成次數 | 總費用 | 每次成功成本 |
|---|---|---|---|
| Hydrogen | 8/12 | $0.1922 | $0.0240 |
| 3.8 Flash | 4/12 | $0.1866 | $0.0466 |
對於流程固定、備援方式明確記載的對帳迴圈,我們的樣本顯示 3.8 Flash 是成本較低的候選模型。若這個工作流程更重視本次觀測到的時間節省,就選 Hydrogen。若需要跨檔案修改,且交付時必須附上測試,可以先在自己的程式碼庫評估 Hydrogen。追蹤修補程式通過驗收所需的時間、嘗試通過率與完整費用。若模型在寫入修補程式前就停止,請記錄具體觸及哪項限制。回應遭到截斷與達到呼叫次數上限,需要採取不同的調整方式。
常見問題
Hydrogen 每完成一個任務的成本比較低嗎?
在混合複雜任務批次中,Hydrogen 完成的任務較多,每次成功成本也較低。在兩個模型都完成所有執行的對帳子集中,則是 3.8 Flash 每次成功成本較低。
為什麼我們的速度比與 Google 的 2.5x 不同?
我們讓 Hydrogen 和 3.8 Flash 透過 Synthorai 執行小型工作流程,並計時到最終驗證完成。主要比較對兩個模型都要求使用 medium。Google 則是在自家工作負載上,以 high 執行 Hydrogen,且只提供有限的計時細節。1.97x 與 1.64x 這兩個比值適用於我們的兩組簡單任務批次。
Hydrogen 必須使用 xhigh 才能批次呼叫工具嗎?
在目錄檢查中,Hydrogen 使用 medium 與 xhigh 時,都將三次讀取合併提出。較高設定回報了更多推理 token,但回傳的正確答案相同。