Gemini 4 Hydrogen 对比 3.8 Flash:速度、工具调用与任务成本
目录
通过 Synthorai 测试的 16 组简单任务中,Gemini 4 Hydrogen 有 15 组比 Gemini 3.8 Flash 更快完成。两个模型在每组任务中都通过了验证。Google 于 2026 年 11 月 12 日发布 Hydrogen,面向日常编程和使用工具的智能体。在我们难度更高的测试用例中,Hydrogen 完成了更多代码修改,而 Flash 每次成功对账的成本更低。Google 发布评测
TL;DR
- Hydrogen 和 3.8 Flash 的简单任务均通过了 16/16 次运行。耗时中位数分别为 8.59 秒和 16.88 秒。
- 两个模型均通过了 4/4 次预设工具故障恢复测试。Hydrogen 在每组对比中都更快,Flash 每次通过的成本则更低。
- 在每次调用上限为 2,048 个 token 时,Hydrogen 通过了 4/4 次跨模块修复;上限为 4,096 个 token 时,通过了 3/4 次迁移。Flash 在这两组中均为 0/4。
- 在 4/4 个专项会话中,Hydrogen 都一次发起了三个读取请求,并返回正确结果。
Hydrogen 相比 3.8 Flash 有哪些变化?
Google 公布的结果显示,Gemini 4 Hydrogen 的 Terminal-Bench 4.1 得分高于 Gemini 3.8 Flash,任务执行速度也更快。Google 发布评测
| Google 发布时的对比 | 衡量内容 | Gemini 4 Hydrogen | Gemini 3.8 Flash |
|---|---|---|---|
| Terminal-Bench 4.1 | 终端任务平均得分,经过作弊校正 | 57.0% | 18.2% |
| 任务执行速度 | Google 发布评测中相对 3.8 Flash 的速度 | 默认 high 下为 2.5x | 1.0x 基准 |
| 原生默认思考级别 | Google API 中省略该设置时使用的推理级别 | high | medium |
Google 使用 mini-swe-agent vision runner,在 high 设置下运行 Hydrogen 的 Terminal-Bench 4.1 测试,每个任务尝试五次。发布文章没有提供绝对耗时、完整计时流程,也没有说明 2.5x 对比中 Flash 的思考设置。我们的测试使用另一组任务,计时范围从请求经过 Synthorai 开始,一直到最终验证结束。这可以检验这些工作流中是否也存在速度优势。Google 评测方法
Hydrogen 新增了用于更深入推理的 xhigh。Google 也将批量读取文件和批量搜索列为智能体工作流的改进。下面的示例通过 Synthorai 检查工具批量调用、签名回传和更高推理强度的实际表现。Hydrogen 开发指南 · Google 发布评测
智能体现在能用到 Hydrogen 的哪些功能?
在四个 Synthorai Chat Completions 会话中,Gemini 4 Hydrogen 都在首次响应中一次发起了三个独立的目录读取请求。目录中的值为 North = 17、South = 29、West = 31。我们要求模型一起请求这三次读取,并返回总和 77。每次请求的输出上限为 1,024 个 token。
每批调用中,只有第一个工具调用携带思考签名。这项元数据帮助 API 在多次工具调用之间延续模型的推理。我们原样回传 assistant 消息,再按调用顺序附上三个工具结果,Hydrogen 每次都返回了正确总和。下表中的推理 token 数是每个会话内两次模型请求的合计,分别对应工具调用请求和最终回答。Google Hydrogen 开发指南
| 请求的推理强度 | 一次响应发起全部三次读取 | 最终答案正确 | 每个会话报告的推理 token 数 |
|---|---|---|---|
medium | 2/2 | 2/2 | 95, 130 |
xhigh | 2/2 | 2/2 | 245, 287 |
将独立读取合并发起。在探索代码仓库、查找文档或检查互不依赖的记录时,让模型一次请求所有读取,可以减少模型交互轮次。如果工具及其速率限制允许,客户端还可以并发执行这些读取。有依赖关系的步骤仍应串行执行,例如先写入补丁,再运行测试。我们的客户端串行执行了工具调用。
在工具调用往返过程中保留思考签名。迁移智能体时,如果系统会在请求之间存储或重建消息,尤其需要检查这一点。保留完整的 assistant 消息,包括签名原本所在的位置,并将每个结果关联到原始工具调用 ID。如果客户端并发执行工具,应收集结果,再按原始调用顺序回传。Google 原生 API 文档还说明了最终文本中的签名保留要求,以及修改对话历史的规则。我们的网关测试覆盖了带签名的工具调用往返流程。Google Hydrogen 开发指南
下面的 Python 辅助函数用于在工具执行完毕后回传消息。它根据原始 Chat Completions 响应,以及按工具调用 ID 索引、值可序列化为 JSON 的结果字典,构建下一次请求的消息历史。
import json
def append_tool_turn(messages, response, results_by_id):
assistant = response["choices"][0]["message"]
tool_messages = [
{
"role": "tool",
"tool_call_id": call["id"],
"content": json.dumps(results_by_id[call["id"]]),
}
for call in assistant["tool_calls"]
]
return [*messages, assistant, *tool_messages]
先建立 medium 基线,再提高推理强度。Google 将 XHIGH 作为原生思考级别开放。Synthorai 在两个会话中都接受了 reasoning_effort: "xhigh",并报告了更多推理 token。两种设置都完成了查询。我们成功通过的跨模块修复和迁移也使用了 medium。可以从这一设置开始,记录通过验证的交付结果、耗时和每次通过的费用。对于失败的困难任务,再使用相同基线和验收测试,对比 high 与 xhigh。推理也占用输出额度,因此需要为补丁或工具参数留出空间。Google Hydrogen 开发指南
我们如何判定智能体完成了任务?
我们对比了八个简单任务和六个复杂任务,每个模型在每个任务上运行两次。提高输出上限后的迁移批次复用了其中两个复杂任务,额外运行八次。另有一组省略推理强度参数的检查,使用四个简单任务,每个模型各运行一次。这些结果来自少量任务上的重复观测。
最终文件或补丁在 300 秒内通过自动检查,就算该次运行通过。数据任务检查数值和来源引用,代码任务则在隔离环境中运行测试。难度更高的代码任务还要求智能体编写回归测试:测试必须在应用补丁后通过,而在原始代码上运行该测试套件时必须失败。迁移任务的评分程序通过关键词检查 README 是否覆盖指定主题。例如,Flash 的两次 CSV 运行都在因 token 相关限制停止之前写出了通过验证的文件,因此都计为完成交付。
我们通过 Synthorai Chat Completions,为 Hydrogen 和 3.8 Flash 使用相同的提示词、工具、输入和检查。每次运行都使用全新的工作区,并在提示词中加入唯一标记,以减少完全相同请求的复用。会话逐个运行,两个模型交替先运行。主要对比均为两个模型请求 reasoning_effort: "medium"。即使请求参数相同,实际推理用量也可能不同。单独的省略参数检查不传这个字段,并记录网关暴露出的行为。
| 批次 | 每个任务最多模型调用次数 | 每次调用最大输出 token 数 |
|---|---|---|
| 简单任务,含省略推理强度参数的检查 | 8 | 2,048 |
| 复杂任务,含最初的迁移对比 | 10 | 2,048 |
| 提高上限后的迁移 | 10 | 4,096 |
运行器为每个任务设置了 8,000 个 token 的累计输出额度。单次调用上限涵盖推理、工具参数和可见文本。发送请求前,运行器会将目前报告的输入用量加上对下一次请求的保守估算,与 40,000 个 token 的保护阈值比较。
我们测量从首次 API 请求开始,经过工具执行,直到最终验证结束的实际耗时,并在两个模型都通过的配对运行中比较交付耗时。每次通过的费用 是一组内所有尝试的网关报告费用之和,包括失败尝试,再除以通过次数。通过次数为零时,该指标无定义。
Hydrogen 在简单任务上快了多少?
Hydrogen 和 3.8 Flash 的所有简单任务运行均通过。八个测试用例覆盖了小型数据和文档工作流,以及范围较小的代码修改。Hydrogen 的耗时中位数约为 Flash 的一半,全部运行共调用模型 60 次,Flash 则为 81 次。
| 模型 | 完成次数 | 端到端耗时中位数 | 总费用 | 每次通过的费用 |
|---|---|---|---|---|
| Hydrogen | 16/16 | 8.59 s | $0.1365 | $0.00853 |
| 3.8 Flash | 16/16 | 16.88 s | $0.1429 | $0.00893 |
用 Flash 的耗时中位数除以 Hydrogen 的,得到 1.97x 的速度比。在另一组省略推理强度参数的四任务检查中,两个模型也都全部通过,Hydrogen 在四组对比中均更快。两者的耗时中位数分别为 8.26 秒和 13.54 秒,速度比为 1.64x,总费用分别为 $0.0248 和 $0.0198。在我们的任务和计时定义下,两组对比都与 Google 所称的速度提升方向一致。
在简单任务的 medium 批次中,Hydrogen 的费用略低。排除两组 CSV 配对运行后,费用关系反转:Hydrogen 总计 $0.1025,Flash 总计 $0.0831。即使两个模型都能完成全部任务,工作流的构成也会影响哪个模型更便宜。
工具失败后表现如何?
Hydrogen 和 3.8 Flash 均完成了全部四次恢复测试。在两个合成对账任务中,主退款文件始终返回空结果,首次读取结算数据始终返回临时错误。智能体必须读取归档、重试结算数据读取,并给出正确金额和来源引用。两个模型每次都走通了这条恢复路径。
Hydrogen 在四组对比中均更早完成,耗时中位数为 12.93 秒,Flash 为 17.48 秒。Hydrogen 每次通过验证的对账成本为 $0.0120,Flash 为 $0.0079。Google 强调了工具失败和返回空结果后的恢复能力。在明确提供回退和重试指令的情况下,两个模型在这里都表现出了这种能力。在这一工作负载中,两个模型各有 8/20 次响应发起了多个读取请求,因此不能将更快完成单独归因于批量调用。
两个模型能否完成跨模块修复?
Hydrogen 的四次运行全部通过,3.8 Flash 则为零次。这些任务涉及单位和货币换算,入口经由适配器调用实际生效的转换器。两个仓库中还各有一个名称相近、但不属于本次修改范围的转换器。评分程序要求修复实际执行路径,并添加回归测试。
Flash 在两次单位换算运行中都遗漏了回归测试。两次货币换算运行则都在交付实际生效的转换器修改和测试之前停止。Hydrogen 完成四次运行共花费 $0.0722,每次通过的费用为 $0.01805。Flash 的四次尝试共产生 $0.0553 费用。这一批次没有两个模型都完成的配对运行,因此无法直接比较速度。
提高单次调用上限后,迁移任务有何变化?
在单次调用上限为 4,096 个 token 时,Hydrogen 通过了四次迁移运行中的三次,3.8 Flash 则没有通过。两个导入器测试用例都要求实现条件字段规则、支持带编号的字段、保持向后兼容、添加回归测试并更新文档。我们只修改了单次调用上限,测试用例、评分程序、请求的 medium 推理强度、10 次调用限制、8,000 个 token 的累计输出额度、输入保护阈值和截止时间均保持不变。
| 单次调用上限 | 模型 | 完成次数 | 总费用 | 每次通过的费用 |
|---|---|---|---|---|
| 2,048 | Hydrogen | 0/4 | $0.0719 | 无定义 |
| 2,048 | 3.8 Flash | 0/4 | $0.0995 | 无定义 |
| 4,096 | Hydrogen | 3/4 | $0.1894 | $0.0631 |
| 4,096 | 3.8 Flash | 0/4 | $0.1163 | 无定义 |
提高上限后,Hydrogen 完成了两次计量任务和一次运输任务。在另一次运输任务中,某次响应报告的 4,096 个输出 token 中有 3,877 个用于推理,响应结束时没有发起文件写入调用。Flash 的两次运输任务都因运行器的预算保护检查而停止。日志对估算输入保护检查和剩余输出检查使用了相同的停止原因,因此无法区分具体触发了哪一项。Flash 的一次计量任务写入了文件,但未通过条件字段检查,随后达到调用次数上限;另一次则在写入文件前就达到了单次调用输出上限。
两种上限设置按先后顺序运行,每个测试用例重复两次。结果反映的是这些配置下实际完成的交付。生成结果的随机波动和批次运行时间仍可能影响变化;Flash 的失败也无法说明它在其他限制下会有何表现。
应该为你的工作流评估哪个模型?
在单次调用上限为 2,048 个 token 的六个复杂任务中,Hydrogen 通过了 8/12 次运行,3.8 Flash 通过了 4/12 次。每个模型的总数都包含四次故障恢复、四次跨模块修复和四次迁移尝试。4,096 个 token 上限的迁移批次已在上文单独列出。Hydrogen 的总费用略高,但通过验收的交付数量是 Flash 的两倍。
| 模型 | 完成次数 | 总费用 | 每次通过的费用 |
|---|---|---|---|
| Hydrogen | 8/12 | $0.1922 | $0.0240 |
| 3.8 Flash | 4/12 | $0.1866 | $0.0466 |
对于回退路径已有明确说明的固定对账流程,我们的样本中 3.8 Flash 成本更低。如果观测到的耗时缩短对该工作流更重要,可以选 Hydrogen。对于必须连同测试一起交付的跨文件修改,可以先在自己的仓库中评估 Hydrogen。记录补丁通过验收所需的时间、尝试通过率和完整费用。如果模型在写入补丁前停止,应记录具体触发了哪项限制。响应被截断和达到最大调用次数,需要采用不同的调整方式。
常见问题
Hydrogen 每完成一个任务的成本更低吗?
在混合复杂任务批次中,Hydrogen 完成的任务更多,每次通过的费用更低。在两个模型都全部完成的对账子集中,3.8 Flash 每次通过的费用更低。
为什么我们的速度比与 Google 的 2.5x 不同?
Hydrogen 和 3.8 Flash 通过 Synthorai 运行我们的小型工作流,计时一直持续到最终验证结束。主要对比为两个模型都请求了 medium。Google 报告的是 Hydrogen 在其自身工作负载上使用 high 的表现,公开的计时细节有限。1.97x 和 1.64x 分别对应我们的两组简单任务测试。
Hydrogen 批量调用工具需要 xhigh 吗?
在目录查询检查中,Hydrogen 使用 medium 和 xhigh 都能一次发起全部三次读取。较高设置报告了更多推理 token,但返回的正确答案相同。