Gemini 4 Hydrogen vs 3.8 Flash:速度・ツール・タスク単価
目次
Synthorai 経由で単純タスクを比較したところ、Gemini 4 Hydrogen は 16 組中 15 組で Gemini 3.8 Flash より早く完了しました。どの組でも、両モデルが合格する成果物を出しました。Google は日常的なコーディングやツールを使うエージェント向けに、2026 年 11 月 12 日に Hydrogen を公開しました。難度の高いテストケースでは、Hydrogen のほうが多くのコード変更を完了しました。一方、照合タスクの合格 1 件あたりの費用は Flash のほうが低くなりました。Google 公開時の評価
TL;DR
- 単純タスクでは Hydrogen と 3.8 Flash がそれぞれ 16/16 回合格しました。所要時間の中央値は 8.59 秒と 16.88 秒でした。
- 失敗をあらかじめ仕込んだツール復旧テストでは、両モデルとも 4/4 回合格しました。すべての組で Hydrogen が速く、合格 1 件あたりの費用は Flash のほうが低くなりました。
- Hydrogen は呼び出しあたり 2,048 token の上限でモジュール横断修正に 4/4 回、4,096 token の上限で移行タスクに 3/4 回合格しました。Flash はどちらも 0/4 回でした。
- 個別に実施した 4/4 セッションで、Hydrogen は 3 件の読み取りをまとめて要求し、正しい結果を返しました。
Hydrogen は 3.8 Flash から何が変わったか
Google の発表では、Gemini 4 Hydrogen は Gemini 3.8 Flash より Terminal-Bench 4.1 のスコアが高く、タスク実行も高速です。Google 公開時の評価
| Google 公開時の比較 | 測定対象 | Gemini 4 Hydrogen | Gemini 3.8 Flash |
|---|---|---|---|
| Terminal-Bench 4.1 | 不正行為の影響を補正したターミナルタスクの平均スコア | 57.0% | 18.2% |
| タスク実行速度 | Google 公開時の比較における 3.8 Flash 比 | デフォルトの high で 2.5x | 基準値 1.0x |
| ネイティブ API のデフォルト思考レベル | Google の API で省略した場合の推論設定 | high | medium |
Google は mini-swe-agent vision runner を使い、Hydrogen を high に設定して Terminal-Bench 4.1 の各タスクを 5 回実行しました。公開記事には、2.5x という比較の実時間、計時手順の全容、Flash の思考設定は記載されていません。今回の検証では別のタスク群を使い、Synthorai 経由で最終検証までの所要時間を測りました。これらのワークフローでも速度上の優位が見られるかを確認できます。Google の評価方法
Hydrogen には、より深い推論を行う xhigh が追加されています。Google はエージェントのワークフロー改善として、ファイル読み取りや検索呼び出しをまとめて要求する機能も挙げています。次の例では、ツール呼び出しの一括要求、署名の再送、より高い推論設定が Synthorai 経由でどう動くかを確認します。Hydrogen 開発者ガイド · Google 公開時の評価
エージェントで今使える Hydrogen の機能
Synthorai Chat Completions で実施した 4 セッションすべてで、Gemini 4 Hydrogen は独立した 3 件のカタログ読み取りを最初の応答にまとめました。カタログの値は North = 17、South = 29、West = 31 です。読み取りをまとめて要求し、合計の 77 を返すようモデルに指示しました。各リクエストの出力上限は 1,024 token です。
各バッチでは、最初のツール呼び出しだけに思考署名が付いていました。このメタデータは、ツール呼び出しをまたいでモデルの推論を継続するために API が使います。assistant メッセージをそのまま返し、その後に 3 件のツール結果を呼び出し順に追加すると、Hydrogen は毎回正しい合計を返しました。下表の推論 token 数は、各セッションの 2 回のモデルリクエスト、つまりツール呼び出しの要求と最終回答の合計です。Google Hydrogen 開発者ガイド
| 指定した推論設定 | 1 回の応答で 3 件すべてを要求 | 最終回答が正解 | セッションごとに報告された推論 token 数 |
|---|---|---|---|
medium | 2/2 | 2/2 | 95、130 |
xhigh | 2/2 | 2/2 | 245、287 |
独立した読み取りはまとめて要求する。リポジトリの調査、ドキュメントの検索、互いに独立したレコードの確認では、必要な読み取りをまとめて要求するとモデルとの往復を減らせます。ツールとレート制限が許せば、クライアント側でも独立した読み取りを並列実行できます。パッチを書いてからテストする場合など、依存関係のある処理は順番に実行します。今回のクライアントはツールを逐次実行しました。
ツール呼び出しの往復で思考署名を保持する。リクエスト間でメッセージを保存したり再構築したりするエージェントを移行する際は、特に確認したい点です。署名が付いた位置も含めて assistant メッセージ全体を保持し、各結果を元のツール呼び出し ID に対応付けます。クライアントがツールを並列実行する場合は、結果を集めて元の呼び出し順に返します。Google のネイティブ API では、最終テキストの署名保持と会話履歴の編集ルールも文書化されています。今回のゲートウェイ経由の確認は、署名付きツール呼び出しの往復を対象としました。Google Hydrogen 開発者ガイド
次の Python ヘルパーは、ツール実行後の再送処理を実装したものです。Chat Completions の生の応答と、ツール呼び出し ID をキーに JSON シリアライズ可能な結果を格納した辞書から、次のリクエストのメッセージ履歴を組み立てます。
import json
def append_tool_turn(messages, response, results_by_id):
assistant = response["choices"][0]["message"]
tool_messages = [
{
"role": "tool",
"tool_call_id": call["id"],
"content": json.dumps(results_by_id[call["id"]]),
}
for call in assistant["tool_calls"]
]
return [*messages, assistant, *tool_messages]
推論設定を上げる前に medium で基準を測る。Google はネイティブの思考レベルとして XHIGH を提供しています。Synthorai は 2 セッションとも reasoning_effort: "xhigh" を受け付け、より多くの推論 token を報告しました。検索タスクはどちらの設定でも解けました。今回成功したモジュール横断修正と移行タスクも medium を使っています。まずこの設定で、検証に合格した成果物、所要時間、合格 1 件あたりの費用を記録します。難しいタスクで失敗する場合は、同じ基準と受け入れテストで high、xhigh を比較します。推論も出力枠を消費するため、パッチやツール引数の分を出力上限に残してください。Google Hydrogen 開発者ガイド
エージェントのタスク完了をどう測ったか
単純タスク 8 件と複雑なタスク 6 件を用意し、各モデルでタスクごとに 2 回実行しました。移行タスクの上限を引き上げたバッチでは、複雑なタスクのうち 2 件を再利用し、計 8 回を追加しました。推論設定を省略する別の確認では、単純タスク 4 件を各モデルで 1 回ずつ実行しました。少数のタスクを繰り返し観測した結果です。
最終ファイルまたはパッチが 300 秒以内に自動チェックを通れば合格としました。データタスクでは値と参照元を確認し、コードタスクでは隔離環境でテストを実行しました。難度の高いコードタスクでは、エージェント自身が回帰テストを書くことも条件にしました。そのテストスイートはパッチ適用後には成功し、元のコードでは失敗する必要があります。移行タスクの採点では、README に必要な項目が含まれるかをキーワードで確認しました。たとえば Flash の CSV タスクは 2 回とも、token 関連の停止に達する前に検証済みファイルを書き出していました。この 2 回は完了として数えています。
Synthorai Chat Completions 経由で、Hydrogen と 3.8 Flash に同じプロンプト、ツール、入力、チェックを使いました。各実行は新しいワークスペースで開始し、同一リクエストの再利用を抑えるために固有のマーカーをプロンプトに付けました。セッションは 1 つずつ実行し、先に実行するモデルを交互に切り替えました。主比較では両モデルに reasoning_effort: "medium" を指定しました。同じ値を指定しても、実際の推論量は異なる場合があります。設定省略の確認ではこのフィールドを送らず、ゲートウェイ経由で観測できる挙動を記録しました。
| バッチ | タスクあたりのモデル呼び出し上限 | 呼び出しあたりの出力 token 上限 |
|---|---|---|
| 単純タスク、推論設定省略の確認を含む | 8 | 2,048 |
| 複雑なタスク、最初の移行比較を含む | 10 | 2,048 |
| 上限を引き上げた移行タスク | 10 | 4,096 |
実行基盤はタスクあたりの累積出力枠を 8,000 token に維持しました。呼び出しごとの上限には、推論、ツール引数、表示テキストが含まれます。リクエスト送信前には、それまでに報告された入力使用量に次のリクエストの保守的な推定値を加え、40,000 token の制限に収まるかを確認しました。
実時間は最初の API リクエストから、ツール実行と最終検証が終わるまでを測ります。完了までの時間は、両モデルが合格した組で比較します。合格 1 件あたりの費用 は、失敗も含めたグループ内の全試行について、報告されたゲートウェイ料金を合計し、合格数で割った値です。合格が 0 件の場合は未定義です。
単純タスクで Hydrogen はどれだけ速かったか
Hydrogen と 3.8 Flash は、単純タスクのすべての実行で合格しました。8 件のテストケースは、小規模なデータ処理や文書処理、範囲を絞ったコード変更です。Hydrogen の所要時間の中央値は Flash の約半分でした。全実行でのモデル呼び出し回数は Hydrogen が 60 回、Flash が 81 回でした。
| モデル | 完了 | エンドツーエンド時間の中央値 | 合計料金 | 合格 1 件あたりの費用 |
|---|---|---|---|---|
| Hydrogen | 16/16 | 8.59 s | $0.1365 | $0.00853 |
| 3.8 Flash | 16/16 | 16.88 s | $0.1429 | $0.00893 |
Flash の中央値を Hydrogen の中央値で割ると、速度比は 1.97x です。推論設定を省略した別の 4 タスクでも、両モデルがすべて合格しました。Hydrogen は 4 組すべてで高速でした。中央値はそれぞれ 8.26 秒と 13.54 秒で、比率は 1.64x、合計料金はそれぞれ $0.0248 と $0.0198 でした。どちらの比較も、今回のタスクと計時範囲では Google の速度に関する主張と同じ傾向を示しています。
単純タスクを medium で実行したバッチでは、Hydrogen のほうがわずかに安くなりました。ただし CSV の 2 組を除くと逆転し、合計は Hydrogen が $0.1025、Flash が $0.0831 です。両モデルがすべてのタスクを完了しても、ワークフローの構成次第で安いモデルは変わります。
ツールが失敗したときの挙動
Hydrogen と 3.8 Flash は、それぞれ 4 回の復旧テストをすべて完了しました。人工的に作った 2 件の照合タスクでは、メインの返金ファイルは必ず空の結果を返し、決済データの最初の読み取りは必ず一時エラーを返します。エージェントはアーカイブを読み、決済データの読み取りを再試行し、正しい金額と参照元を出す必要がありました。両モデルとも毎回この復旧手順をたどりました。
Hydrogen は 4 組すべてで早く完了し、中央値は 12.93 秒、Flash は 17.48 秒 でした。検証に合格した照合 1 件あたりの費用は Hydrogen が $0.0120、Flash が $0.0079 でした。Google はツールの失敗や空の結果からの復旧を強調しています。今回はフォールバックと再試行を明示的に指示しており、両モデルがその挙動を示しました。このワークロードでは、各モデルとも 20 応答中 8 応答で複数の読み取りを要求しました。そのため、完了の速さを一括要求だけの効果とは断定できません。
モジュールをまたぐ修正を完了できたか
Hydrogen は 4 回中 4 回合格し、3.8 Flash は 4 回中 0 回でした。対象は単位変換と通貨変換のタスクで、エントリーポイントからアダプターを経由して、実際に使われる変換処理に到達する構造です。どちらのリポジトリにも、名前は似ているものの今回の変更対象ではない変換処理がありました。合格には、実際に使われる経路の修正と回帰テストの追加が必要でした。
Flash は単位変換の 2 回とも回帰テストを追加しませんでした。通貨変換の 2 回はいずれも、実際に使われる変換処理の変更とテストを揃える前に停止しました。Hydrogen は 4 回を $0.0722 で完了し、合格 1 件あたりでは $0.01805 でした。Flash の 4 回の試行には $0.0553 かかりました。このバッチでは両モデルが完了した組がないため、速度を直接比較できません。
移行タスクの呼び出しあたり上限を増やすとどうなったか
呼び出しあたりの上限を 4,096 token にすると、Hydrogen は移行タスクに 4 回中 3 回合格しました。3.8 Flash は合格しませんでした。2 件のインポーター用テストケースでは、条件付きフィールドのルール、番号付きフィールドへの対応、後方互換性、回帰テスト、ドキュメント更新を要求しました。変更したのは呼び出しあたりの上限だけです。テストケース、採点処理、指定した推論設定 medium、呼び出し上限 10 回、累積出力枠 8,000 token、入力制限、制限時間は固定しました。
| 呼び出しあたりの上限 | モデル | 完了 | 合計料金 | 合格 1 件あたりの費用 |
|---|---|---|---|---|
| 2,048 | Hydrogen | 0/4 | $0.0719 | 未定義 |
| 2,048 | 3.8 Flash | 0/4 | $0.0995 | 未定義 |
| 4,096 | Hydrogen | 3/4 | $0.1894 | $0.0631 |
| 4,096 | 3.8 Flash | 0/4 | $0.1163 | 未定義 |
上限を増やすと、Hydrogen は計量タスクの 2 回と配送タスクの 1 回を完了しました。もう 1 回の配送タスクでは、ある応答で報告された出力 token 4,096 のうち 3,877 を推論に使い、ファイル書き込みを呼び出さずに終了しました。Flash の配送タスクは 2 回とも、実行基盤の予算制限で停止しました。ログ上では、入力の推定量による制限と残り出力枠のチェックに同じ停止理由を使っているため、どちらに達したのかは区別できません。Flash の計量タスクのうち 1 回はファイルを書き出しましたが、呼び出し回数の上限に達する前に条件付きフィールドのチェックで失敗しました。もう 1 回は、ファイルを書き出す前に呼び出しあたりの出力上限に達しました。
2 つの上限設定は順番に実行し、各テストケースを 2 回ずつ繰り返しました。この結果が示すのは、それぞれの設定で何を完成できたかです。生成のばらつきやバッチの実行時期も結果の変化に影響した可能性があります。また、Flash が別の制限設定でどう動くかは、今回の失敗だけでは分かりません。
自分のワークフローでどちらを評価すべきか
呼び出しあたり 2,048 token の上限で実行した複雑なタスク 6 件では、Hydrogen は 8/12 回、3.8 Flash は 4/12 回合格しました。各モデルの内訳は、復旧 4 回、モジュール横断修正 4 回、移行 4 回です。4,096 token の移行バッチは上で別に報告しています。Hydrogen の合計料金はわずかに高いものの、受け入れられた成果物は 2 倍でした。
| モデル | 完了 | 合計料金 | 合格 1 件あたりの費用 |
|---|---|---|---|
| Hydrogen | 8/12 | $0.1922 | $0.0240 |
| 3.8 Flash | 4/12 | $0.1866 | $0.0466 |
フォールバックが明文化された固定の照合ループなら、今回のサンプルでは 3.8 Flash が低コストの候補です。観測された時間短縮の価値が大きいワークフローなら Hydrogen を選びます。テスト付きで完成させる必要がある複数ファイルの編集では、まず自分のリポジトリで Hydrogen を評価してください。受け入れ可能なパッチができるまでの時間、試行の合格率、全体の料金を記録します。パッチを書く前にモデルが停止した場合は、どの制限に達したかを具体的にログへ残します。応答の打ち切りと呼び出し回数上限への到達では、調整すべき点が異なります。
よくある質問
完了したタスク 1 件あたりでは Hydrogen のほうが安かったか
複数種類を混ぜた複雑タスクのバッチでは、Hydrogen がより多くのタスクを完了し、合格 1 件あたりの費用も低くなりました。両モデルがすべて完了した照合タスクだけでは、3.8 Flash のほうが低コストでした。
速度比が Google の 2.5x と異なるのはなぜか
今回の Hydrogen と 3.8 Flash は、Synthorai 経由で小規模なワークフローを実行し、最終検証までを計時しています。主比較では両モデルに medium を指定しました。Google は独自のワークロードで Hydrogen を high に設定した結果を報告していますが、計時の詳細は限られています。1.97x と 1.64x は、今回の単純タスクの 2 バッチにおける比率です。
ツール呼び出しをまとめるには xhigh が必要か
カタログの確認では、Hydrogen は medium と xhigh のどちらでも 3 件の読み取りをまとめて要求しました。高い設定では報告された推論 token 数が増えましたが、返した正解は同じでした。