Gemini 4 Hydrogen vs 3.8 Flash: Tempo, Tools und Aufgabenkosten

Inhalt
  1. Was ändert sich mit Hydrogen gegenüber 3.8 Flash?
  2. Welche Hydrogen-Funktionen kann ein Agent heute nutzen?
  3. Wann galt eine Agentenaufgabe als abgeschlossen?
  4. Wie viel schneller war Hydrogen bei einfachen Aufgaben?
  5. Was passierte bei Tool-Fehlern?
  6. Konnten die Modelle einen modulübergreifenden Fehler beheben?
  7. Was änderte ein höheres Limit pro Aufruf bei Migrationen?
  8. Welches Modell sollten Sie für Ihren Workflow prüfen?
  9. Häufige Fragen
  10. War Hydrogen pro abgeschlossener Aufgabe günstiger?
  11. Warum wichen unsere Geschwindigkeitsverhältnisse von Googles 2.5x ab?
  12. Braucht Hydrogen xhigh für gebündelte Tool-Aufrufe?

Gemini 4 Hydrogen war über Synthorai bei 15 von 16 einfachen Aufgabenpaaren schneller fertig als Gemini 3.8 Flash. Beide Modelle lieferten bei jedem Paar ein Ergebnis, das die Prüfung bestand. Google veröffentlichte Hydrogen am November 12, 2026 für alltägliche Programmieraufgaben und Agenten mit Tool-Nutzung. In unseren anspruchsvolleren Tests schloss Hydrogen mehr Codeänderungen ab. Flash verursachte dagegen pro erfolgreichem Datenabgleich geringere Kosten. Googles Evaluation zur Veröffentlichung

TL;DR

  • Hydrogen und 3.8 Flash bestanden jeweils 16/16 einfache Durchläufe. Die mediane Laufzeit lag bei 8.59 gegenüber 16.88 Sekunden.
  • Beide Modelle bestanden 4/4 Durchläufe mit vorgegebenen Tool-Fehlern. Hydrogen war in jedem Paar schneller, Flash pro bestandenem Durchlauf günstiger.
  • Hydrogen bestand 4/4 modulübergreifende Fehlerbehebungen bei einem Limit von 2,048 Token pro Aufruf und 3/4 Migrationen bei 4,096. Flash bestand in beiden Gruppen 0/4.
  • Hydrogen bündelte drei Lesezugriffe und lieferte in 4/4 separaten Sitzungen das richtige Ergebnis.

Was ändert sich mit Hydrogen gegenüber 3.8 Flash?

Google meldete für Gemini 4 Hydrogen einen höheren Terminal-Bench-4.1-Score und eine schnellere Aufgabenausführung als für Gemini 3.8 Flash. Googles Evaluation zur Veröffentlichung

Googles Vergleich zur VeröffentlichungMessgrößeGemini 4 HydrogenGemini 3.8 Flash
Terminal-Bench 4.1Durchschnittlicher Score bei Terminal-Aufgaben, um Schummeln bereinigt57.0%18.2%
AusführungsgeschwindigkeitRelativ zu 3.8 Flash in Googles Vergleich zur Veröffentlichung2.5x mit Standardeinstellung high1.0x als Referenz
Native Standardeinstellung für ThinkingReasoning-Einstellung, wenn sie in Googles API nicht angegeben wirdhighmedium

Google testete Hydrogen auf Terminal-Bench 4.1 mit high, fünf Versuchen pro Aufgabe und dem mini-swe-agent Vision Runner. Der Ankündigungsbeitrag nennt für den 2.5x-Vergleich weder absolute Laufzeiten noch das vollständige Messverfahren oder die Thinking-Einstellung von Flash. Unsere Untersuchung verwendete andere Aufgaben und maß die Laufzeit über Synthorai bis zur abschließenden Validierung. Damit lässt sich prüfen, ob der Geschwindigkeitsvorteil auch in diesen Workflows auftritt. Googles Evaluationsmethodik

Hydrogen ergänzt xhigh für tiefergehendes Reasoning. Als weitere Verbesserung für Agenten nennt Google das Bündeln von Dateizugriffen und Suchaufrufen. Das folgende Beispiel prüft, wie sich gebündelte Tool-Aufrufe, das erneute Übermitteln von Signaturen und die höhere Reasoning-Einstellung über Synthorai verhalten. Entwicklerdokumentation zu Hydrogen · Googles Evaluation zur Veröffentlichung

Welche Hydrogen-Funktionen kann ein Agent heute nutzen?

Gemini 4 Hydrogen bündelte in allen vier Synthorai-Chat-Completions-Sitzungen drei unabhängige Katalogabfragen in seiner ersten Antwort. Der Katalog enthielt North = 17, South = 29 und West = 31. Wir forderten das Modell auf, die Lesezugriffe gemeinsam anzufordern und ihre Summe, 77, zurückzugeben. Für jede Anfrage galt ein Ausgabelimit von 1,024 Token.

In jedem Bündel trug nur der erste Tool-Aufruf eine Thought Signature. Diese Metadaten helfen der API, das Reasoning des Modells über Tool-Aufrufe hinweg fortzusetzen. Wir sendeten die Assistant-Nachricht unverändert zurück, gefolgt von den drei Tool-Ergebnissen in Aufrufreihenfolge. Hydrogen lieferte jedes Mal die richtige Summe. Die folgenden Reasoning-Zahlen summieren beide Modellanfragen einer Sitzung: die Anfrage für die Tool-Aufrufe und die abschließende Antwort. Googles Entwicklerdokumentation zu Hydrogen

Angeforderte Reasoning-StufeAlle drei Lesezugriffe in einer AntwortRichtige abschließende AntwortGemeldete Reasoning-Token pro Sitzung
medium2/22/295, 130
xhigh2/22/2245, 287

Unabhängige Lesezugriffe bündeln. Beim Erkunden eines Repositorys, beim Nachschlagen in Dokumenten und beim Prüfen unabhängiger Datensätze lassen sich Modellaufrufe sparen, wenn das Modell alle Lesezugriffe gemeinsam anfordert. Der Client kann unabhängige Zugriffe auch parallel ausführen, sofern die Tools und ihre Rate Limits das zulassen. Abhängige Schritte bleiben sequenziell, etwa das Schreiben und anschließende Testen eines Patches. Unser Client führte die Tools sequenziell aus.

Thought Signatures über den gesamten Tool-Zyklus erhalten. Das sollte besonders bei der Migration eines Agenten geprüft werden, der Nachrichten zwischen Anfragen speichert oder rekonstruiert. Die vollständige Assistant-Nachricht muss erhalten bleiben, einschließlich der Signatur an ihrer ursprünglichen Position. Jedes Ergebnis muss seiner ursprünglichen Tool-Call-ID zugeordnet werden. Führt der Client Tools parallel aus, sollte er die Ergebnisse sammeln und in der ursprünglichen Aufrufreihenfolge zurücksenden. Googles native API dokumentiert außerdem den Erhalt von Signaturen im abschließenden Text und Regeln zum Bearbeiten des Gesprächsverlaufs. Unser Gateway-Test deckte den Tool-Zyklus mit Signatur ab. Googles Entwicklerdokumentation zu Hydrogen

Diese Python-Hilfsfunktion übermittelt die Nachrichten erneut, sobald die Tools fertig sind. Sie baut den Nachrichtenverlauf für die nächste Anfrage aus der unverarbeiteten Chat-Completions-Antwort und einem Dictionary auf. Dessen Schlüssel sind Tool-Call-IDs, die Werte sind JSON-serialisierbare Ergebnisse.

import json


def append_tool_turn(messages, response, results_by_id):
    assistant = response["choices"][0]["message"]
    tool_messages = [
        {
            "role": "tool",
            "tool_call_id": call["id"],
            "content": json.dumps(results_by_id[call["id"]]),
        }
        for call in assistant["tool_calls"]
    ]
    return [*messages, assistant, *tool_messages]

Vor höheren Reasoning-Stufen eine Referenz mit medium ermitteln. Google bietet XHIGH als native Thinking-Stufe an. Synthorai akzeptierte reasoning_effort: "xhigh" in beiden Sitzungen und meldete mehr Reasoning-Token. Beide Einstellungen lösten die Katalogabfrage. Auch unsere erfolgreichen modulübergreifenden Fehlerbehebungen und Migrationen liefen mit medium. Mit dieser Einstellung sollte man beginnen und geprüfte Ergebnisse, Laufzeit sowie Kosten pro bestandenem Durchlauf erfassen. Bei schwierigen Aufgaben, die scheitern, lassen sich high und xhigh mit derselben Referenz und denselben Abnahmetests vergleichen. Im Ausgabelimit muss Platz für den Patch oder die Tool-Argumente bleiben, da auch Reasoning dieses Budget verbraucht. Googles Entwicklerdokumentation zu Hydrogen

Wann galt eine Agentenaufgabe als abgeschlossen?

Wir verglichen acht einfache und sechs komplexe Aufgaben mit jeweils zwei Durchläufen pro Aufgabe und Modell. Für die Migrationsreihe mit höherem Limit verwendeten wir zwei der komplexen Aufgaben erneut und führten acht zusätzliche Durchläufe aus. Ein separater Test ohne Angabe der Reasoning-Stufe umfasste vier einfache Aufgaben mit je einem Durchlauf pro Modell. Es handelt sich um wiederholte Beobachtungen an einer kleinen Auswahl von Aufgaben.

Ein Durchlauf galt als bestanden, wenn die fertige Datei oder der Patch innerhalb von 300 Sekunden die automatisierten Prüfungen bestand. Bei Datenaufgaben prüften wir Werte und Quellenverweise. Bei Codeaufgaben liefen Tests in einer isolierten Umgebung. Die schwierigeren Codeaufgaben verlangten zusätzlich vom Agenten geschriebene Regressionstests. Diese mussten mit dem Patch bestehen, während die Testsuite auf dem ursprünglichen Code fehlschlagen musste. Die Migrationsprüfung suchte in der README anhand von Schlüsselwörtern nach den geforderten Themen. Beispielsweise schrieben beide CSV-Durchläufe von Flash eine erfolgreich geprüfte Datei, bevor sie an einem Token-Limit stoppten. Beide zählten als abgeschlossene Ergebnisse.

Für Hydrogen und 3.8 Flash verwendeten wir über Synthorai Chat Completions dieselben Prompts, Tools, Eingaben und Prüfungen. Jeder Durchlauf begann mit einem frischen Arbeitsverzeichnis und einer eindeutigen Markierung im Prompt, um die Wiederverwendung identischer Anfragen zu reduzieren. Es lief jeweils nur eine Sitzung. Welches Modell zuerst startete, wechselte ab. In den Hauptvergleichen forderten wir für beide Modelle reasoning_effort: "medium" an. Derselbe Parameterwert kann zu unterschiedlichem Reasoning-Verbrauch führen. Im separaten Test ohne Reasoning-Angabe ließen wir das Feld weg und zeichneten das über das Gateway sichtbare Verhalten auf.

TestreiheMaximale Modellaufrufe pro AufgabeMaximale Ausgabe-Token pro Aufruf
Einfach, einschließlich des Tests ohne Reasoning-Angabe82,048
Komplex, einschließlich des ersten Migrationsvergleichs102,048
Migration mit höherem Limit104,096

Der Runner begrenzte die kumulierte Ausgabe pro Aufgabe auf 8,000 Token. Das Limit pro Aufruf umfasst Reasoning, Tool-Argumente und sichtbaren Text. Vor jeder Anfrage prüfte der Runner, ob der bisher gemeldete Eingabeverbrauch zusammen mit einer konservativen Schätzung für die nächste Anfrage unter der Grenze von 40,000 Token lag.

Wir messen die tatsächlich verstrichene Zeit von der ersten API-Anfrage über die Tool-Ausführung bis zur abschließenden Validierung. Die Zeit bis zum fertigen Ergebnis vergleichen wir nur für Paare, in denen beide Modelle bestanden. Kosten pro bestandenem Durchlauf sind die Summe der gemeldeten Gateway-Gebühren aller Versuche einer Gruppe, einschließlich fehlgeschlagener Versuche, geteilt durch die Anzahl bestandener Durchläufe. Ohne bestandenen Durchlauf ist dieser Wert nicht definiert.

Wie viel schneller war Hydrogen bei einfachen Aufgaben?

Hydrogen und 3.8 Flash bestanden sämtliche einfachen Durchläufe. Die acht Testszenarien deckten kleine Daten- und Dokumentenworkflows sowie eng begrenzte Codeänderungen ab. Die mediane Laufzeit von Hydrogen lag bei etwa der Hälfte des Flash-Werts. Über alle Durchläufe benötigte Hydrogen 60 Modellaufrufe, Flash dagegen 81.

ModellAbgeschlossenMediane GesamtlaufzeitGesamtkostenKosten pro bestandenem Durchlauf
Hydrogen16/168.59 s$0.1365$0.00853
3.8 Flash16/1616.88 s$0.1429$0.00893

Teilt man den Median von Flash durch den von Hydrogen, ergibt sich ein Geschwindigkeitsverhältnis von 1.97x. In einem separaten Test mit vier Aufgaben ohne Angabe der Reasoning-Stufe bestanden beide Modelle erneut jede Aufgabe. Hydrogen war in allen vier Paaren schneller. Die Mediane lagen bei 8.26 und 13.54 Sekunden, entsprechend einem Verhältnis von 1.64x. Die Gesamtkosten betrugen $0.0248 beziehungsweise $0.0198. Beide Vergleiche bestätigen unter unseren Aufgaben- und Zeitdefinitionen die Richtung von Googles Geschwindigkeitsaussage.

Die einfache Testreihe mit medium kostete mit Hydrogen etwas weniger. Ohne die beiden CSV-Paare kehrt sich das Verhältnis um: Dann liegen die Gesamtkosten bei $0.1025 für Hydrogen und $0.0831 für Flash. Die Zusammensetzung der Workflows kann also bestimmen, welches Modell günstiger ist, selbst wenn beide jede Aufgabe abschließen.

Was passierte bei Tool-Fehlern?

Hydrogen und 3.8 Flash schlossen jeweils alle vier Durchläufe zur Fehlerbehandlung ab. In den zwei synthetischen Abgleichsaufgaben lieferte die primäre Erstattungsdatei immer ein leeres Ergebnis. Der erste Lesezugriff auf die Abrechnungsdaten schlug jeweils mit einem vorübergehenden Fehler fehl. Der Agent musste das Archiv lesen, den Zugriff auf die Abrechnungsdaten wiederholen und die richtigen Beträge samt Quellenverweisen ausgeben. Beide Modelle gingen jedes Mal so vor.

Hydrogen war in allen vier Paaren früher fertig. Der Median lag bei 12.93 Sekunden gegenüber 17.48 Sekunden. Pro erfolgreich geprüftem Abgleich kostete Hydrogen $0.0120, Flash dagegen $0.0079. Google hebt den Umgang mit fehlgeschlagenen Tools und leeren Ergebnissen hervor. Beide Modelle zeigten dieses Verhalten hier mit expliziten Anweisungen für Ausweichpfad und Wiederholung. Jedes Modell forderte bei dieser Aufgabenart in 8/20 Antworten mehrere Lesezugriffe an. Die kürzere Laufzeit belegt daher keinen Vorteil allein durch Bündelung.

Konnten die Modelle einen modulübergreifenden Fehler beheben?

Hydrogen bestand vier von vier Durchläufen, 3.8 Flash keinen von vier. In diesen Aufgaben zur Einheiten- und Währungsumrechnung führte der Einstiegspunkt über einen Adapter zum tatsächlich verwendeten Konverter. Beide Repositorys enthielten außerdem einen ähnlich benannten Konverter, der nicht geändert werden sollte. Die Prüfung verlangte eine Korrektur im aktiven Codepfad und einen zusätzlichen Regressionstest.

Flash ließ bei beiden Durchläufen zur Einheitenumrechnung den Regressionstest aus. Bei beiden Währungsdurchläufen stoppte es, bevor die Änderung am aktiven Konverter und der Test vorlagen. Hydrogen schloss die vier Durchläufe für $0.0722 ab, also $0.01805 pro bestandenem Durchlauf. Flash verursachte über die vier Versuche hinweg Kosten von $0.0553. Da kein Paar von beiden Modellen abgeschlossen wurde, war in dieser Testreihe kein direkter Geschwindigkeitsvergleich möglich.

Was änderte ein höheres Limit pro Aufruf bei Migrationen?

Hydrogen bestand drei von vier Migrationsdurchläufen mit einem Limit von 4,096 Token pro Aufruf. 3.8 Flash bestand keinen. Die zwei Importer-Testszenarien verlangten eine bedingte Feldregel, Unterstützung für nummerierte Felder, Rückwärtskompatibilität, Regressionstests und aktualisierte Dokumentation. Wir änderten nur das Limit pro Aufruf. Testszenarien, Prüfung, angeforderte Reasoning-Stufe medium, das Limit von 10 Aufrufen, das kumulierte Ausgabebudget von 8,000 Token, die Eingabegrenze und das Zeitlimit blieben gleich.

Limit pro AufrufModellAbgeschlossenGesamtkostenKosten pro bestandenem Durchlauf
2,048Hydrogen0/4$0.0719Nicht definiert
2,0483.8 Flash0/4$0.0995Nicht definiert
4,096Hydrogen3/4$0.1894$0.0631
4,0963.8 Flash0/4$0.1163Nicht definiert

Mit dem höheren Limit schloss Hydrogen beide Durchläufe zur Verbrauchserfassung und einen Versanddurchlauf ab. Im anderen Versanddurchlauf entfielen in einer Antwort 3,877 der 4,096 gemeldeten Ausgabe-Token auf Reasoning. Die Antwort endete ohne Aufruf zum Schreiben einer Datei. Die beiden Versanddurchläufe von Flash stoppten an der Budgetprüfung des Runners. Das Log verwendet für die geschätzte Eingabegrenze und die Prüfung des verbleibenden Ausgabebudgets denselben Abbruchgrund. Welche der beiden Grenzen griff, lässt sich daher nicht unterscheiden. Ein Flash-Durchlauf zur Verbrauchserfassung schrieb Dateien, bestand aber die Prüfung der bedingten Feldregel nicht und erreichte anschließend das Aufruflimit. Der andere erreichte das Ausgabelimit pro Aufruf, bevor er die Dateien schrieb.

Die beiden Limit-Einstellungen wurden nacheinander getestet, mit zwei Wiederholungen pro Testszenario. Das Ergebnis zeigt, was unter diesen Konfigurationen fertig wurde. Schwankungen bei der Generierung und der Ausführungszeitpunkt der Testreihen können ebenfalls zu der Veränderung beigetragen haben. Die fehlgeschlagenen Flash-Durchläufe lassen offen, wie das Modell mit anderen Limits abschneiden würde.

Welches Modell sollten Sie für Ihren Workflow prüfen?

Über die sechs komplexen Aufgaben mit einem Limit von 2,048 Token pro Aufruf bestand Hydrogen 8/12 Durchläufe und 3.8 Flash 4/12. Diese Summe umfasst pro Modell vier Versuche zur Fehlerbehandlung, vier modulübergreifende Änderungen und vier Migrationen. Die Migrationsreihe mit 4,096 Token ist oben separat aufgeführt. Die etwas höheren Gesamtkosten von Hydrogen verteilten sich auf doppelt so viele abgenommene Ergebnisse.

ModellAbgeschlossenGesamtkostenKosten pro bestandenem Durchlauf
Hydrogen8/12$0.1922$0.0240
3.8 Flash4/12$0.1866$0.0466

Für einen festen Abgleichsablauf mit dokumentiertem Ausweichpfad ist 3.8 Flash in unserer Stichprobe der günstigere Kandidat. Hydrogen bietet sich an, wenn die beobachtete Zeitersparnis für den Workflow wichtiger ist. Bei dateiübergreifenden Änderungen, die samt Tests fertiggestellt werden müssen, sollte Hydrogen zuerst auf den eigenen Repositorys evaluiert werden. Erfassen Sie die Zeit bis zum abgenommenen Patch, den Anteil bestandener Versuche und die vollständigen Kosten. Stoppt das Modell vor dem Schreiben des Patches, protokollieren Sie die konkret erreichte Grenze. Eine abgeschnittene Antwort erfordert eine andere Anpassung als das Erreichen der maximalen Aufrufzahl.

Häufige Fragen

War Hydrogen pro abgeschlossener Aufgabe günstiger?

Hydrogen war in unserer gemischten komplexen Testreihe pro bestandenem Durchlauf günstiger und schloss dort mehr Aufgaben ab. 3.8 Flash war bei den Abgleichsaufgaben pro bestandenem Durchlauf günstiger. In dieser Teilmenge schlossen beide Modelle jeden Durchlauf ab.

Warum wichen unsere Geschwindigkeitsverhältnisse von Googles 2.5x ab?

Hydrogen und 3.8 Flash bearbeiteten unsere kleinen Workflows über Synthorai. Die Zeitmessung lief bis zur abschließenden Validierung. Im Hauptvergleich forderten wir für beide Modelle medium an. Google gibt für Hydrogen high auf eigenen Aufgaben an und veröffentlicht nur begrenzte Details zur Zeitmessung. Die Verhältnisse 1.97x und 1.64x gelten für unsere beiden Testreihen mit einfachen Aufgaben.

Braucht Hydrogen xhigh für gebündelte Tool-Aufrufe?

Hydrogen bündelte im Katalogtest sowohl mit medium als auch mit xhigh alle drei Lesezugriffe. Die höhere Einstellung verbrauchte laut gemeldeter Nutzung mehr Reasoning-Token und lieferte dieselbe richtige Antwort.

← Zurück zum Blog