Gemini 4 Hydrogen vs 3.8 Flash: velocità, tool e costi
Indice
- Cosa cambia in Hydrogen rispetto a 3.8 Flash?
- Quali funzionalità di Hydrogen può usare oggi un agente?
- Come abbiamo misurato il completamento di un task agentico?
- Quanto è stato più rapido Hydrogen sui task semplici?
- Cosa è successo quando i tool hanno fallito?
- I modelli sono riusciti a completare una correzione tra moduli?
- Cosa è cambiato aumentando il limite per chiamata nelle migrazioni?
- Quale modello valutare per il proprio flusso di lavoro?
- Domande frequenti
- Hydrogen è costato meno per task completato?
- Perché i nostri rapporti di velocità differiscono dal 2.5x di Google?
- Hydrogen richiede xhigh per raggruppare le chiamate ai tool?
Gemini 4 Hydrogen è stato più rapido di Gemini 3.8 Flash in 15 dei 16 confronti su task semplici eseguiti tramite Synthorai. Entrambi i modelli hanno prodotto un risultato valido in ogni confronto. Google ha rilasciato Hydrogen il 12 novembre 2026 per le attività di programmazione quotidiane e per gli agenti che usano tool. Nei nostri casi di test più difficili, Hydrogen ha completato più modifiche al codice, mentre Flash è costato meno per ogni riconciliazione superata. Valutazione di Google al lancio
TL;DR
- Hydrogen e 3.8 Flash hanno superato entrambi 16/16 esecuzioni semplici. Il tempo mediano è stato rispettivamente di 8.59 e 16.88 secondi.
- Entrambi i modelli hanno superato 4/4 esecuzioni con errori dei tool programmati per testare il recupero. Hydrogen è stato più rapido in ogni confronto, mentre Flash è costato meno per esecuzione superata.
- Hydrogen ha superato 4/4 correzioni tra moduli con un limite di 2,048 token per chiamata e 3/4 migrazioni con un limite di 4,096. Flash ha superato 0/4 esecuzioni in entrambi i gruppi.
- Hydrogen ha raggruppato tre letture e restituito il risultato corretto in 4/4 sessioni dedicate.
Cosa cambia in Hydrogen rispetto a 3.8 Flash?
Google riporta un punteggio più alto su Terminal-Bench 4.1 e un’esecuzione dei task più rapida per Gemini 4 Hydrogen rispetto a Gemini 3.8 Flash. Valutazione di Google al lancio
| Confronto di Google al lancio | Cosa misura | Gemini 4 Hydrogen | Gemini 3.8 Flash |
|---|---|---|---|
| Terminal-Bench 4.1 | Punteggio medio sui task da terminale, corretto per i comportamenti che aggirano il test | 57.0% | 18.2% |
| Velocità di esecuzione dei task | Rispetto a 3.8 Flash nel confronto di Google al lancio | 2.5x con il valore predefinito high | 1.0x come riferimento |
| Livello di ragionamento nativo predefinito | Impostazione usata quando il parametro viene omesso nell’API di Google | high | medium |
Google ha eseguito Hydrogen su Terminal-Bench 4.1 con high, cinque tentativi per task e il runner mini-swe-agent vision. Il post di lancio non fornisce durate assolute, la procedura completa di misurazione dei tempi o l’impostazione di ragionamento di Flash usata nel confronto da 2.5x. Il nostro studio ha usato un insieme diverso di task e ha misurato il tempo trascorso tramite Synthorai fino alla validazione finale. Permette quindi di verificare se il vantaggio di velocità si presenta anche in questi flussi di lavoro. Metodologia di valutazione di Google
Hydrogen aggiunge xhigh per un ragionamento più approfondito. Google indica inoltre il raggruppamento delle letture di file e delle ricerche tra i miglioramenti dei flussi agentici. L’esempio seguente verifica il comportamento del raggruppamento delle chiamate ai tool, del reinvio delle firme e del livello di ragionamento più alto tramite Synthorai. Guida per sviluppatori di Hydrogen · Valutazione di Google al lancio
Quali funzionalità di Hydrogen può usare oggi un agente?
Gemini 4 Hydrogen ha raggruppato tre letture indipendenti del catalogo nella prima risposta in tutte e quattro le sessioni Chat Completions su Synthorai. Il catalogo conteneva North = 17, South = 29 e West = 31. Abbiamo chiesto al modello di richiedere insieme le letture e restituire la loro somma, 77. Ogni richiesta aveva un limite di output di 1,024 token.
In ogni gruppo, solo la prima chiamata a un tool conteneva una firma di ragionamento. Questi metadati aiutano l’API a proseguire il ragionamento del modello tra una chiamata ai tool e l’altra. Abbiamo reinviato il messaggio dell’assistente senza modificarlo, seguito dai tre risultati dei tool nell’ordine delle chiamate. Hydrogen ha restituito ogni volta la somma corretta. I conteggi del ragionamento riportati sotto sommano le due richieste al modello di ciascuna sessione: quella per le chiamate ai tool e quella per la risposta finale. Guida per sviluppatori di Google Hydrogen
| Livello richiesto | Tutte e tre le letture in una risposta | Risposta finale corretta | Token di ragionamento dichiarati per sessione |
|---|---|---|---|
medium | 2/2 | 2/2 | 95, 130 |
xhigh | 2/2 | 2/2 | 245, 287 |
Raggruppare le letture indipendenti. L’esplorazione di un repository, la consultazione di documenti e i controlli su record indipendenti possono richiedere meno turni del modello se tutte le letture vengono richieste insieme. Il client può anche eseguirle in parallelo, se i tool e i relativi limiti di frequenza lo consentono. I passaggi dipendenti vanno mantenuti in sequenza, per esempio la scrittura di una patch e il successivo test. Il nostro client ha eseguito i tool in sequenza.
Conservare le firme di ragionamento nell’intero ciclo di chiamata ai tool. È un controllo particolarmente utile quando si migra un agente che memorizza o ricostruisce i messaggi tra le richieste. Occorre conservare l’intero messaggio dell’assistente, inclusa la firma nella posizione originale, e associare ogni risultato all’ID della chiamata al tool corrispondente. Se il client esegue i tool in parallelo, deve raccogliere i risultati e reinviarli nell’ordine originale delle chiamate. La documentazione dell’API nativa di Google descrive anche la conservazione delle firme nel testo finale e le regole per modificare la cronologia della conversazione. Il nostro controllo tramite gateway ha coperto il ciclo di chiamata ai tool con firma. Guida per sviluppatori di Google Hydrogen
Questa funzione Python implementa il reinvio dopo il completamento dei tool. Costruisce la cronologia dei messaggi per la richiesta successiva a partire dalla risposta grezza di Chat Completions e da un dizionario di risultati serializzabili in JSON, indicizzati per ID della chiamata al tool.
import json
def append_tool_turn(messages, response, results_by_id):
assistant = response["choices"][0]["message"]
tool_messages = [
{
"role": "tool",
"tool_call_id": call["id"],
"content": json.dumps(results_by_id[call["id"]]),
}
for call in assistant["tool_calls"]
]
return [*messages, assistant, *tool_messages]
Definire un riferimento con medium prima di aumentare il livello. Google espone XHIGH come livello di ragionamento nativo. Synthorai ha accettato reasoning_effort: "xhigh" in entrambe le sessioni e ha riportato un numero maggiore di token di ragionamento. Entrambe le impostazioni hanno risolto la ricerca nel catalogo. Anche le correzioni tra moduli e le migrazioni riuscite nei nostri test usavano medium. Conviene partire da questa impostazione e registrare i risultati validati, il tempo trascorso e la spesa per esecuzione superata. Per i task difficili che falliscono, confrontare high e xhigh usando lo stesso riferimento e gli stessi test di accettazione. Nel limite di output va lasciato spazio per la patch o per gli argomenti dei tool, perché anche il ragionamento consuma quel budget. Guida per sviluppatori di Google Hydrogen
Come abbiamo misurato il completamento di un task agentico?
Abbiamo confrontato otto task semplici e sei task complessi, con due esecuzioni per task e per modello. Il gruppo di migrazioni con limite più alto ha riutilizzato due task complessi per altre otto esecuzioni. Un controllo separato, senza il parametro del livello di ragionamento, ha usato quattro task semplici una volta per modello. Si tratta di osservazioni ripetute su un insieme ridotto di task.
Un’esecuzione veniva considerata superata se il file o la patch finale superava i controlli automatici entro 300 secondi. Per i task sui dati venivano verificati i valori e i riferimenti alle fonti. Per quelli sul codice venivano eseguiti test in un ambiente isolato. I task di codice più difficili richiedevano anche test di regressione scritti dall’agente: dovevano passare sulla patch e la relativa suite doveva fallire sul codice originale. Il valutatore delle migrazioni verificava tramite parole chiave che il README trattasse gli argomenti richiesti. Per esempio, entrambe le esecuzioni CSV di Flash hanno scritto un file validato prima di arrestarsi per un limite legato ai token. Entrambe sono state conteggiate come consegne completate.
Abbiamo usato gli stessi prompt, tool, input e controlli per Hydrogen e 3.8 Flash tramite Synthorai Chat Completions. Ogni esecuzione partiva da uno spazio di lavoro nuovo e usava un marcatore univoco nel prompt per ridurre il riutilizzo di richieste identiche. Abbiamo eseguito una sessione alla volta, alternando il modello che partiva per primo. Nei confronti principali abbiamo richiesto reasoning_effort: "medium" per entrambi i modelli. Lo stesso valore può produrre un uso diverso del ragionamento. Nel controllo separato abbiamo omesso il campo e registrato il comportamento esposto dal gateway.
| Gruppo | Chiamate massime al modello per task | Token di output massimi per chiamata |
|---|---|---|
| Semplici, incluso il controllo senza livello di ragionamento | 8 | 2,048 |
| Complessi, incluso il confronto iniziale sulle migrazioni | 10 | 2,048 |
| Migrazioni con limite più alto | 10 | 4,096 |
Il runner manteneva un budget cumulativo di output di 8,000 token per task. Il limite per chiamata include ragionamento, argomenti dei tool e testo visibile. Prima di inviare una richiesta, il runner verificava che il consumo di input già riportato, sommato a una stima prudente della richiesta successiva, non superasse la soglia di 40,000 token.
Misuriamo il tempo totale dalla prima richiesta API fino alla validazione finale, includendo l’esecuzione dei tool. Confrontiamo il tempo di consegna nelle coppie in cui entrambi i modelli hanno superato il task. La spesa per esecuzione superata è la somma degli addebiti riportati dal gateway per tutti i tentativi di un gruppo, inclusi quelli falliti, divisa per il numero di esecuzioni superate. Se nessuna esecuzione viene superata, il valore non è definito.
Quanto è stato più rapido Hydrogen sui task semplici?
Hydrogen e 3.8 Flash hanno superato tutte le esecuzioni semplici. Gli otto casi di test coprivano piccoli flussi di lavoro su dati e documenti e modifiche circoscritte al codice. Il tempo mediano di Hydrogen è stato circa la metà di quello di Flash. Hydrogen ha effettuato complessivamente 60 chiamate al modello, contro le 81 di Flash.
| Modello | Completate | Tempo mediano dall’inizio alla fine | Addebito totale | Spesa per esecuzione superata |
|---|---|---|---|---|
| Hydrogen | 16/16 | 8.59 s | $0.1365 | $0.00853 |
| 3.8 Flash | 16/16 | 16.88 s | $0.1429 | $0.00893 |
Dividendo la mediana di Flash per quella di Hydrogen si ottiene un rapporto di velocità di 1.97x. In un controllo separato su quattro task, senza specificare il livello di ragionamento, entrambi i modelli hanno di nuovo superato tutti i task. Hydrogen è stato più rapido in tutte e quattro le coppie. Le mediane erano rispettivamente 8.26 e 13.54 secondi, con un rapporto di 1.64x, e gli addebiti totali erano $0.0248 e $0.0198. Entrambi i confronti confermano la direzione del vantaggio di velocità dichiarato da Google, con i nostri task e i nostri criteri di misurazione.
Nel gruppo di task semplici con medium, Hydrogen è costato leggermente meno. Escludendo le due coppie CSV, il risultato si inverte: $0.1025 per Hydrogen e $0.0831 per Flash. Il tipo di flussi di lavoro può cambiare quale modello costa meno, anche quando entrambi completano tutti i task.
Cosa è successo quando i tool hanno fallito?
Hydrogen e 3.8 Flash hanno completato entrambi tutte e quattro le esecuzioni di recupero. Nei due task sintetici di riconciliazione, il file principale dei rimborsi restituiva sempre un risultato vuoto e la prima lettura dei regolamenti restituiva sempre un errore transitorio. L’agente doveva leggere l’archivio, ritentare la lettura dei regolamenti e produrre gli importi corretti con i riferimenti alle fonti. Entrambi i modelli hanno seguito ogni volta questa procedura di recupero.
Hydrogen ha terminato prima in tutte e quattro le coppie, con una mediana di 12.93 secondi contro 17.48 secondi. Il suo costo per riconciliazione validata è stato di $0.0120, contro $0.0079 per Flash. Google sottolinea la capacità di recuperare da errori dei tool e risultati vuoti. Qui entrambi i modelli hanno dimostrato questo comportamento, con istruzioni esplicite per il percorso alternativo e i tentativi successivi. Su questo carico di lavoro, ciascun modello ha richiesto più letture in 8/20 risposte: il completamento più rapido non dimostra quindi un vantaggio dovuto al solo raggruppamento delle chiamate.
I modelli sono riusciti a completare una correzione tra moduli?
Hydrogen ha superato quattro esecuzioni su quattro e 3.8 Flash zero su quattro. In questi task di conversione di unità e valute, il punto di ingresso passava attraverso un adapter fino al convertitore effettivamente in uso. Entrambi i repository contenevano anche un convertitore dal nome simile, ma escluso dalla modifica richiesta. Il valutatore richiedeva di correggere il percorso attivo e aggiungere un test di regressione.
Flash ha omesso il test di regressione in entrambe le esecuzioni sulle unità. In entrambe quelle sulle valute si è fermato prima di consegnare la modifica al convertitore attivo e il test. Hydrogen ha completato le quattro esecuzioni con una spesa di $0.0722, pari a $0.01805 per esecuzione superata. Flash ha accumulato $0.0553 nei quattro tentativi. In questo gruppo non ci sono state coppie completate da entrambi i modelli su cui confrontare direttamente la velocità.
Cosa è cambiato aumentando il limite per chiamata nelle migrazioni?
Hydrogen ha superato tre migrazioni su quattro con un limite di 4,096 token per chiamata. 3.8 Flash non ne ha superata nessuna. I due casi di test sugli importatori richiedevano una regola condizionale sui campi, il supporto per i campi numerati, la retrocompatibilità, test di regressione e documentazione aggiornata. Abbiamo cambiato il limite per chiamata mantenendo invariati i casi di test, il valutatore, il livello richiesto medium, il limite di 10 chiamate, il budget cumulativo di output di 8,000 token, la soglia sull’input e il tempo massimo.
| Limite per chiamata | Modello | Completate | Addebito totale | Spesa per esecuzione superata |
|---|---|---|---|---|
| 2,048 | Hydrogen | 0/4 | $0.0719 | Non definita |
| 2,048 | 3.8 Flash | 0/4 | $0.0995 | Non definita |
| 4,096 | Hydrogen | 3/4 | $0.1894 | $0.0631 |
| 4,096 | 3.8 Flash | 0/4 | $0.1163 | Non definita |
Con il limite più alto, Hydrogen ha completato entrambe le esecuzioni relative alle misurazioni e una di quelle sulle spedizioni. Nell’altra esecuzione sulle spedizioni, una risposta ha consumato per il ragionamento 3,877 dei 4,096 token di output riportati e si è conclusa senza chiamare il tool di scrittura dei file. Le due esecuzioni di Flash sulle spedizioni si sono fermate al controllo del budget del runner. Il log usa lo stesso motivo sia per la soglia sull’input stimato sia per il controllo dell’output residuo, quindi non permette di distinguerli. Una delle esecuzioni di Flash sulle misurazioni ha scritto i file, ma non ha superato il controllo sul campo condizionale prima di raggiungere il limite di chiamate. L’altra ha raggiunto il limite di output per chiamata prima di scrivere i file.
I due gruppi con limiti diversi sono stati eseguiti in sequenza, con due ripetizioni per caso di test. Il risultato mostra cosa è stato consegnato con queste configurazioni. La variabilità della generazione e il momento di esecuzione dei gruppi potrebbero aver contribuito al cambiamento. I fallimenti di Flash non permettono di stabilire come si comporterebbe con limiti diversi.
Quale modello valutare per il proprio flusso di lavoro?
Sui sei task complessi con un limite di 2,048 token per chiamata, Hydrogen ha superato 8/12 esecuzioni e 3.8 Flash 4/12. Il totale include, per ciascun modello, quattro tentativi di recupero, quattro correzioni tra moduli e quattro migrazioni. Il gruppo di migrazioni con limite di 4,096 token è riportato separatamente sopra. La spesa totale di Hydrogen, leggermente più alta, si è distribuita su un numero doppio di consegne accettate.
| Modello | Completate | Addebito totale | Spesa per esecuzione superata |
|---|---|---|---|
| Hydrogen | 8/12 | $0.1922 | $0.0240 |
| 3.8 Flash | 4/12 | $0.1866 | $0.0466 |
Per un ciclo di riconciliazione fisso con un percorso alternativo documentato, nel nostro campione 3.8 Flash è il candidato meno costoso. Hydrogen è preferibile se il risparmio di tempo osservato conta di più per quel flusso. Per le modifiche su più file che devono includere i test, conviene iniziare valutando Hydrogen sui propri repository. Vanno misurati il tempo necessario per ottenere una patch accettata, la percentuale di tentativi superati e la spesa complessiva. Se il modello si ferma prima di scrivere la patch, occorre registrare il limite specifico che ha raggiunto. Una risposta troncata richiede un intervento diverso dal raggiungimento del numero massimo di chiamate.
Domande frequenti
Hydrogen è costato meno per task completato?
Hydrogen è costato meno per esecuzione superata nel nostro gruppo misto di task complessi, in cui ha completato più task. 3.8 Flash è costato meno per esecuzione superata nel sottoinsieme delle riconciliazioni, dove entrambi i modelli hanno completato tutte le esecuzioni.
Perché i nostri rapporti di velocità differiscono dal 2.5x di Google?
Hydrogen e 3.8 Flash hanno eseguito i nostri piccoli flussi di lavoro tramite Synthorai, con tempi misurati fino alla validazione finale. Nel confronto principale abbiamo richiesto medium per entrambi i modelli. Google riporta i risultati di Hydrogen con high sul proprio carico di lavoro, fornendo pochi dettagli sulla misurazione dei tempi. I rapporti di 1.97x e 1.64x si riferiscono ai nostri due gruppi di task semplici.
Hydrogen richiede xhigh per raggruppare le chiamate ai tool?
Nel controllo sul catalogo, Hydrogen ha raggruppato tutte e tre le letture sia con medium sia con xhigh. L’impostazione più alta ha usato più token di ragionamento dichiarati e ha restituito la stessa risposta corretta.