Gemini 4 Hydrogen vs 3.8 Flash: velocidade, ferramentas e custo

Conteúdo
  1. O que muda do 3.8 Flash para o Hydrogen?
  2. Quais recursos do Hydrogen um agente já pode usar?
  3. Como medimos a conclusão de uma tarefa por um agente?
  4. Quanto o Hydrogen foi mais rápido nas tarefas simples?
  5. O que aconteceu quando as ferramentas falharam?
  6. Os modelos conseguiram concluir uma correção entre módulos?
  7. O que mudou nas migrações com um limite maior por chamada?
  8. Qual modelo avaliar para o seu fluxo?
  9. Perguntas frequentes
  10. O Hydrogen custou menos por tarefa concluída?
  11. Por que nossas razões de velocidade diferem dos 2.5x do Google?
  12. O Hydrogen precisa de xhigh para agrupar chamadas de ferramentas?

O Gemini 4 Hydrogen terminou antes do Gemini 3.8 Flash em 15 de 16 pares de tarefas simples executadas pelo Synthorai. Os dois modelos entregaram resultados aprovados em todos os pares. O Google lançou o Hydrogen em 12 de novembro de 2026 para tarefas rotineiras de programação e agentes que usam ferramentas. Nos nossos cenários mais difíceis, o Hydrogen concluiu mais alterações de código, enquanto o Flash custou menos por conciliação aprovada. Avaliação de lançamento do Google

TL;DR

  • Hydrogen e 3.8 Flash passaram em 16/16 execuções simples cada. As medianas de tempo foram de 8.59 e 16.88 segundos, respectivamente.
  • Os dois modelos passaram nas 4/4 execuções com falhas de ferramentas programadas. O Hydrogen foi mais rápido em todos os pares, e o Flash custou menos por aprovação.
  • O Hydrogen passou em 4/4 correções entre módulos com limite de 2,048 tokens por chamada e em 3/4 migrações com limite de 4,096. O Flash passou em 0/4 nos dois grupos.
  • O Hydrogen agrupou três leituras e retornou o resultado correto em 4/4 sessões dedicadas.

O que muda do 3.8 Flash para o Hydrogen?

O Google relatou uma pontuação maior no Terminal-Bench 4.1 e execução de tarefas mais rápida para o Gemini 4 Hydrogen em comparação com o Gemini 3.8 Flash. Avaliação de lançamento do Google

Comparação de lançamento do GoogleO que medeGemini 4 HydrogenGemini 3.8 Flash
Terminal-Bench 4.1Pontuação média em tarefas de terminal, ajustada para trapaças57.0%18.2%
Velocidade de execução de tarefasEm relação ao 3.8 Flash na comparação de lançamento do Google2.5x com o padrão highReferência de 1.0x
Nível nativo de raciocínio padrãoConfiguração de raciocínio quando omitida na API do Googlehighmedium

O Google executou o Hydrogen no Terminal-Bench 4.1 com high, usando o executor mini-swe-agent vision e cinco tentativas por tarefa. O post de lançamento não informa durações absolutas, o procedimento completo de medição nem a configuração de raciocínio do Flash na comparação de 2.5x. Nosso estudo usou outro conjunto de tarefas e mediu o tempo pelo Synthorai até a validação final. Assim, conseguimos verificar se a vantagem de velocidade também aparece nesses fluxos. Metodologia de avaliação do Google

O Hydrogen adiciona xhigh para raciocínio mais aprofundado. O Google também destaca o agrupamento de leituras de arquivos e chamadas de busca entre as melhorias para agentes. O exemplo a seguir verifica como o agrupamento de ferramentas, o reenvio de assinaturas e o nível mais alto de esforço funcionam pelo Synthorai. Guia do desenvolvedor do Hydrogen · Avaliação de lançamento do Google

Quais recursos do Hydrogen um agente já pode usar?

O Gemini 4 Hydrogen agrupou três leituras independentes de um catálogo na primeira resposta em todas as quatro sessões de Chat Completions do Synthorai. O catálogo continha Norte = 17, Sul = 29 e Oeste = 31. Pedimos ao modelo que solicitasse as leituras juntas e retornasse a soma, 77. Cada requisição tinha um limite de saída de 1,024 tokens.

Em cada grupo, apenas a primeira chamada de ferramenta trazia uma assinatura de raciocínio. Esses metadados ajudam a API a dar continuidade ao raciocínio do modelo entre chamadas de ferramentas. Reenviamos a mensagem do assistente sem alterações, seguida dos três resultados na ordem das chamadas, e o Hydrogen retornou a soma correta em todas as sessões. As contagens de raciocínio abaixo somam as duas requisições ao modelo em cada sessão: a solicitação das chamadas de ferramentas e a resposta final. Guia do desenvolvedor do Google Hydrogen

Esforço solicitadoTrês leituras na mesma respostaResposta final corretaTokens de raciocínio reportados por sessão
medium2/22/295, 130
xhigh2/22/2245, 287

Agrupe leituras independentes. Explorar repositórios, consultar documentos e verificar registros independentes pode exigir menos rodadas com o modelo quando ele solicita todas as leituras juntas. O cliente também pode executar leituras independentes em paralelo, se as ferramentas e seus limites de requisições permitirem. Mantenha etapas dependentes em sequência, como escrever um patch e depois testá-lo. Nosso cliente executou as ferramentas sequencialmente.

Preserve as assinaturas de raciocínio ao enviar e receber chamadas de ferramentas. Vale verificar isso principalmente ao migrar um agente que armazena ou reconstrói mensagens entre requisições. Mantenha a mensagem completa do assistente, incluindo a assinatura no local em que apareceu, e associe cada resultado ao ID da chamada de ferramenta original. Se o cliente executar ferramentas em paralelo, reúna os resultados e reenvie-os na ordem original das chamadas. A API nativa do Google também documenta a preservação de assinaturas no texto final e regras para editar o histórico da conversa. Nossa verificação no gateway cobriu o ciclo de ferramentas com assinatura. Guia do desenvolvedor do Google Hydrogen

Esta função auxiliar em Python implementa o reenvio depois que as ferramentas terminam. Ela monta o histórico de mensagens da próxima requisição a partir da resposta bruta de Chat Completions e de um dicionário de resultados serializáveis em JSON, indexados pelo ID da chamada de ferramenta.

import json


def append_tool_turn(messages, response, results_by_id):
    assistant = response["choices"][0]["message"]
    tool_messages = [
        {
            "role": "tool",
            "tool_call_id": call["id"],
            "content": json.dumps(results_by_id[call["id"]]),
        }
        for call in assistant["tool_calls"]
    ]
    return [*messages, assistant, *tool_messages]

Estabeleça uma referência com medium antes de aumentar o esforço. O Google oferece XHIGH como nível nativo de raciocínio. O Synthorai aceitou reasoning_effort: "xhigh" nas duas sessões e reportou mais tokens de raciocínio. As duas configurações resolveram a consulta. As correções entre módulos e migrações que passaram nos nossos testes também usaram medium. Comece com essa configuração e registre as entregas validadas, o tempo decorrido e o custo por aprovação. Nas tarefas difíceis que falharem, compare high e xhigh com a mesma referência e os mesmos testes de aceitação. Reserve espaço no limite de saída para o patch ou os argumentos das ferramentas, pois o raciocínio consome esse mesmo limite. Guia do desenvolvedor do Google Hydrogen

Como medimos a conclusão de uma tarefa por um agente?

Comparamos oito tarefas simples e seis complexas, com duas execuções por tarefa para cada modelo. A bateria de migrações com limite maior reutilizou duas tarefas complexas em oito execuções adicionais. Uma verificação separada, sem especificar o esforço, usou quatro tarefas simples uma vez por modelo. São observações repetidas sobre um conjunto pequeno de tarefas.

Uma execução era aprovada quando o arquivo ou patch final passava nas verificações automatizadas em até 300 segundos. As tarefas de dados verificavam valores e referências às fontes. As de código executavam testes em um ambiente isolado. As tarefas de código mais difíceis também exigiam testes de regressão escritos pelo agente: eles precisavam passar com o patch, e a suíte precisava falhar no código original. O avaliador das migrações verificava por palavras-chave se o README cobria os tópicos exigidos. Por exemplo, as duas execuções de CSV do Flash gravaram um arquivo validado antes de parar por um limite relacionado a tokens. Ambas contaram como entregas concluídas.

Usamos os mesmos prompts, ferramentas, entradas e verificações para Hydrogen e 3.8 Flash via Chat Completions do Synthorai. Cada execução começou com um ambiente de trabalho novo e um marcador exclusivo no prompt para reduzir o reaproveitamento de requisições idênticas. Executamos uma sessão por vez, alternando qual modelo começava. Nas comparações principais, solicitamos reasoning_effort: "medium" nos dois modelos. O mesmo valor na requisição pode resultar em usos diferentes de raciocínio. A verificação separada sem esforço definido omitiu o campo e registrou o comportamento exposto pelo gateway.

BateriaMáximo de chamadas ao modelo por tarefaMáximo de tokens de saída por chamada
Simples, incluindo a verificação sem esforço definido82,048
Complexa, incluindo a comparação inicial de migrações102,048
Migrações com limite maior104,096

O executor manteve um limite acumulado de saída de 8,000 tokens por tarefa. O limite por chamada inclui raciocínio, argumentos de ferramentas e texto visível. Antes de enviar uma requisição, o executor somava o uso de entrada já reportado a uma estimativa conservadora para a próxima requisição e verificava se o total respeitava um limite de proteção de 40,000 tokens.

Medimos o tempo total desde a primeira requisição à API, incluindo a execução das ferramentas e a validação final. Comparamos o tempo até a entrega nos pares em que os dois modelos passaram. O custo por aprovação é a soma dos valores cobrados pelo gateway em todas as tentativas de um grupo, incluindo falhas, dividida pelo número de aprovações. Sem aprovações, esse custo é indefinido.

Quanto o Hydrogen foi mais rápido nas tarefas simples?

Hydrogen e 3.8 Flash passaram em todas as execuções simples. Esses oito cenários cobriam pequenos fluxos de dados e documentos e alterações pontuais de código. A mediana de tempo do Hydrogen foi aproximadamente metade da do Flash. O Hydrogen fez 60 chamadas ao modelo ao longo das execuções, contra 81 do Flash.

ModeloConcluídasMediana do tempo de ponta a pontaCusto totalCusto por aprovação
Hydrogen16/168.59 s$0.1365$0.00853
3.8 Flash16/1616.88 s$0.1429$0.00893

Dividir a mediana do Flash pela do Hydrogen resulta em uma razão de velocidade de 1.97x. Na verificação separada com quatro tarefas e sem esforço definido, os dois modelos novamente passaram em todas as tarefas. O Hydrogen foi mais rápido nos quatro pares. As medianas foram de 8.26 e 13.54 segundos, uma razão de 1.64x, e os custos totais foram de $0.0248 e $0.0198, respectivamente. As duas comparações apontam na mesma direção da afirmação de velocidade do Google, dentro das nossas definições de tarefa e medição.

A bateria simples com medium custou um pouco menos com o Hydrogen. Ao excluir os dois pares de CSV, a relação se inverte: os totais ficam em $0.1025 para o Hydrogen e $0.0831 para o Flash. A composição dos fluxos pode mudar qual modelo custa menos, mesmo quando ambos entregam todas as tarefas.

O que aconteceu quando as ferramentas falharam?

Hydrogen e 3.8 Flash concluíram as quatro execuções de recuperação cada. Nas duas tarefas sintéticas de conciliação, o arquivo principal de reembolsos sempre retornava um resultado vazio, e a primeira leitura de liquidação sempre retornava um erro transitório. O agente precisava ler o arquivo histórico, tentar novamente a leitura de liquidação e produzir os valores corretos com as referências às fontes. Os dois modelos seguiram esse caminho de recuperação em todas as execuções.

O Hydrogen terminou antes nos quatro pares, com mediana de 12.93 segundos, contra 17.48 segundos. Seu custo por conciliação validada foi de $0.0120, contra $0.0079 do Flash. O Google destaca a recuperação após falhas de ferramentas e resultados vazios. Os dois modelos demonstraram esse comportamento aqui, com instruções explícitas de alternativa e nova tentativa. Cada modelo solicitou múltiplas leituras em 8/20 respostas nessa carga de trabalho. Portanto, a conclusão mais rápida não demonstra um benefício causado apenas pelo agrupamento.

Os modelos conseguiram concluir uma correção entre módulos?

O Hydrogen passou em quatro de quatro execuções, e o 3.8 Flash passou em zero de quatro. Nessas tarefas de conversão de unidades e moedas, o ponto de entrada passava por um adaptador até chegar ao conversor em uso. Os dois repositórios também tinham um conversor com nome parecido que estava fora do escopo da alteração solicitada. O avaliador exigia corrigir o caminho em uso e adicionar um teste de regressão.

O Flash não incluiu o teste de regressão nas duas execuções de unidades. Nas duas de moedas, parou antes de entregar a alteração no conversor em uso e o teste. O Hydrogen concluiu as quatro execuções por $0.0722, ou $0.01805 por aprovação. O Flash acumulou $0.0553 nas quatro tentativas. Essa bateria não teve nenhum par concluído pelos dois modelos que permitisse comparar a velocidade diretamente.

O que mudou nas migrações com um limite maior por chamada?

O Hydrogen passou em três de quatro migrações com o limite de 4,096 tokens por chamada. O 3.8 Flash não passou em nenhuma. Os dois cenários de importação exigiam uma regra condicional de campo, suporte a campos numerados, compatibilidade com versões anteriores, testes de regressão e documentação atualizada. Alteramos o limite por chamada e mantivemos os cenários, o avaliador, o esforço solicitado de medium, o limite de 10 chamadas, o teto acumulado de saída de 8,000 tokens, a proteção de entrada e o prazo.

Limite por chamadaModeloConcluídasCusto totalCusto por aprovação
2,048Hydrogen0/4$0.0719Indefinido
2,0483.8 Flash0/4$0.0995Indefinido
4,096Hydrogen3/4$0.1894$0.0631
4,0963.8 Flash0/4$0.1163Indefinido

Com o limite maior, o Hydrogen concluiu as duas execuções de medição de consumo e uma de envio. Na outra execução de envio, uma resposta gastou 3,877 dos 4,096 tokens de saída reportados em raciocínio e terminou sem chamar a ferramenta de gravação de arquivo. As duas execuções de envio do Flash pararam na proteção de orçamento do executor. O log usa o mesmo motivo para o limite estimado de entrada e para a verificação da saída restante, por isso não permite distinguir os dois casos. Uma execução de medição de consumo do Flash gravou arquivos, mas falhou na verificação do campo condicional antes de atingir o limite de chamadas. A outra atingiu o limite de saída por chamada antes de gravar os arquivos.

As duas configurações de limite foram executadas em sequência, com duas repetições por cenário. O resultado mostra o que foi entregue nessas configurações. A variabilidade da geração e o momento de execução das baterias também podem ter contribuído para a mudança. As falhas do Flash não permitem concluir como ele se sairia com outros limites.

Qual modelo avaliar para o seu fluxo?

Nas seis tarefas complexas com limite de 2,048 tokens por chamada, o Hydrogen passou em 8/12 execuções, e o 3.8 Flash passou em 4/12. Esse total inclui, por modelo, quatro tentativas de recuperação, quatro de correção entre módulos e quatro de migração. A bateria de migrações com 4,096 tokens foi apresentada separadamente acima. A conta total um pouco maior do Hydrogen foi distribuída por duas vezes mais entregas aceitas.

ModeloConcluídasCusto totalCusto por aprovação
Hydrogen8/12$0.1922$0.0240
3.8 Flash4/12$0.1866$0.0466

Para um fluxo fixo de conciliação com alternativa documentada, o 3.8 Flash é o candidato de menor custo na nossa amostra. Use o Hydrogen se a redução de tempo observada for mais importante para esse fluxo. Para alterações em vários arquivos que precisam incluir testes, comece avaliando o Hydrogen nos seus próprios repositórios. Acompanhe o tempo até um patch aceito, a proporção de tentativas aprovadas e o custo total. Se o modelo parar antes de escrever o patch, registre o limite específico que ele atingiu. Uma resposta truncada exige um ajuste diferente daquele necessário quando se atinge o número máximo de chamadas.

Perguntas frequentes

O Hydrogen custou menos por tarefa concluída?

O Hydrogen custou menos por aprovação na nossa bateria mista de tarefas complexas, na qual concluiu mais tarefas. O 3.8 Flash custou menos por aprovação no subconjunto de conciliação, em que os dois modelos concluíram todas as execuções.

Por que nossas razões de velocidade diferem dos 2.5x do Google?

Hydrogen e 3.8 Flash executaram nossos pequenos fluxos pelo Synthorai, com o tempo medido até a validação final. Nossa comparação principal solicitou medium nos dois modelos. O Google relata o Hydrogen com high em uma carga de trabalho própria, com poucos detalhes sobre a medição de tempo. As razões de 1.97x e 1.64x se aplicam às nossas duas baterias de tarefas simples.

O Hydrogen precisa de xhigh para agrupar chamadas de ferramentas?

O Hydrogen agrupou as três leituras tanto com medium quanto com xhigh na verificação do catálogo. A configuração mais alta usou mais tokens de raciocínio reportados e retornou a mesma resposta correta.

← Voltar ao blog