Gemini 4 Hydrogen vs 3.8 Flash: velocidad, herramientas y coste

Contenido
  1. ¿Qué cambia en Hydrogen frente a 3.8 Flash?
  2. ¿Qué funciones de Hydrogen puede usar un agente hoy?
  3. ¿Cómo medimos si un agente completaba una tarea?
  4. ¿Cuánto más rápido fue Hydrogen en las tareas sencillas?
  5. ¿Qué ocurrió cuando fallaron las herramientas?
  6. ¿Pudieron completar una corrección entre módulos?
  7. ¿Qué cambió al ampliar el límite por llamada en las migraciones?
  8. ¿Qué modelo conviene evaluar para tu flujo de trabajo?
  9. Preguntas frecuentes
  10. ¿Fue Hydrogen más barato por tarea completada?
  11. ¿Por qué nuestras relaciones de velocidad difieren del 2.5x de Google?
  12. ¿Necesita Hydrogen xhigh para agrupar llamadas a herramientas?

Gemini 4 Hydrogen terminó antes que Gemini 3.8 Flash en 15 de 16 pares de tareas sencillas ejecutadas a través de Synthorai. Ambos modelos entregaron un resultado válido en todos los pares. Google lanzó Hydrogen el 12 de noviembre de 2026 para tareas habituales de programación y agentes que usan herramientas. En nuestros casos de prueba más difíciles, Hydrogen completó más cambios de código, mientras que Flash tuvo un coste menor por conciliación validada. Evaluación de lanzamiento de Google

TL;DR

  • Hydrogen y 3.8 Flash superaron 16/16 ejecuciones sencillas cada uno. La mediana de tiempo fue de 8.59 frente a 16.88 segundos.
  • Ambos modelos superaron 4/4 ejecuciones de recuperación de errores de herramientas con fallos programados. Hydrogen fue más rápido en todos los pares y Flash tuvo un coste menor por ejecución validada.
  • Hydrogen superó 4/4 correcciones entre módulos con un límite de 2,048 tokens por llamada y 3/4 migraciones con 4,096. Flash superó 0/4 en cada grupo.
  • Hydrogen agrupó tres lecturas y devolvió el resultado correcto en 4/4 sesiones dedicadas.

¿Qué cambia en Hydrogen frente a 3.8 Flash?

Google publicó una puntuación superior en Terminal-Bench 4.1 y una ejecución de tareas más rápida para Gemini 4 Hydrogen frente a Gemini 3.8 Flash. Evaluación de lanzamiento de Google

Comparación de lanzamiento de GoogleQué mideGemini 4 HydrogenGemini 3.8 Flash
Terminal-Bench 4.1Puntuación media en tareas de terminal, ajustada para descontar trampas57.0%18.2%
Velocidad de ejecución de tareasRespecto a 3.8 Flash en la comparación de lanzamiento de Google2.5x con el valor predeterminado highReferencia de 1.0x
Nivel de razonamiento nativo predeterminadoConfiguración de razonamiento cuando se omite en la API de Googlehighmedium

Google ejecutó Hydrogen en Terminal-Bench 4.1 con high, cinco intentos por tarea y el ejecutor con visión mini-swe-agent. El anuncio no incluye duraciones absolutas, el procedimiento completo de medición ni el nivel de razonamiento de Flash usado en la comparación de 2.5x. Nuestro estudio utilizó otras tareas y midió el tiempo transcurrido a través de Synthorai hasta la validación final. Permite comprobar si la ventaja de velocidad también aparece en estos flujos de trabajo. Metodología de evaluación de Google

Hydrogen incorpora xhigh para un razonamiento más profundo. Google también destaca la agrupación de lecturas de archivos y búsquedas entre las mejoras de sus flujos de agentes. El siguiente ejemplo comprueba cómo funcionan a través de Synthorai la agrupación de llamadas a herramientas, el reenvío de firmas y el nivel de esfuerzo más alto. Guía de desarrollo de Hydrogen · Evaluación de lanzamiento de Google

¿Qué funciones de Hydrogen puede usar un agente hoy?

Gemini 4 Hydrogen agrupó tres lecturas independientes del catálogo en su primera respuesta en las cuatro sesiones de Chat Completions de Synthorai. El catálogo contenía North = 17, South = 29 y West = 31. Pedimos al modelo que solicitara las lecturas juntas y devolviera su suma, 77. Cada petición tenía un límite de salida de 1,024 tokens.

Solo la primera llamada a herramienta de cada grupo llevaba una firma de razonamiento. Estos metadatos permiten que la API dé continuidad al razonamiento del modelo entre llamadas a herramientas. Reenviamos el mensaje del asistente sin modificar, seguido de los tres resultados en el orden de las llamadas, y Hydrogen devolvió la suma correcta en todos los casos. Los recuentos de razonamiento que aparecen a continuación suman las dos peticiones al modelo de cada sesión: la solicitud de llamadas a herramientas y la respuesta final. Guía de desarrollo de Hydrogen de Google

Esfuerzo solicitadoLas tres lecturas en una respuestaRespuesta final correctaTokens de razonamiento declarados por sesión
medium2/22/295, 130
xhigh2/22/2245, 287

Agrupa las lecturas independientes. Explorar un repositorio, buscar documentos y consultar registros independientes puede requerir menos turnos del modelo si este solicita todas las lecturas juntas. El cliente también puede ejecutar las lecturas independientes en paralelo si las herramientas y sus límites de uso lo permiten. Mantén en secuencia los pasos que tengan dependencias, como escribir un parche y después probarlo. Nuestro cliente ejecutó las herramientas de forma secuencial.

Conserva las firmas de razonamiento durante todo el intercambio con las herramientas. Conviene comprobarlo especialmente al migrar un agente que almacena o reconstruye mensajes entre peticiones. Conserva el mensaje completo del asistente, con la firma en su ubicación original, y vincula cada resultado al ID de su llamada a herramienta. Si el cliente ejecuta herramientas en paralelo, recoge los resultados y reenvíalos en el orden original de las llamadas. La documentación de la API nativa de Google también explica cómo conservar las firmas en el texto final y qué reglas seguir al editar el historial de conversación. Nuestra comprobación del gateway cubrió el intercambio con herramientas que incluía firma. Guía de desarrollo de Hydrogen de Google

Esta función auxiliar de Python implementa el reenvío una vez que han terminado las herramientas. Construye el historial de mensajes de la siguiente petición a partir de la respuesta original de Chat Completions y un diccionario de resultados serializables a JSON, indexados por ID de llamada a herramienta.

import json


def append_tool_turn(messages, response, results_by_id):
    assistant = response["choices"][0]["message"]
    tool_messages = [
        {
            "role": "tool",
            "tool_call_id": call["id"],
            "content": json.dumps(results_by_id[call["id"]]),
        }
        for call in assistant["tool_calls"]
    ]
    return [*messages, assistant, *tool_messages]

Establece una referencia con medium antes de aumentar el esfuerzo. Google ofrece XHIGH como nivel de razonamiento nativo. Synthorai aceptó reasoning_effort: "xhigh" en ambas sesiones y declaró más tokens de razonamiento. Las dos configuraciones resolvieron la consulta. Las correcciones entre módulos y las migraciones que completamos con éxito también usaron medium. Empieza con ese valor y registra las entregas validadas, el tiempo transcurrido y el gasto por ejecución validada. Para las tareas difíciles que fallen, compara high y xhigh con la misma referencia y las mismas pruebas de aceptación. Deja margen en el límite de salida para el parche o los argumentos de las herramientas, ya que el razonamiento consume parte de ese presupuesto. Guía de desarrollo de Hydrogen de Google

¿Cómo medimos si un agente completaba una tarea?

Comparamos ocho tareas sencillas y seis complejas, con dos ejecuciones por tarea y modelo. El lote de migraciones con un límite más alto reutilizó dos tareas complejas para ocho ejecuciones adicionales. Una comprobación aparte, sin especificar el esfuerzo, ejecutó cuatro tareas sencillas una vez por modelo. Son observaciones repetidas sobre un conjunto pequeño de tareas.

Una ejecución se consideraba válida si su archivo o parche final superaba las comprobaciones automáticas en un plazo de 300 segundos. En las tareas de datos se verificaban los valores y las referencias a las fuentes. En las de código se ejecutaban pruebas en un entorno aislado. Las tareas de código más difíciles también exigían pruebas de regresión escritas por el agente: debían pasar con el parche y su batería debía fallar con el código original. El evaluador de migraciones comprobaba por palabras clave que el README cubriera los temas exigidos. Por ejemplo, las dos ejecuciones de Flash con CSV escribieron un archivo validado antes de detenerse por un límite relacionado con los tokens. Ambas contaron como entregas completadas.

Usamos los mismos prompts, herramientas, entradas y comprobaciones para Hydrogen y 3.8 Flash a través de Chat Completions de Synthorai. Cada ejecución partía de un espacio de trabajo nuevo y de una marca única en el prompt para reducir la reutilización de peticiones idénticas. Ejecutamos una sesión cada vez y alternamos qué modelo iba primero. En las comparaciones principales solicitamos reasoning_effort: "medium" en ambos modelos. El mismo valor puede producir un uso distinto del razonamiento. La comprobación aparte sin esfuerzo explícito omitió ese campo y registró el comportamiento expuesto por el gateway.

LoteMáximo de llamadas al modelo por tareaMáximo de tokens de salida por llamada
Sencillas, incluida la comprobación sin esfuerzo explícito82,048
Complejas, incluida la comparación inicial de migraciones102,048
Migraciones con límite ampliado104,096

El ejecutor mantuvo un presupuesto acumulado de 8,000 tokens de salida por tarea. El límite por llamada incluye el razonamiento, los argumentos de las herramientas y el texto visible. Antes de enviar una petición, el ejecutor sumaba el uso de entrada declarado hasta ese momento y una estimación conservadora de la siguiente petición, y comprobaba que no superara un umbral de 40,000 tokens.

Medimos el tiempo real desde la primera petición a la API hasta la validación final, incluida la ejecución de herramientas. Comparamos el tiempo hasta la entrega en los pares en los que ambos modelos superaron las comprobaciones. El gasto por ejecución validada es la suma de los cargos declarados por el gateway para todos los intentos de un grupo, incluidos los fallidos, dividida entre el número de ejecuciones validadas. Si no hay ninguna, este gasto no está definido.

¿Cuánto más rápido fue Hydrogen en las tareas sencillas?

Hydrogen y 3.8 Flash superaron todas las ejecuciones sencillas. Estos ocho casos cubrían pequeños flujos de datos y documentos, además de cambios de código acotados. La mediana de tiempo de Hydrogen fue aproximadamente la mitad que la de Flash. Hydrogen realizó 60 llamadas al modelo entre todas sus ejecuciones, frente a las 81 de Flash.

ModeloCompletadasMediana de tiempo de extremo a extremoCargo totalGasto por ejecución validada
Hydrogen16/168.59 s$0.1365$0.00853
3.8 Flash16/1616.88 s$0.1429$0.00893

Al dividir la mediana de Flash entre la de Hydrogen se obtiene una relación de velocidad de 1.97x. En otra comprobación de cuatro tareas sin esfuerzo explícito, ambos modelos volvieron a superar todas las tareas. Hydrogen fue más rápido en los cuatro pares. Las medianas fueron de 8.26 y 13.54 segundos, una relación de 1.64x, y los cargos totales fueron de $0.0248 y $0.0198, respectivamente. Ambas comparaciones coinciden con la ventaja de velocidad que afirma Google, según nuestras tareas y nuestra definición del tiempo medido.

El lote de tareas sencillas con medium costó algo menos con Hydrogen. Si se excluyen los dos pares de CSV, el resultado se invierte: $0.1025 para Hydrogen y $0.0831 para Flash. La combinación de flujos de trabajo puede cambiar qué modelo resulta más barato, aunque ambos completen todas las tareas.

¿Qué ocurrió cuando fallaron las herramientas?

Hydrogen y 3.8 Flash completaron las cuatro ejecuciones de recuperación cada uno. En las dos tareas sintéticas de conciliación, el archivo principal de reembolsos siempre devolvía un resultado vacío y la primera lectura de liquidaciones siempre devolvía un error transitorio. El agente debía leer el archivo histórico, reintentar la lectura de liquidaciones y generar los importes y las referencias a las fuentes correctos. Ambos modelos siguieron esa ruta de recuperación en todos los casos.

Hydrogen terminó antes en los cuatro pares, con una mediana de 12.93 segundos frente a 17.48 segundos. Su coste por conciliación validada fue de $0.0120, frente a $0.0079 de Flash. Google destaca la recuperación ante fallos de herramientas y resultados vacíos. Ambos modelos demostraron ese comportamiento aquí, con instrucciones explícitas sobre la alternativa y los reintentos. Cada modelo solicitó varias lecturas en 8/20 respuestas de esta carga de trabajo, por lo que la menor duración no demuestra por sí sola una ventaja de la agrupación.

¿Pudieron completar una corrección entre módulos?

Hydrogen superó cuatro de cuatro ejecuciones y 3.8 Flash ninguna de cuatro. En estas tareas de conversión de unidades y divisas, el punto de entrada pasaba por un adaptador hasta llegar al conversor activo. Ambos repositorios también tenían un conversor con un nombre parecido que quedaba fuera del cambio solicitado. El evaluador exigía corregir la ruta activa y añadir una prueba de regresión.

Flash omitió la prueba de regresión en las dos ejecuciones de unidades. En las dos de divisas, se detuvo antes de entregar el cambio en el conversor activo y la prueba. Hydrogen completó las cuatro ejecuciones por $0.0722, o $0.01805 por ejecución validada. Flash acumuló $0.0553 en los cuatro intentos. En este lote no hubo ningún par completado por ambos modelos que permitiera comparar directamente la velocidad.

¿Qué cambió al ampliar el límite por llamada en las migraciones?

Hydrogen superó tres de cuatro migraciones con el límite de 4,096 tokens por llamada. 3.8 Flash no superó ninguna. Los dos casos de importadores exigían una regla condicional para un campo, compatibilidad con campos numerados, retrocompatibilidad, pruebas de regresión y documentación actualizada. Cambiamos el límite por llamada y mantuvimos los casos de prueba, el evaluador, el esfuerzo solicitado de medium, el máximo de 10 llamadas, el presupuesto acumulado de 8,000 tokens de salida, el umbral de entrada y el plazo.

Límite por llamadaModeloCompletadasCargo totalGasto por ejecución validada
2,048Hydrogen0/4$0.0719No definido
2,0483.8 Flash0/4$0.0995No definido
4,096Hydrogen3/4$0.1894$0.0631
4,0963.8 Flash0/4$0.1163No definido

Con el límite más alto, Hydrogen completó las dos ejecuciones de medición y una de envíos. En la otra ejecución de envíos, una respuesta dedicó al razonamiento 3,877 de los 4,096 tokens de salida declarados y terminó sin ninguna llamada de escritura de archivos. Las dos ejecuciones de envíos de Flash se detuvieron en el control de presupuesto del ejecutor. El registro utiliza el mismo motivo para el umbral de entrada estimada y para la comprobación de salida restante, por lo que no permite distinguir cuál de los dos se alcanzó. Una de las ejecuciones de medición de Flash escribió archivos, pero no superó la comprobación del campo condicional antes de alcanzar el límite de llamadas. La otra alcanzó el límite de salida por llamada antes de escribir los archivos.

Las dos configuraciones de límite se ejecutaron una después de otra, con dos repeticiones por caso de prueba. El resultado muestra qué se entregó con estas configuraciones. La variabilidad de la generación y el momento de ejecución de los lotes también pudieron influir en el cambio. Los fallos de Flash dejan abierta la cuestión de cómo respondería con otros límites.

¿Qué modelo conviene evaluar para tu flujo de trabajo?

En las seis tareas complejas con un límite de 2,048 tokens por llamada, Hydrogen superó 8/12 ejecuciones y 3.8 Flash, 4/12. El total incluye cuatro intentos de recuperación, cuatro de correcciones entre módulos y cuatro de migración por modelo. El lote de migraciones con 4,096 tokens se presenta por separado más arriba. La factura total de Hydrogen fue algo mayor, pero se repartió entre el doble de entregas aceptadas.

ModeloCompletadasCargo totalGasto por ejecución validada
Hydrogen8/12$0.1922$0.0240
3.8 Flash4/12$0.1866$0.0466

Para un flujo fijo de conciliación con una alternativa documentada, 3.8 Flash es el candidato de menor coste en nuestra muestra. Usa Hydrogen si el ahorro de tiempo observado pesa más en ese flujo. Para cambios entre archivos que deban entregarse con pruebas, empieza por evaluar Hydrogen en tus propios repositorios. Registra el tiempo hasta obtener un parche aceptado, la proporción de intentos que superan las comprobaciones y el coste completo. Si el modelo se detiene antes de escribir el parche, registra el límite concreto que alcanzó. Una respuesta truncada requiere un ajuste distinto al de haber agotado el número máximo de llamadas.

Preguntas frecuentes

¿Fue Hydrogen más barato por tarea completada?

Hydrogen tuvo un coste menor por ejecución validada en nuestro lote mixto de tareas complejas, en el que completó más tareas. 3.8 Flash tuvo un coste menor por ejecución validada en el subconjunto de conciliaciones, donde ambos modelos completaron todas las ejecuciones.

¿Por qué nuestras relaciones de velocidad difieren del 2.5x de Google?

Hydrogen y 3.8 Flash ejecutaron nuestros pequeños flujos de trabajo a través de Synthorai, con una medición que llegaba hasta la validación final. Nuestra comparación principal solicitó medium en ambos modelos. Google presenta resultados de Hydrogen con high sobre su propia carga de trabajo y aporta pocos detalles sobre la medición del tiempo. Las relaciones de 1.97x y 1.64x corresponden a nuestros dos lotes de tareas sencillas.

¿Necesita Hydrogen xhigh para agrupar llamadas a herramientas?

Hydrogen agrupó las tres lecturas tanto con medium como con xhigh en la prueba del catálogo. El nivel más alto declaró más tokens de razonamiento y devolvió la misma respuesta correcta.

← Volver al blog