Gemini 4 Hydrogen vs 3.8 Flash: 속도, 도구, 작업 비용

목차
  1. Hydrogen은 3.8 Flash에서 무엇이 달라졌나?
  2. 에이전트가 지금 사용할 수 있는 Hydrogen 기능은?
  3. 에이전트 작업 완료는 어떻게 측정했나?
  4. 단순 작업에서 Hydrogen은 얼마나 빨랐나?
  5. 도구에 오류가 나면 어떻게 됐나?
  6. 모듈을 넘나드는 수정을 완료할 수 있었나?
  7. 마이그레이션에서 호출당 한도를 높이면 무엇이 달라졌나?
  8. 내 워크플로에서는 어떤 모델을 평가해야 하나?
  9. FAQ
  10. 완료한 작업당 비용은 Hydrogen이 더 낮았나?
  11. 속도비가 Google의 2.5x와 다른 이유는?
  12. Hydrogen이 도구를 일괄 호출하려면 xhigh가 필요한가?

Synthorai에서 단순 작업 16쌍을 실행한 결과, Gemini 4 Hydrogen이 Gemini 3.8 Flash보다 15쌍에서 먼저 끝났다. 두 모델 모두 모든 작업에서 검증을 통과하는 결과물을 제출했다. Google은 일상적인 코딩과 도구 사용 에이전트를 위해 2026년 11월 12일 Hydrogen을 출시했다. 난도가 높은 테스트에서는 Hydrogen이 코드 변경을 더 많이 완료했고, 대사 작업에서는 Flash의 성공 건당 비용이 더 낮았다. Google 출시 평가

TL;DR

  • Hydrogen과 3.8 Flash 모두 단순 작업 16/16회를 통과했다. 소요 시간 중앙값은 각각 8.59초와 16.88초였다.
  • 두 모델 모두 정해진 시나리오의 도구 오류 복구 실행 4/4회를 통과했다. 모든 비교 쌍에서 Hydrogen이 더 빨랐고, 성공 건당 비용은 Flash가 더 낮았다.
  • Hydrogen은 호출당 2,048 token 한도에서 모듈 간 수정 4/4회를, 4,096 한도에서 마이그레이션 3/4회를 통과했다. Flash는 두 그룹 모두 0/4회였다.
  • Hydrogen은 별도로 실행한 세션 4/4회에서 읽기 3건을 한 번에 요청하고 올바른 결과를 반환했다.

Hydrogen은 3.8 Flash에서 무엇이 달라졌나?

Google에 따르면 Gemini 4 Hydrogen은 Gemini 3.8 Flash보다 Terminal-Bench 4.1 점수가 높고 작업 실행도 빠르다. Google 출시 평가

Google 출시 시점 비교측정 항목Gemini 4 HydrogenGemini 3.8 Flash
Terminal-Bench 4.1부정행위를 보정한 터미널 작업 평균 점수57.0%18.2%
작업 실행 속도Google 출시 비교에서 3.8 Flash 대비 속도기본값 high에서 2.5x기준 1.0x
기본 네이티브 사고 수준Google API에서 생략했을 때의 추론 설정highmedium

Google은 mini-swe-agent vision runner를 사용해 Terminal-Bench 4.1에서 Hydrogen을 high로 실행했으며, 작업마다 5회 시도했다. 출시 글에는 2.5x 비교의 절대 소요 시간, 전체 시간 측정 절차, Flash의 사고 설정이 나와 있지 않다. 이번 테스트에서는 다른 작업 세트를 사용했고, Synthorai를 거쳐 최종 검증이 끝날 때까지의 시간을 측정했다. 이 워크플로에서도 속도 우위가 나타나는지 확인하기 위한 비교다. Google 평가 방법론

Hydrogen에는 더 깊은 추론을 위한 xhigh가 추가됐다. Google은 파일 읽기와 검색 호출을 한 번에 요청하는 기능도 에이전트 워크플로의 개선점으로 꼽았다. 다음 예제에서는 Synthorai를 통해 도구 일괄 호출, 서명 재전송, 더 높은 추론 설정이 어떻게 동작하는지 확인한다. Hydrogen 개발자 가이드 · Google 출시 평가

에이전트가 지금 사용할 수 있는 Hydrogen 기능은?

Gemini 4 Hydrogen은 Synthorai Chat Completions 세션 4회 모두 첫 응답에서 독립적인 카탈로그 읽기 3건을 함께 요청했다. 카탈로그 값은 North = 17, South = 29, West = 31이었다. 모델에는 읽기를 한 번에 요청하고 합계인 77을 반환하도록 지시했다. 각 요청의 출력 한도는 1,024 token이었다.

각 묶음에서는 첫 번째 도구 호출에만 사고 서명이 포함됐다. 이 메타데이터는 API가 도구 호출 전후로 모델의 추론을 이어 가는 데 쓰인다. assistant 메시지를 그대로 돌려보내고, 그 뒤에 도구 결과 3개를 호출 순서대로 붙이자 Hydrogen은 매번 정확한 합계를 반환했다. 아래 추론 token 수는 각 세션의 모델 요청 2회, 즉 도구 호출 요청과 최종 응답의 합계다. Google Hydrogen 개발자 가이드

요청한 추론 수준응답 하나에서 읽기 3건 모두 요청최종 정답세션별 보고된 추론 token 수
medium2/22/295, 130
xhigh2/22/2245, 287

독립적인 읽기는 한 번에 요청한다. 저장소 탐색, 문서 조회, 서로 독립적인 레코드 확인에서는 모델이 읽기를 모두 함께 요청하면 모델 호출 횟수를 줄일 수 있다. 도구와 호출 제한이 허용한다면 클라이언트도 독립적인 읽기를 병렬로 실행할 수 있다. 패치를 작성한 뒤 테스트하는 것처럼 선후 관계가 있는 단계는 순서대로 실행해야 한다. 이번 클라이언트는 도구를 순차 실행했다.

도구 호출과 결과 반환 사이에 사고 서명을 보존한다. 요청 사이에 메시지를 저장하거나 재구성하는 에이전트를 마이그레이션할 때 특히 확인할 항목이다. 서명이 들어 있던 위치를 포함해 assistant 메시지 전체를 유지하고, 각 결과를 원래 도구 호출 ID에 연결해야 한다. 클라이언트가 도구를 병렬 실행한다면 결과를 모은 뒤 원래 호출 순서대로 돌려보낸다. Google 네이티브 API 문서에는 최종 텍스트의 서명 보존과 대화 기록 수정 규칙도 설명돼 있다. 이번 게이트웨이 테스트에서는 서명이 있는 도구 호출과 결과 반환 경로를 확인했다. Google Hydrogen 개발자 가이드

다음 Python 헬퍼는 도구 실행이 끝난 뒤 메시지를 재전송하는 단계를 구현한다. 가공하지 않은 Chat Completions 응답과, 도구 호출 ID를 키로 하고 JSON으로 직렬화할 수 있는 결과를 값으로 갖는 딕셔너리로 다음 요청의 메시지 기록을 만든다.

import json


def append_tool_turn(messages, response, results_by_id):
    assistant = response["choices"][0]["message"]
    tool_messages = [
        {
            "role": "tool",
            "tool_call_id": call["id"],
            "content": json.dumps(results_by_id[call["id"]]),
        }
        for call in assistant["tool_calls"]
    ]
    return [*messages, assistant, *tool_messages]

추론 수준을 높이기 전에 medium 기준선을 잡는다. Google은 네이티브 사고 수준으로 XHIGH를 제공한다. Synthorai는 두 세션 모두 reasoning_effort: "xhigh"를 받아들였고 더 많은 추론 token을 보고했다. 두 설정 모두 조회 작업을 해결했다. 모듈 간 수정과 마이그레이션에 성공한 실행에서도 medium을 사용했다. 이 설정부터 시작해 결과물의 검증 통과 여부, 소요 시간, 성공 건당 비용을 기록한다. 어려운 작업에서 실패한다면 같은 기준선과 인수 테스트로 high, xhigh를 비교한다. 추론도 출력 한도를 사용하므로 패치나 도구 인수가 들어갈 여유를 남겨야 한다. Google Hydrogen 개발자 가이드

에이전트 작업 완료는 어떻게 측정했나?

단순 작업 8개와 복잡한 작업 6개를 비교했으며, 모델별로 각 작업을 2회씩 실행했다. 마이그레이션 한도를 높인 배치에서는 복잡한 작업 중 2개를 재사용해 8회를 추가 실행했다. 별도로 추론 수준을 생략한 테스트에서는 단순 작업 4개를 모델별로 1회씩 실행했다. 적은 수의 작업을 반복 관측한 결과다.

최종 파일이나 패치가 300초 안에 자동 검증을 통과하면 성공으로 판정했다. 데이터 작업은 값과 출처 참조를 검사했다. 코드 작업은 격리된 환경에서 테스트를 실행했다. 난도가 높은 코드 작업에서는 에이전트가 회귀 테스트도 작성해야 했다. 이 테스트는 패치된 코드에서 통과하고, 원본 코드에서는 테스트 스위트가 실패해야 했다. 마이그레이션 채점기는 README에 필수 주제가 들어 있는지 키워드로 확인했다. 예를 들어 Flash의 CSV 실행 2회는 모두 token 관련 중단이 발생하기 전에 검증을 통과한 파일을 작성했다. 두 실행 모두 결과물 제출 완료로 집계했다.

Synthorai Chat Completions를 통해 Hydrogen과 3.8 Flash에 같은 프롬프트, 도구, 입력, 검증 절차를 적용했다. 매 실행은 새 작업 공간에서 시작했고, 동일한 요청의 재사용을 줄이기 위해 프롬프트에 고유 표식을 넣었다. 세션은 한 번에 하나씩 실행하고 먼저 실행할 모델을 번갈아 바꿨다. 주 비교에서는 두 모델 모두 reasoning_effort: "medium"을 요청했다. 같은 값을 요청해도 실제 추론 사용량은 다를 수 있다. 별도로 진행한 추론 수준 생략 테스트에서는 해당 필드를 빼고 게이트웨이를 통해 나타나는 동작을 기록했다.

배치작업당 최대 모델 호출 수호출당 최대 출력 token 수
단순 작업, 추론 수준 생략 테스트 포함82,048
복잡한 작업, 최초 마이그레이션 비교 포함102,048
한도를 높인 마이그레이션104,096

실행기는 작업당 누적 출력 한도를 8,000 token으로 유지했다. 호출당 한도에는 추론, 도구 인수, 사용자에게 보이는 텍스트가 모두 포함된다. 요청을 보내기 전에는 지금까지 보고된 입력 사용량에 다음 요청의 보수적 추정치를 더해 40,000 token 제한을 넘는지 확인했다.

소요 시간은 첫 API 요청부터 도구 실행과 최종 검증까지의 실제 경과 시간으로 측정했다. 두 모델이 모두 통과한 쌍에서 결과물 제출까지 걸린 시간을 비교했다. 성공 건당 비용은 실패를 포함한 그룹 내 모든 시도의 보고된 게이트웨이 요금 합계를 성공 횟수로 나눈 값이다. 성공이 0회면 성공 건당 비용은 정의되지 않는다.

단순 작업에서 Hydrogen은 얼마나 빨랐나?

Hydrogen과 3.8 Flash 모두 단순 작업의 모든 실행을 통과했다. 테스트 케이스 8개는 소규모 데이터 및 문서 워크플로와 범위가 좁은 코드 변경으로 구성했다. Hydrogen의 소요 시간 중앙값은 Flash의 약 절반이었다. 전체 실행에서 모델 호출 수는 Hydrogen이 60회, Flash가 81회였다.

모델완료전체 소요 시간 중앙값총요금성공 건당 비용
Hydrogen16/168.59 s$0.1365$0.00853
3.8 Flash16/1616.88 s$0.1429$0.00893

Flash의 중앙값을 Hydrogen의 중앙값으로 나누면 속도비는 1.97x다. 추론 수준을 생략하고 작업 4개를 실행한 별도 테스트에서도 두 모델은 모든 작업을 통과했다. Hydrogen은 4쌍 모두 더 빨랐다. 중앙값은 각각 8.26초와 13.54초로 속도비는 1.64x였으며, 총요금은 각각 $0.0248과 $0.0198이었다. 이번 작업 구성과 시간 측정 방식에서는 두 비교 모두 Google이 발표한 속도 우위와 같은 방향을 보였다.

단순 작업의 medium 배치에서는 Hydrogen의 비용이 약간 낮았다. CSV 비교 2쌍을 제외하면 총요금은 Hydrogen $0.1025, Flash $0.0831로 뒤집힌다. 두 모델 모두 모든 작업을 완료하더라도 워크플로 구성에 따라 더 저렴한 모델이 달라질 수 있다.

도구에 오류가 나면 어떻게 됐나?

Hydrogen과 3.8 Flash는 각각 복구 실행 4회를 모두 완료했다. 합성 대사 작업 2개에서는 기본 환불 파일이 항상 빈 결과를 반환하고, 첫 정산 데이터 읽기가 항상 일시적 오류를 반환하도록 했다. 에이전트는 아카이브를 읽고 정산 데이터 읽기를 재시도한 뒤 정확한 금액과 출처 참조를 만들어야 했다. 두 모델 모두 매번 이 복구 경로를 따랐다.

Hydrogen은 4쌍 모두 먼저 끝났으며 중앙값은 12.93초, Flash는 17.48초였다. 검증을 통과한 대사 작업당 비용은 Hydrogen이 $0.0120, Flash가 $0.0079였다. Google은 도구 실패와 빈 결과에서 복구하는 능력을 강조한다. 이번 테스트에서는 명시적인 대체 경로와 재시도 지시를 줬을 때 두 모델 모두 이 동작을 보였다. 이 작업에서 두 모델은 각각 응답 8/20회에 여러 읽기를 요청했다. 따라서 완료 시간이 짧았다는 사실만으로 일괄 호출의 효과라고 볼 수는 없다.

모듈을 넘나드는 수정을 완료할 수 있었나?

Hydrogen은 4회 중 4회를 통과했고, 3.8 Flash는 4회 중 0회를 통과했다. 단위 및 통화 변환 작업에서 진입점은 어댑터를 거쳐 실제 사용되는 변환기로 이어졌다. 두 저장소에는 이름이 비슷하지만 변경 대상이 아닌 변환기도 있었다. 채점기는 실제 실행 경로를 수정하고 회귀 테스트를 추가할 것을 요구했다.

Flash는 단위 변환 실행 2회 모두 회귀 테스트를 빠뜨렸다. 통화 변환 실행 2회에서는 실제 사용되는 변환기 수정과 테스트를 제출하기 전에 중단됐다. Hydrogen은 4회를 완료하는 데 $0.0722, 성공 건당 $0.01805가 들었다. Flash는 4회 시도에서 $0.0553가 청구됐다. 이 배치에는 두 모델이 모두 완료한 쌍이 없어 속도를 직접 비교할 수 없었다.

마이그레이션에서 호출당 한도를 높이면 무엇이 달라졌나?

Hydrogen은 호출당 4,096 token 한도에서 마이그레이션 실행 4회 중 3회를 통과했다. 3.8 Flash는 한 번도 통과하지 못했다. 가져오기 기능 테스트 케이스 2개에는 조건부 필드 규칙, 번호가 붙은 필드 지원, 하위 호환성, 회귀 테스트, 문서 갱신이 필요했다. 호출당 한도만 바꾸고 테스트 케이스, 채점기, 요청한 추론 수준 medium, 호출 10회 제한, 누적 출력 한도 8,000 token, 입력 제한 검사, 제한 시간은 그대로 유지했다.

호출당 한도모델완료총요금성공 건당 비용
2,048Hydrogen0/4$0.0719정의되지 않음
2,0483.8 Flash0/4$0.0995정의되지 않음
4,096Hydrogen3/4$0.1894$0.0631
4,0963.8 Flash0/4$0.1163정의되지 않음

한도를 높였을 때 Hydrogen은 계량 작업 2회와 배송 작업 1회를 완료했다. 나머지 배송 작업에서는 응답 하나가 보고된 출력 token 4,096개 중 3,877개를 추론에 사용한 뒤 파일 쓰기 호출 없이 끝났다. Flash의 배송 작업 2회는 실행기의 예산 제한 검사에서 중단됐다. 로그가 추정 입력 한도 검사와 남은 출력 한도 검사에 같은 사유를 사용하므로 둘 중 무엇에 걸렸는지는 구분할 수 없다. Flash의 계량 작업 1회는 파일을 작성했지만 조건부 필드 검사를 통과하지 못한 뒤 호출 한도에 도달했다. 다른 1회는 파일을 쓰기 전에 호출당 출력 한도에 도달했다.

두 한도 설정은 순서대로 실행했으며 각 테스트 케이스를 2회씩 반복했다. 결과는 이 설정에서 실제로 무엇을 완료했는지를 보여 준다. 생성 결과의 변동성과 배치 실행 시점도 변화에 영향을 줬을 수 있다. Flash가 실패했으므로 다른 한도에서 어떤 결과를 낼지도 아직 알 수 없다.

내 워크플로에서는 어떤 모델을 평가해야 하나?

호출당 2,048 token 한도로 복잡한 작업 6개를 실행했을 때 Hydrogen은 8/12회, 3.8 Flash는 4/12회를 통과했다. 이 합계에는 모델마다 복구 4회, 모듈 간 수정 4회, 마이그레이션 4회가 포함된다. 4,096 token 마이그레이션 배치는 위에서 별도로 보고했다. Hydrogen의 총요금은 조금 더 높았지만, 검증을 통과한 결과물은 2배였다.

모델완료총요금성공 건당 비용
Hydrogen8/12$0.1922$0.0240
3.8 Flash4/12$0.1866$0.0466

대체 경로가 문서화된 고정 대사 루프라면 이번 표본에서는 3.8 Flash가 더 저렴한 후보였다. 해당 워크플로에서 관측된 시간 절감이 더 중요하다면 Hydrogen을 쓰면 된다. 테스트를 포함해 여러 파일을 수정해야 한다면 자체 저장소에서 Hydrogen부터 평가해 볼 만하다. 검증을 통과한 패치가 나올 때까지의 시간, 전체 시도 중 통과 비율, 전체 요금을 추적해야 한다. 모델이 패치를 쓰기 전에 멈췄다면 어떤 한도에 걸렸는지 구체적으로 기록한다. 응답이 잘린 경우와 최대 호출 횟수에 도달한 경우는 조정 방법이 다르다.

FAQ

완료한 작업당 비용은 Hydrogen이 더 낮았나?

여러 유형을 섞은 복잡한 작업 배치에서는 Hydrogen이 더 많은 작업을 완료했고 성공 건당 비용도 낮았다. 두 모델 모두 모든 실행을 완료한 대사 작업만 보면 3.8 Flash의 성공 건당 비용이 더 낮았다.

속도비가 Google의 2.5x와 다른 이유는?

이번 테스트에서는 Synthorai를 통해 소규모 워크플로에서 Hydrogen과 3.8 Flash를 실행하고 최종 검증까지 시간을 쟀다. 주 비교에서는 두 모델 모두 medium을 요청했다. Google은 자체 워크로드에서 Hydrogen을 high로 실행한 결과를 보고했으며, 시간 측정에 관한 세부 정보는 제한적이다. 1.97x와 1.64x는 이번 단순 작업 배치 2개에서 나온 속도비다.

Hydrogen이 도구를 일괄 호출하려면 xhigh가 필요한가?

카탈로그 테스트에서 Hydrogen은 medium과 xhigh 모두 읽기 3건을 한 번에 요청했다. 높은 설정에서는 보고된 추론 token 수가 늘었지만 정답은 같았다.

← 블로그로 돌아가기