언어별로 가장 저렴한 LLM은? 토크나이저 비용을 측정했다

다국어 텍스트에서 모든 언어에 걸쳐 가장 저렴한 LLM 하나는 없다. 같은 문단을 놓고 측정하면 유럽어와 힌디어, 한국어는 GPT-5.5 가 토큰을 가장 적게 청구하고, 중국어는 Kimi K2.5, 일본어는 DeepSeek 가 가장 적다. Claude Fable 5, Opus 4.8, Sonnet 5 는 토크나이저 하나를 공유하며 (우리가 보낸 모든 샘플에서 카운트가 동일했다) 어디서도 가장 적은 축에 들지 못한다. 같은 영어 문단이 DeepSeek 에서 55 토큰인데 Claude 에서는 90 토큰으로 청구되고, 순수 프리미엄은 일본어의 1.3 배부터 중국어의 2.2 배까지 나온다. 토큰이 청구 단위이므로, 가격 페이지에서는 좀처럼 보이지 않는 두 가지가 입력 비용을 결정한다. 하나는 언어가 문자에 의미를 얼마나 촘촘히 담느냐이고, 다른 하나는 각 모델의 토크나이저가 그 문자 체계를 얼마나 잘 압축했느냐다. 이 둘은 곱해지고, 그 결과는 문자당 관점이 시사하는 것과 다르다.

TL;DR

• Claude Fable 5, Opus 4.8, Sonnet 5 는 토크나이저 하나를 공유하며 어디서도 가장 적지 않다. 모든 언어에서 최저 카운트의 1.2~2.3 배다.
• 가장 저렴한 토크나이저는 언어에 따라 바뀐다. 유럽어와 힌디어, 한국어는 GPT-5.5, 중국어는 Kimi, 일본어는 DeepSeek.
• 문자당으로 보면 CJK 가 3 배 나빠 보이지만, 의미당으로 보면 중국어는 거의 동등하고 일본어와 한국어는 1.5~2.4 배다.
• 비용은 문자 체계 밀도 곱하기 토크나이저 커버리지다. 커버리지가 부족하면 비용이 배로 뛴다 (GLM 은 힌디어를 자기 영어의 4.9 배로 청구한다).
• 현지화한다고 비용이 절약되는 경우는 드물다. 토큰 기준으로 언어에 모델을 맞춰라.

카운트는 2026-07-08 에 Synthorai 게이트웨이를 통해 측정했으며, 항상 각 프로바이더 자체 카운트를 사용했고 로컬 토크나이저는 쓰지 않았다. 반복 측정에서 모든 카운트가 동일했다.

청구 단위는 텍스트가 아니라 토큰이다

청구는 토큰 단위로 되지만, 토큰은 문자도 단어도 아니다. 모델마다 자체 어휘를 가진 자체 토크나이저를 탑재하고, 같은 문장이라도 각 토크나이저에서 다른 토큰 수로 분해된다. 그 토큰 수에 토큰당 가격이 곱해지므로, 두 가지가 동시에 달라진다. 텍스트가 몇 개의 토큰이 되는지, 그리고 각 토큰의 가격이 얼마인지.

대부분의 가격 페이지는 두 번째 숫자만 보여준다. 이 글은 첫 번째 숫자를 측정한다. 의미상 정렬된 문단 세 종류를 7 개 모델(claude-fable-5, claude-opus-4-8, claude-sonnet-5, deepseek-v4-flash, glm-5.2, gpt-5.5, kimi-k2.5)에 보내고, 각 모델이 입력으로 청구한 값을 읽어들였다.

가벼운 이야기 글(토요일 시장 이야기)은 9 개 언어로 준비했고, 기술 설명(지수 백오프 재시도)과 뉴스 단신(시 예산 표결)은 영어, 중국어, 일본어, 한국어, 독일어, 힌디어로 준비했다. 여기에 Python 함수와 JSON tool-call 블롭을 더해 세트를 완성했다. 영어 이외 버전은 충실하게 압축하지 말라는 지시로 기계 번역한 뒤 사람이 표본 검수했다. 번역 장황함은 실제 교란 요인이며, 아래 문체 섹션에서 대략 20% 수준으로 그 상한을 잡는다.

카운트는 항상 프로바이더 자체 값을 쓴다. Claude 계열은 실제 Messages 호출로 usage.input_tokens 를 읽었고(게이트웨이가 현재 count_tokens 를 프록시하지 않는다), OpenAI 호환 모델은 작은 호출로 usage.prompt_tokens 를 읽었다. 청구서와 어긋나는 로컬 토크나이저야말로 이 방식이 피하려는 실패다. 통제 요소가 하나 있다. 모든 요청에는 토큰 몇 개짜리 고정 프레이밍(chat template, role marker)이 실린다. 그래서 두 글자짜리 기준 샘플을 측정해 이를 빼준다. 이 글의 모든 비율은 이 봉투를 제외한 순수 값이며, 프레이밍이 아니라 텍스트를 비교한다.

같은 텍스트, 토크나이저 5개

아래는 서술형 지문의 언어별, 토크나이저별 원시 입력 토큰 수다. Claude 모델 3개가 한 열을 공유하는 건 모든 샘플에서 동일한 값을 반환했기 때문이다(자세한 건 아래에서 설명한다). 나머지 지문 두 개도 같은 패턴을 보이므로 뒤쪽에 함께 정리했다. 문자 수 열은 해당 언어 버전의 길이다. 문자 체계마다 의미를 담는 밀도가 다르다 보니, 영어가 254자로 표현하는 걸 중국어는 77자로 똑같이 말한다.

눈에 띄는 사실이 두 가지다. Claude 열이 모델 3개에 하나의 숫자인 이유는 Claude Fable 5, Opus 4.8, Sonnet 5가 언어든 코드든 JSON이든 모든 샘플에서 동일한 값을 반환했기 때문이다. 셋 다 Opus 4.7에서 도입된 토크나이저를 쓰므로, 하나의 카운트가 곧 셋 모두의 카운트다. 그리고 이 열은 GLM이 192로 더 나쁜 힌디어를 빼면 모든 행에서 가장 크다. 각 언어에서 가장 가벼운 모델이 1.00이 되도록 순수 토큰 수 기준으로 정규화한 값은 다음과 같다(엔벨로프를 먼저 뺐기 때문에, 위 원시 셀을 나눈 값과는 일치하지 않는다).

영어 행에서 네 모델이 똑같은 값을 낸 건 반올림 때문이 아니다. DeepSeek, GLM, GPT-5.5, Kimi 모두 이 지문에서 순수 토큰 정확히 50개에 도달했다. 이 지문에서 Claude는 가장 가벼운 토크나이저의 1.32.2배, 지문 세 개 전체로는 1.22.3배를 쓴다. 이건 vocabulary의 특성이라 모델의 수명 내내 모든 호출에 적용된다. 기술 지문과 뉴스 지문에서도 순위는 똑같이 재현된다. 둘을 합치면 Claude는 중국어에 순수 토큰 212개를 청구하는데 Kimi는 114개(1.9배)고, 힌디어는 477개인 반면 GPT-5.5는 210개(2.3배)다. 하지만 그 아래로 내려가면 단일 승자가 없다. 언어가 바뀌면 가장 가벼운 열도 바뀐다.

• GPT-5.5는 독일어, 프랑스어, 스페인어, 이탈리아어, 힌디어, 한국어에서 가장 가볍고, 영어에서는 공동 1위다(공동 1위와 fr/es/it 우위는 서술형 지문에서만 성립한다). vocabulary가 라틴 문자에 맞춰져 있으면서도 데바나가리와 한글에서도 잘 버틴다.
• Kimi K2.5는 중국어에서 가장 가볍고 CJK 전반에서 경쟁력이 있다.
• DeepSeek-v4는 일본어에서 가장 가볍고 중국어에서도 근소한 차이로 뒤따른다.
• GLM 5.2는 대부분 언어에서 중위권이지만 힌디어에서 매트릭스 최악의 셀을 기록한다. 서술형 지문에서 가장 가벼운 값의 2.59배(GPT-5.5가 69개면 되는 걸 순수 토큰 179개), 격식체 지문에서는 더 나쁘고, Claude마저 넘어서는 유일한 열이다.

이 페널티는 산문에만 국한되지 않는다. Python 함수에서 Claude는 가장 가벼운 값의 1.61배, JSON 툴 호출에서는 1.29배다. JSON 격차가 더 좁은 이유는 구조화된 텍스트가 대부분 구두점과 짧은 ASCII 키로 이루어져 있어서 어느 토크나이저든 비슷하게 처리하기 때문이다. 매 턴마다 큰 tool schema를 다시 재생하는 장기 실행 에이전트라면 이 턴당 세금이 누적되는데, 바로 여기서 캐싱이 값을 한다. prompt-caching 시리즈에서 그 메커니즘을 다룬다.

문자당 함정: CJK 는 보기보다 비싸게 청구된다

위의 표들은 모델을 비교한 것이다. 이번에는 모델을 고정하고 언어만 바꿔 보자. 언어에 따라 토큰 수는 여전히 달라지지만, 문자 수만 봐서는 짐작하기 어려운 방향으로 움직인다. 가장 많이 인용되는 tokenizer 지표는 문자당 토큰 수인데, 여기서는 CJK 가 압도적이다. Claude 기준으로 중국어는 100 자당 순 토큰이 약 114 개, 한국어는 106 개, 일본어는 94 개인 반면 영어는 32 개다. 이 열만 보면 CJK 가 3 배의 세금을 무는 것처럼 보이지만, 그건 봐야 할 열이 아니다. 비용은 문자가 아니라 의미에 대해 지불하는 것이고, 정렬된 지문은 모든 언어에서 같은 의미를 담고 있다. Claude 에서 서술형 지문에 대한 두 관점을 모두 보자.

오른쪽 두 열은 서로 다른 이야기를 하고, 중국어가 그 차이를 가장 극명하게 보여준다. 문자당 밀도는 이 집합에서 가장 높지만, 이 지문에서 의미당 프리미엄은 영어의 1.07 배에 불과하다. 영어가 254 자를 쓰는 내용을 중국어는 77 자에 담으니, 가파른 문자당 비율이 아주 작은 문자 수에 곱해지면서 거의 상쇄된다. 세 지문 전체에서 이 상쇄는 유지되지만 마법은 아니다. 중국어는 Claude 자체 영어 대비 평균 1.17 배이고, 모델에 따라 0.95 배에서 1.32 배 사이로, 문자당 열이 위협하는 3 배가 아니라 거의 동등한 수준이다.

일본어와 한국어는 자연스럽게 떠오르는 다음 질문에 답한다. 같은 착시지만 상쇄는 더 약하다. 둘 다 문자당 밀도가 높은데, 한글과 일본어 kana 는 중국어 한자처럼 한 글자에 단어 하나를 담는 대신 대략 음절 하나당 글자 하나로 소리를 적어내기 때문이다. 그래서 중국어가 77 자로 말하는 지문을 한국어는 143 자, 일본어는 136 자가 필요하다. 많은 문자 수에 높은 문자당 비율이 곱해지면 상쇄되는 게 아니라 누적된다. Claude 에서 한국어는 세 지문 전체에 걸쳐 의미당 평균 영어의 1.96 배, 일본어는 1.56 배로, 문자당 열은 중국어와 상당히 비슷해 보여도 둘 다 실제로는 비싸다.

독일어는 중국어의 정반대다. 문자당 비율은 낮지만(48 로 영어에 가깝다) 여기 있는 언어 중 문자 수가 가장 많고(289, 합성어 때문이다), 그래서 총합은 여전히 1.68 배가 된다. 비용은 두 축의 곱이고, 어느 한쪽만 봐서는 오판하게 된다.

숫자가 움직이는 이유: 두 요소의 곱

위의 모든 표 아래에는 하나의 등식이 깔려 있다.

어떤 문장의 token 수 = (의미를 표현하는 데 필요한 글자 수) x (글자당 token 수)

첫 번째 요소는 문자 체계의 밀도이며, 이것은 모델이 아니라 언어의 속성이다. 중국어만 예외인 게 아니라 연속적인 스펙트럼이다. 표어문자인 중국어는 글자 하나마다 형태소를 담아 밀도가 극단적으로 높다. 일본어 가나와 한국어 한글은 소리를 풀어 쓰기 때문에 밀도가 낮고 더 많은 글자가 필요하다. 데바나가리와 라틴 알파벳은 밀도가 더 낮다. 글자당 의미는 중국어에서 영어로 갈수록 꾸준히 줄어든다.

두 번째 요소는 해당 문자의 글자 하나당 모델의 vocabulary 가 token 을 몇 개 쓰느냐이고, 이건 전적으로 모델마다 다르다. BPE tokenizer 는 학습 코퍼스에서 여러 글자를 합친 merge 를 학습한다. 자주 본 문자는 압축적인 token 을 얻고, 드물게 본 문자는 글자 단위나 심지어 byte 단위 인코딩으로 떨어져 글자 하나가 token 두세 개가 되기도 한다. 같은 세 언어의 글자당 순 token 수는 다음과 같다.

이 표가 세 가지를 설명한다. 중국어가 합계에서 특별해 보이는 건 첫 번째 요소에서 극단적이기 때문이다. Claude 의 중국어 압축이 약하더라도(글자당 1.14 token, 여전히 일부 한자를 둘로 쪼갠다) 글자가 77 개뿐이면 합계가 커질 수 없고, 중국에서 학습된 모델들은 충분히 잘 압축(0.52~0.58)해서 자기 영어와 거의 대등한 수준에 도달한다. 힌디어의 프리미엄은 밀도가 아니라 두 번째 요소 탓이다. GLM 은 데바나가리 글자당 0.91 token 을 쓴다. vocabulary 에 여러 글자를 합친 데바나가리 merge 가 거의 없어서 사실상 글자당 token 한 개에 가깝다. 반면 GPT-5.5 는 음절 덩어리 전체를 커버해 0.35 로 처리한다. 같은 문자를 두고 커버리지 차이가 나는 것이다. 그리고 Claude 가 어디서나 높은 건 영어에서조차 글자당 비율이 높기 때문이다(0.32 대 DeepSeek 의 0.20). 이는 언어가 뭘 하든 그 위에 쌓이는 모델 수준의 기준선이다.

이 모든 게 우리 일곱 개 모델만의 특이한 현상은 아니다. 연구 문헌에서는 이 현상을 token premium 이라 부르며, Petrov et al. (NeurIPS 2023) 는 수백 개의 언어 쌍에 걸쳐 이를 측정했다. 두 가지 근본 원인이 동일하게 나타났고(의미당 글자 수가 언어마다 다르고, tokenizer 커버리지가 문자마다 다르다), 저자원 언어에서는 프리미엄이 최대 15배까지 벌어졌다. 결과도 같다. 비용이 늘고 지연이 커지며 사용 가능한 context window 가 줄어든다. 프리미엄이 높은 언어는 같은 context 예산을 더 적은 의미로 채우기 때문이다. 이 격차는 벤더가 투자할수록 좁혀진다. 독립적인 측정에 따르면 중국어는 GPT-3 시대 vocabulary 에서 영어 대비 +182% token 이었지만 GPT-4o 에서는 +24% 로 줄었고, 이는 우리가 GPT-5.5 에서 측정한 +32% 및 중국에서 학습된 모델들에서 측정한 대등한 수준에 가깝다. 커버리지는 vocabulary 슬롯으로 사는 것이고, 벤더들은 계속 사들이고 있다.

로컬라이제이션으로 비용이 절감되는 경우가 있을까

앞의 함정 부분을 읽고 “Claude 는 언어에 상관없이 비용이 일정하니 로컬라이제이션은 무시해도 된다”, “중국 모델은 중국어에서 저렴하니 로컬라이제이션하면 돈을 아낄 수 있다”고 생각하기 쉽다. 둘 다 틀렸다. 세 개 지문을 모두 갖춘 다섯 개 언어에 대해, 각 언어를 해당 모델 자신의 영어와 비교한 값을 세 지문 평균으로 정리하면 다음과 같다.

Claude 도 일정하지 않다. 한국어는 영어의 1.96 배, 힌디어는 2.40 배다. 중국어가 1.17 배 근처에 머무는 건 이 한 언어에서 우연히 그런 것이지 모델의 특성이 아니다. 중국 모델도 중국어에서 손익분기를 넘는 게 아니라 겨우 맞추는 수준이다. 표 전체에서 가장 좋은 값은 Kimi 의 0.95 배로 자신의 영어보다 5% 낮은 게 전부이고, 나머지 칸은 전부 같거나 더 비싸다. 힌디어, 일본어, 한국어에서는 이 모델들이 오히려 Claude 보다 더 큰 페널티를 진다. 해당 문자 체계가 학습 초점에서 더 멀기 때문이다. 패턴은 “벤더 X 가 싸다”가 아니라, 모든 모델이 자기 학습 데이터에 가장 가까운 언어에서 자기 영어 대비 가장 경제적이라는 것이다.

레지스터도 이 수치를 움직인다. 캐주얼한 서사가 가장 유리한 경우다. 기술 지문과 뉴스 지문은 거의 모든 배수를 끌어올린다. 전문 용어와 외래어야말로 비라틴 어휘가 병합 처리를 갖추지 못한 부분이기 때문이다. Claude 에서 독일어는 1.68 배(캐주얼)에서 2.29 배(기술)로 올라가고, GLM 의 힌디어는 뉴스 지문에서 자신의 영어의 5.98 배에 이른다. 지문이 하나뿐인 벤치마크는 가장 유리하게 번역된 언어를 실제보다 좋게 보이게 한다. 서사 하나만 놓고 보면 Kimi 에서 중국어가 0.80 배였지만, 세 지문을 합치면 0.95 배가 되는 이유다.

애초에 “자기 영어 대비”라는 관점 자체가 잘못됐다. 실제로 지불하는 건 절대 토큰 수이고, 그 기준으로 보면 아홉 개 언어 중 여덟 개에서 Claude 가 가장 비싸다. GLM 의 힌디어만 유일하게 더 나쁜 칸이다. “Claude 의 영어 대비 저렴한” 중국어 콘텐츠도 서사 지문 기준으로 Kimi 의 40 토큰에 비해 Claude 에서는 여전히 88 순 토큰이다. 그러니 해야 할 일은 비용 절감을 위해 로컬라이제이션하는 게 아니라, 언어에 모델을 맞추는 것이다. 중국어는 Kimi 나 DeepSeek, 힌디어와 한국어는 GPT-5.5, 일본어는 DeepSeek 로. Claude 는 어떤 언어에서도 토큰 비용 우승자가 아니다. 다만 품질에서는 여전히 이길 수 있다.

토큰 수는 청구서의 절반일 뿐이다

토큰 배수는 토큰당 가격과 나란히 놓고 봐야 의미가 있고, 둘은 곱으로 작용한다. Claude Fable 5는 입력 100만 토큰당 $10, Opus 4.8은 $5, Sonnet 5는 도입 특가가 끝나면 $3다. 게다가 이 모델들이 공유하는 tokenizer는 중국어에서 가장 효율적인 모델보다 2.2배 많은 토큰을 매긴다. 결국 토큰 수 프리미엄이, 대신 라우팅할 만한 대안 대비 모델이 이미 가진 요율 차이에 곱으로 붙는 셈이다. 반대 경우도 가능하다. 토큰을 적게 매기더라도 요율 자체가 높으면 호출당 비용은 더 나올 수 있다. 어느 한쪽 숫자만으로는 청구서를 알 수 없다. 다른 벤더의 요율은 여기 싣지 않았다. tokenizer보다 훨씬 자주 바뀌기 때문이다. 위의 토큰 수는 계산에서 오래 유지되는 절반이다.

실무적으로는 정가 비교를 멈추고 실효 입력 비용을 비교하는 게 맞다. 실제 트래픽 구성을 후보 모델마다 토큰으로 세고, 거기에 그 모델의 입력 요율을 곱하면 된다. 중국어나 한국어 비중이 큰 제품이라면 이렇게 순서를 바꾸는 것만으로 어느 모델이 가장 싼지가 뒤집힐 수 있고, 그 차이는 반올림 오차가 아니라 1.5배에서 2배로 꾸준히 벌어진다. 캐싱할 때 중요한 숫자가 표시 요율이 아니라 hit rate로 가중한 실효 비용인 것과 같은 이치다. 이 부분은 provider 비교 글에서 다룬다. 같은 영어 텍스트에서 Sonnet 5가 Sonnet 4.6보다 41% 더 많이 세는 버전 간 이야기는 Sonnet 5 tokenizer 글에 있다.

핵심 정리

• 토큰 비용은 문자 밀도와 tokenizer 커버리지의 곱이다. 첫 번째 인자는 언어가, 두 번째는 모델이 정한다. 어느 하나만 봐서는 판단을 그르친다.
• Claude Fable 5, Opus 4.8, Sonnet 5는 모든 언어에서 가장 효율적인 모델의 1.2배에서 2.3배다. 영어에서도 문자당 요율이 높기 때문이다.
• 가장 효율적인 모델은 언어마다 다르다. 유럽 언어와 힌디어, 한국어는 GPT-5.5, 중국어는 Kimi, 일본어는 DeepSeek다. GLM은 힌디어에 가장 약해서 문자당 거의 1토큰에 이른다.
• 격식체와 기술 문체는 거의 모든 언어에서 배수를 높인다. 실제로 서비스하는 문체로 벤치마크하라.
• 비용 절감을 위해 로컬라이즈하지 마라. 절대 토큰 기준으로 언어에 맞는 모델을 고른 다음, 각 모델의 요율을 곱해 실효 비용을 비교하라.

FAQ

어떤 LLM 토크나이저가 가장 저렴한가요？ 언어에 따라 다릅니다。 정렬된 동일 지문으로 7개 모델을 비교한 결과, 유럽어와 힌디어、 한국어에서는 GPT-5.5가 가장 적었고（영어는 동률）, 중국어는 Kimi K2.5, 일본어는 DeepSeek-v4가 가장 적었습니다。 Claude 계열（Fable 5, Opus 4.8, Sonnet 5）은 한 번도 최소값을 기록하지 못했고, 모든 언어와 문체에서 가장 저렴한 모델의 1.2배에서 2.3배에 달했습니다。

Claude Fable 5, Opus 4.8, Sonnet 5는 같은 토크나이저를 쓰나요？ 예。 세 모델 모두 모든 샘플에서 언어、 코드、 JSON을 가리지 않고 동일한 토큰 수를 냈습니다。 셋 다 Opus 4.7에서 도입된 토크나이저를 사용하므로 한 모델의 토큰 수를 다른 모델에 그대로 적용할 수 있습니다。 Fable 5의 비용이 더 높은 것은 순전히 토큰당 가격 때문입니다。

Claude에서 중국어가 영어보다 비싼가요？ 약간 그렇습니다。 세 지문 평균으로 의미당 1.17배입니다（중국에서 학습된 모델에서는 거의 동등）。 글자당으로 보면 훨씬 나빠 보입니다（중국어는 100자당 순 토큰 약 114개, 영어는 32개）. 하지만 중국어는 같은 의미를 약 3분의 1의 글자 수로 전달하므로, 총합에서는 거의 상쇄됩니다。

일본어와 한국어도 중국어처럼 동작하나요？ 절반만 그렇습니다。 글자당 밀도가 높은 점은 중국어와 같지만, 한글과 가나는 소리를 풀어서 적기 때문에 같은 지문에 훨씬 많은 글자가 필요합니다（일본어 136, 한국어 143, 중국어 77）. 이렇게 되면 높은 글자당 비율이 더 이상 상쇄되지 않아, Claude에서 의미당 일본어는 영어의 약 1.6배, 한국어는 약 2배가 됩니다。 7개 모델 전반으로는 1.5배에서 2.4배 사이입니다。

내 프롬프트에서는 이걸 어떻게 측정하나요？ 로컬 토크나이저를 믿지 말고, 실제로 서비스에 쓰는 문체의 프롬프트 몇 개를 각 후보 모델에 보낸 뒤 프로바이더가 usage 필드로 알려주는 input 토큰 수를 읽으세요。 특정 지문 하나만 쓰면 언어에 유리하게 약 20% 왜곡될 수 있으니 여러 개를 사용하세요。 그런 다음 각 토큰 수에 해당 모델의 input 가격을 곱하면 자기 트래픽 기준의 실효 비용이 나옵니다。

← 블로그로 돌아가기