结论先行:模型不认识汉字也不认识单词,只认识 token。上下文窗口限制、API 计费、输出截断、速率限制,全都按 token 计算。后端工程师接 LLM API,第一件该搞清楚的事就是:我这段文本会变成多少个 token。

文本如何变成 token

Tokenizer 负责在"字符"和"整词"之间找一个中间粒度。两端都有问题:字符级序列太长,模型要靠更多层数学组合关系,“饕餮"这类低频组合几乎学不到;整词级词表爆炸,新词、错拼、代码标识符全变成未知符。主流方案是 BPE(Byte Pair Encoding)一类子词算法:从字符(字节)级别开始,把语料里高频共现的字节对反复合并,直到词表达到预设规模,最终形成一张几万到几十万条目的词表。效果是:

  • 高频词(the、def、的)通常 1 个 token 搞定;
  • 长尾词被拆成几片,比如很多专有名词会被拆成 2~4 个 token;
  • 罕见字符、emoji、生僻汉字往往占更多 token,因为它们在词表里只能靠字节拼接表示。

Tokenizer 是纯确定性的字符串处理,没有模型参与——同一份词表下,同样的文本永远切出同样的 token 序列。所以计数、裁剪、预算控制都可以完全在客户端离线完成,这是很多成本优化技巧的前提。

中英文的差异

英文常见单词约 1 个 token,经验换算是 1 token ≈ 0.75 个单词。中文常见字大多 1 个字对应 1~2 个 token,具体比例取决于词表对中文的覆盖程度——词表里中文子词越多,同样一段话切出来的 token 越少。所以同样一段语义,中文文本的 token 数通常高于英文,估算成本和上下文余量时要留系数。一个直观感受:同一段中文用不同代次的词表切,结果能差出两三成,跨模型迁移估算必须重新数。

跨模型估算前,先确认目标模型用的是哪套词表。常见几家的量级如下(写作时口径,以各模型官方文档为准):

词库 / 模型系词表量级中文表现备注
cl100k_base(GPT-3.5 / GPT-4 系)约 10 万常用字多为 1~2 tokentiktoken 直接可用
o200k_base(GPT-4o 系)约 20 万覆盖改善,中文更省gpt-4o 系配套
Qwen 系列 tokenizer约 15 万中文覆盖好,常用字基本 1 token中文业务友好
Llama 3 系列 tokenizer约 12.8 万中文靠多字节拼接的情况不少英文优先的设计

词表越大,常见文本(尤其中文)通常切得更省、语义单元更整,但嵌入层参数也更大。选型时不用纠结这个数字,关键是"用谁的模型,就用谁的 tokenizer 计数”。

词表之外还有实现层面的差异值得知道:BPE 有多个变体,GPT 系走字节级 BPE(任何 UTF-8 文本都能切,永不出现未知符),另一些模型用 SentencePiece 这类分词框架,对空格和词边界的处理规则不同。跨模型计数有差异的原因既在词表,也在切分算法本身——这也是"换模型必须重新数"的底层原因。

特殊 token 与 chat template

顺带认识一个常被忽略的角色:特殊 token。对话并不是把字符串拼起来就完事——每条消息会被 chat template 包上角色标记、起止符这类特殊 token(比如标记"用户发言开始"“助手回答结束”)。它们也占窗口、也计费,只是对用户不可见。

这解释了两个常见现象。其一,同一份内容拼成一条消息和拆成多轮对话,token 数对不上——差值就是模板包上去的特殊 token 和角色前缀。其二,“把 system prompt 放进第一条消息"是各家 API 的统一约定,因为模板会把它映射到模型训练时见过的位置,随手把它塞进 user 消息,模型表现可能明显变差。自建服务用 ChatML 类模板时同理:模板本身也是 token,算窗口和成本时别漏掉。

调试这类问题的直接办法是把模板渲染结果打印出来看:主流推理框架都提供 apply_chat_template 之类的工具函数,把最终拼出的完整字符串(含特殊 token)导出来数一遍,窗口和成本的账就都对上了。

代码:亲手数一数 token

以 OpenAI 开源的 tiktoken 为例(pip install tiktoken):

import tiktoken

enc = tiktoken.encoding_for_model("gpt-4o")

samples = ["hello world", "人工智能", "上下文窗口限制", "饕餮"]
for text in samples:
    tokens = enc.encode(text)
    print(f"{text!r} -> {len(tokens)} tokens, ids={tokens}")

# token 序列可以无损还原为文本
assert enc.decode(enc.encode("上下文窗口限制")) == "上下文窗口限制"

跑一下你会看到:英文短语 2 个 token 左右,常用汉字各占 1 个 token,生僻字 “饕餮” 明显更贵。这就是"模型眼中的文本”。

第二个例子是截断场景——“按字符数"和"按 token 数"的差别,这是最容易埋雷的地方:

import tiktoken

enc = tiktoken.encoding_for_model("gpt-4o")
prompt = "这是一段用于演示的长文本,会被送入上下文窗口。" * 300

# 错误写法:按字符数截断,实际 token 数不可控,可能超窗或远小于预期
naive = prompt[:2000]

# 正确写法:按 token 截断,再无损还原,token 数精确可控
trimmed = enc.decode(enc.encode(prompt)[:2000])

print(len(enc.encode(naive)), len(enc.encode(trimmed)))
# 前者往往明显超过 2000,后者恰好 2000

最后,把响应里的 usage 落日志——它是计费、限流、成本优化的唯一事实来源:

from openai import OpenAI

client = OpenAI()

resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "一句话解释什么是 RAG"}],
)
u = resp.usage  # prompt_tokens / completion_tokens 是对账依据
print(f"prompt={u.prompt_tokens}, completion={u.completion_tokens}, total={u.total_tokens}")

为什么这对你重要

四个工程场景直接踩在 token 上:

  1. 计费:输入、输出分别计价,输出单价通常是输入的数倍;
  2. 上下文窗口:system prompt + 历史对话 + 检索资料 + 你的问题 + 模型输出,总和不能超过窗口上限,超了就报错或被截断;
  3. max_tokens:设置的是输出 token 上限,设太小会话说到一半被硬切,JSON 都闭不了括号;
  4. 速率限制:常见按每分钟 token 数限流,压测时按 token 而不是请求数估容量;
  5. 示例与评估集预算:few-shot 示例、评估用例同样按 token 计价,示例选得再多,塞不进窗口就是零。

补一个常被问的问题:token 数为什么和字数对不上?因为 tokenizer 切的是统计意义上的子词单元,不是语言学意义上的字词——高频字可能被合并进更大单元,而夹在中文里的英文、数字、标点各有一套切法。数 token 没有任何捷径,唯一可信的是 tokenizer 本身。

实用建议

  • 粗估:紧急场景按 1 个汉字 ≈ 1.5~2 个 token 保守估算,宁多勿少;
  • 精算:计费、限流相关的逻辑务必用对应模型的 tokenizer 精确计数,别拍脑袋;
  • 留余量:拼 prompt 时给输出预留 max_tokens,再留 5%~10% 的安全余量,别把窗口顶满;
  • 观测:所有响应里的 usage 字段(prompt_tokens / completion_tokens)落日志,这是后面做成本优化和缓存分析的数据基础。

实战场景

一个知识库项目的立项估算:团队要把约 50 万字的产品文档做成 RAG 知识库,需要预估入库 embedding 与后续问答的输入成本。最初按"1 个字 ≈ 1 个 token"拍了个数;接入 tiktoken 用目标模型的词表实际切分后发现,这份文档里大量表格、型号和代码片段,实际 token 量比粗估高出明显一截——而且同事用旧词表预排的预算和新词表对不上。修正后的做法是:入库前离线全量 tokenize 一次,把"文档 token 总量"作为常量写进成本模型,费用口径统一以官方价目页为准;同时把每次问答的 usage 按场景落表,两周后回看,预算偏差已经很小。这件事的教训很简单:token 数是确定的,估算不准的原因几乎都是"没用对 tokenizer”。