Token 计数器 — 适用于 GPT、Claude、Gemini 和 Llama
精确统计 OpenAI 模型的 token 数,估算 Claude、Gemini 和 Llama 的 token 数,查看费用,并直观看到文本如何被切分成 token。
按模型系列统计的 token 数
| 分词器 | Token 数 | 类型 |
|---|---|---|
OpenAI o200k_base GPT-4o、GPT-4.1、GPT-5.x、o 系列、gpt-oss(GPT-6 为推测) | ... | 精确 |
OpenAI cl100k_base GPT-4、GPT-3.5 Turbo、text-embedding-3 | ... | 精确 |
Claude(Opus 4.7 及之后) Claude Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5、Opus/Sonnet 5、Opus 4.7+ | ... | 估算 |
Claude(Sonnet 4.6 及更早) Claude Sonnet 4.6、Haiku 4.5 及更早版本 | ... | 估算 |
Gemini / Gemma Gemini 2.5 至 4、Gemma | ... | 估算 |
Llama 3 Llama 3.x | ... | 估算 |
Mistral(Tekken) Mistral Large/Medium/Small、Codestral | ... | 估算 |
DeepSeek DeepSeek V3/V4、R1 | ... | 估算 |
Qwen Qwen 2.5 / 3 / 3.5 | ... | 估算 |
Grok Grok 4.x | ... | 估算 |
只有 OpenAI 以浏览器可运行的形式公开了分词器。其他系列根据精确计数估算(将鼠标悬停在某一行上可查看方法)。如需 Claude 或 Gemini 的精确计数,请使用对应服务商免费的 token 计数 API 接口。
这段文本的费用
≈ 0 个 token(估算,Claude(Opus 4.7 及之后))· 占 1,000,000 token 上下文窗口的 <0.1%
Anthropic 官方标价,截至 2026-10-16。来源。如需计算整体工作负载,请使用LLM API 费用计算器。
Token 可视化
每种颜色代表一个 token(悬停可查看其 ID)。包含多个 ID 的块是一个被拆分到多个 token 中的字符,这在表情符号和中日韩文本中很常见。
使用开源的 tiktoken 词表文件,完全在你的浏览器中分词。你的文本绝不会被发送到任何地方。 浏览全部免费工具.
发现问题,或者觉得哪里可以更好?每条消息我们都会阅读,并尽快修复。
这款 Token 计数器会显示你的文本在 GPT、Claude、Gemini、Llama 等大语言模型中占用多少 token——因为 API 价格、上下文窗口和速率限制都是按 token 而不是按词计算的。粘贴一段提示词或整篇文档,就能得到 OpenAI 当前两种分词器的精确计数:o200k_base(GPT-4o、GPT-4.1、GPT-5.x)和 cl100k_base(GPT-4、GPT-3.5 Turbo),以及这段文本在你所选模型下作为输入或输出的费用。
其他模型系列的计数是估算值,工具在每一行都会注明。Anthropic、Google 和 xAI 没有以网页可运行的形式公开它们的分词器,所以这些数字是根据各服务商自己公布的比例,从精确的 OpenAI 计数推算出来的。可视化工具会给每个 token 着色,让你看清为什么表情符号、代码和非英文文本比普通英文更费 token。一切都在本地运行:分词器文件一次性加载到你的浏览器中,你的文本从不离开浏览器。
使用方法
- 粘贴或输入文本。计数会随输入实时更新,超长文档会稍有延迟。
- 先看顶部的精确 GPT 计数,再看按模型系列列出的表格。标为“估算”的行是近似值;鼠标悬停在行上可查看计算方法。
- 选择一个模型,查看该文本作为输入和输出的费用,以及它占用了多少上下文窗口。
- 滚动到 token 可视化区域,在 o200k_base 和 cl100k_base 之间切换,比较它们如何切分同一段文本。打开“Token ID”可查看模型实际接收的数字。
- 用“复制计数”把摘要粘贴到工单或电子表格中。
常见问题
一个词大约是多少个 token?
对于普通英文文章,使用 OpenAI 的 o200k_base 分词器时,每个词约 1.3 个 token,或者说每个 token 约 4 个字符。常见的短词各占一个 token;长词或罕见词会被拆成几个。代码、数字、网址和大多数非英语语言每个词会用更多 token。工具会在词数下方显示你文本实际的 token/词比例。
Claude 的 token 计数是精确的吗?
不是,并且已标注为估算值。Anthropic 的分词器没有公开。Anthropic 表示,随 Claude Opus 4.7 推出的分词器(Claude Fable 5.1、Opus 5.5、Sonnet 5.5 和 Haiku 5.5 均使用它)生成的 token 比之前的多约 30%,100 万 token 约可容纳 555,000 个英文单词,而之前为 750,000 个。估算值就是把这个比例应用到精确的 cl100k_base 计数上。如需精确数字,可以用你的文本调用 Anthropic 免费的 token 计数接口(POST /v1/messages/count_tokens)。
为什么表情符号和中文、日文文本会用掉这么多 token?
现代分词器基于 UTF-8 字节工作。频繁出现的字节序列(主要是英文单词和常见代码)有自己的 token;较罕见的内容则被拆成更小的片段,甚至单个字节。大多数表情符号占 4 个字节,需要 1 到 3 个 token,肤色或性别修饰符还会再多占一些。o200k_base 为非英文文字准备的 token 比 cl100k_base 多得多,所以同一句中文或印地语在 GPT-4o 及之后的模型上明显比在 GPT-4 上便宜。可视化工具会把这类切分显示为包含多个 token ID 的块。
o200k_base 和 cl100k_base 有什么区别?
它们是 OpenAI 当前的两种分词器。cl100k_base 约有 100,000 个 token,用于 GPT-4、GPT-3.5 Turbo 和 text-embedding-3 系列模型。o200k_base 约有 200,000 个 token,用于 GPT-4o、GPT-4.1、GPT-5.x 和 o 系列推理模型;gpt-oss 使用它的一个变体。更大的词表主要对非英文文本和代码有帮助,通常能生成更少的 token。
API 统计的 token 会比这个工具显示的多吗?
通常每次请求会多几个。聊天 API 会给每条消息加上角色标记,增加少量 token;系统提示词、工具定义、之前的对话轮次以及推理 token 也都会计费。图片、音频和文件另行计价。本工具统计的是你粘贴的原始文本,也就是你能控制的那部分。
我的文本会被发送到服务器吗?
不会。分词器的词表文件只需下载到你的浏览器一次(约 3 MB),所有计数都在你的设备上完成。页面加载后即使断开网络,计数器也能继续工作。
为什么同一段文本在不同模型中的 token 数不同
每个模型系列都训练了自己的分词器:一份固定的文本片段词表,从模型的训练数据中学习得来。在一个词表里是一个 token 的词,在另一个词表里可能是三个。对普通英文来说差异不大,但对代码、小语种、表情符号和长数字来说差异很大。
词表大小是主要因素。GPT-4 的 cl100k_base 约有 100,000 个条目;GPT-4o 及之后的模型使用约 200,000 个条目的 o200k_base;Gemini 的 SentencePiece 词表约有 256,000 个;Llama 3 使用基于 cl100k 构建的 128,000 条目词表。词表越大,每句话所需的 token 通常越少,尤其是英文以外的语言;但服务商也会出于质量考虑更换分词器。Anthropic 的新分词器生成的 token 反而比旧的多,而不是更少。
这对比较费用很重要。如果两个模型每百万 token 的价格相同,但其中一个处理你的文本需要多 30% 的 token,那它对你来说就贵了 30%。正因如此,本站的 LLM API 费用计算器可以按分词器调整计数。
各估算值是怎么得出的
• OpenAI o200k_base 和 cl100k_base:精确值,使用与 OpenAI tiktoken 库相同的词表文件。OpenAI 尚未公布 GPT-6 的分词器;o200k_base 是最接近的公开分词器,并按此标注。
• Claude(Opus 4.7 及之后,包括 Fable 5.1、Opus 5.5、Sonnet 5.5 和 Haiku 5.5):cl100k_base 计数乘以 1.35,依据是 Anthropic 关于新分词器产生的 token 多约 30%、100 万 token 约容纳 555,000 个英文单词(之前为 750,000 个)的说明。
• Claude Sonnet 4.6、Haiku 4.5 及更早版本:采用 cl100k_base 计数。对于英文文章,Anthropic 的旧分词器与它非常接近。
• Gemini 和 Gemma:采用 o200k_base 计数。Google 给出的英文约为每 token 4 个字符,与 o200k_base 一致。
• Llama 3:采用 cl100k_base 计数,因为 Llama 3 的词表包含 cl100k 的全部词表,外加 28,000 个主要用于其他语言的 token。
• Mistral、DeepSeek、Qwen 和 Grok:采用 o200k_base 计数,因为它们都使用规模相近的大型字节级 BPE 词表。对于英文,这些估算值与真实计数的偏差大约在 10% 到 15% 以内;对于代码和非英文文本,误差可能更大。
节省 token 的实用方法
发送 JSON 前先压缩。缩进和换行也算 token,格式化后的 JSON 比同样数据写成一行可能多用三分之一的 token;本站的 JSON 格式化工具一键即可压缩。字段名在每条记录中都会重复,所以对于大表格,CSV 往往比 JSON 更省。
把固定不变的指令放在前面,变化的部分放在最后。服务商会缓存重复的提示词前缀,缓存命中只按输入价格的一小部分计费(在当前 OpenAI、Anthropic 和 Google 模型上不超过正常输入价格的 10%),但前提是各次请求的提示词开头完全相同。
精简对话历史。聊天应用每一轮都会重新发送整个对话,所以一个 20 条消息的对话比 20 个单独的问题贵得多。旧的对话轮次不再重要时,就把它们总结或删掉。
删除不需要让模型看到的个人数据。它既占 token 又带来风险;本站的 PII 脱敏工具会把它替换为简短的占位符,并在回复中还原。
相关免费工具
- 大模型 API 费用计算器 — 在 40 多个模型间对比你的用量成本,计入缓存、批量折扣、长上下文分档和推理 token。价格均注明来源和日期。
- 字数统计 — 统计词数、字符数、句数和阅读时间,输入时实时检查 X、LinkedIn、Instagram、YouTube、SEO 和短信的字数限制。
- AI 提示词 PII 脱敏 — 在把文本粘贴给 AI 之前,用占位符替换邮箱、电话号码、卡号、API 密钥和姓名,并在 AI 回复中还原。
- JSON 格式化 — 格式化、压缩和校验 JSON,解析错误精确到行和列。在浏览器中运行,无需上传。
- LLM 显存计算器 — 算出本地大模型在你选择的量化和上下文长度下需要多少显存,你的 GPU 或 Mac 能否装下,以及运行速度有多快。