トークンカウンター — GPT、Claude、Gemini、Llama 対応
OpenAI のモデルは正確に、Claude、Gemini、Llama は推定でトークン数をカウントし、料金を確認して、テキストがトークンに分割される様子を見られます。
モデルファミリー別のトークン数
| トークナイザー | トークン数 | 種類 |
|---|---|---|
OpenAI o200k_base GPT-4o、GPT-4.1、GPT-5.x、o シリーズ、gpt-oss(GPT-6 も同じと想定) | ... | 正確 |
OpenAI cl100k_base GPT-4、GPT-3.5 Turbo、text-embedding-3 | ... | 正確 |
Claude(Opus 4.7 以降) Claude Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5、Opus/Sonnet 5、Opus 4.7 以降 | ... | 推定 |
Claude(Sonnet 4.6 以前) Claude Sonnet 4.6、Haiku 4.5 以前 | ... | 推定 |
Gemini / Gemma Gemini 2.5〜4、Gemma | ... | 推定 |
Llama 3 Llama 3.x | ... | 推定 |
Mistral(Tekken) Mistral Large/Medium/Small、Codestral | ... | 推定 |
DeepSeek DeepSeek V3/V4、R1 | ... | 推定 |
Qwen Qwen 2.5 / 3 / 3.5 | ... | 推定 |
Grok Grok 4.x | ... | 推定 |
ブラウザで実行できる形でトークナイザーを公開しているのは OpenAI だけです。その他は正確なカウントから推定しています(行にカーソルを合わせると方法が表示されます)。Claude や Gemini の正確なトークン数が必要な場合は、各社が無料で提供しているトークン数カウント API を使ってください。
このテキストのコスト
≈ 0 トークン(推定、Claude(Opus 4.7 以降)) · 1,000,000 トークンのコンテキストウィンドウの <0.1%
2026-10-16 時点の Anthropic の定価。出典。ワークロード全体についてはLLM API コスト計算ツールを使ってください。
トークンの可視化
色ごとに 1 トークンです(カーソルを合わせると ID が表示されます)。複数の ID を持つブロックは、1 文字が複数のトークンに分割されたもので、絵文字や CJK のテキストでよく見られます。
オープンソースの tiktoken ランクファイルを使い、すべてブラウザ内でトークン化します。テキストがどこかに送信されることはありません。 すべての無料ツールを見る.
不具合や改善できそうな点を見つけましたか?いただいたメッセージはすべて読み、すぐに対応します。
このトークンカウンターは、テキストが GPT、Claude、Gemini、Llama などの大規模言語モデルで何トークンになるかを表示します。API の料金、コンテキストウィンドウ、レート制限はすべて単語ではなくトークンで計られるからです。プロンプトや文書全体を貼り付けると、OpenAI の現行の 2 つのトークナイザー、o200k_base(GPT-4o、GPT-4.1、GPT-5.x)と cl100k_base(GPT-4、GPT-3.5 Turbo)での正確なカウントと、選んだモデルでそのテキストを入力または出力した場合の料金がわかります。
他のモデルファミリーのカウントは推定値であり、ツールはすべての行にその旨を表示しています。Anthropic、Google、xAI はトークナイザーを Web ページで実行できる形で公開していないため、その数値は、各社が公表している比率を使って OpenAI の正確なカウントから算出しています。可視化では各トークンに色を付けるので、絵文字、コード、英語以外のテキストが通常の英語より多くのトークンを使う理由がわかります。すべてローカルで動作します。トークナイザーのファイルは一度だけブラウザに読み込まれ、テキストがブラウザの外に出ることはありません。
使い方
- テキストを貼り付けるか入力します。カウントは入力に合わせて更新されます(非常に長い文書では少し遅れます)。
- 上部の GPT の正確なカウントを確認してから、ファミリーごとの表を見ます。「推定」と表示された行は近似値で、行にホバーすると計算方法がわかります。
- モデルを選ぶと、テキストを入力・出力した場合の料金と、コンテキストウィンドウのどれくらいを占めるかがわかります。
- トークンの可視化までスクロールし、o200k_base と cl100k_base を切り替えて、同じテキストの分割のされ方を比べます。「トークン ID」をオンにすると、モデルが受け取る数値が表示されます。
- 「カウントをコピー」で、チケットやスプレッドシートに概要を貼り付けられます。
よくある質問
1 単語は何トークンですか?
通常の英文なら、OpenAI の o200k_base トークナイザーで 1 単語あたり約 1.3 トークン、つまり 1 トークンあたりおよそ 4 文字です。よく使う短い単語は 1 単語で 1 トークン、長い単語やまれな単語は複数に分割されます。コード、数字、URL、そして英語以外のほとんどの言語では、1 単語あたりのトークン数が多くなります。ツールは、単語数の下にテキストの実際の 1 単語あたりのトークン数を表示します。
Claude のトークン数は正確ですか?
いいえ。推定値であることを明示しています。Anthropic のトークナイザーは公開されていません。Anthropic によると、Claude Opus 4.7 で導入されたトークナイザー(Claude Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5 で使用)は以前のものより約 30% 多くのトークンを生成し、100 万トークンに収まる英単語は、以前の 75 万語に対して約 55 万 5,000 語です。推定値は、その比率を cl100k_base の正確なカウントに適用したものです。正確な数が必要な場合は、Anthropic の無料のトークンカウント用エンドポイント(POST /v1/messages/count_tokens)にテキストを送ってください。
絵文字や中国語・日本語のテキストが多くのトークンを使うのはなぜですか?
最近のトークナイザーは UTF-8 のバイト列を処理します。頻出するバイト列(主に英単語やよくあるコード)には専用のトークンがあり、それより珍しいものは、1 バイト単位まで小さく分割されます。ほとんどの絵文字は 4 バイトで 1〜3 トークンを使い、肌の色や性別の修飾子が付くとさらに増えます。o200k_base は cl100k_base よりはるかに多くの英語以外の文字用のトークンを持っているので、同じ中国語やヒンディー語の文でも、GPT-4 より GPT-4o 以降のほうが目に見えて安くなります。可視化では、こうした分割を複数のトークン ID を含むブロックとして表示します。
o200k_base と cl100k_base の違いは何ですか?
OpenAI の現行の 2 つのトークナイザーです。cl100k_base は約 10 万トークンで、GPT-4、GPT-3.5 Turbo、text-embedding-3 モデルで使われています。o200k_base は約 20 万トークンで、GPT-4o、GPT-4.1、GPT-5.x、o シリーズの推論モデルで使われており、gpt-oss はその派生版を使っています。語彙が大きいことは主に英語以外のテキストとコードで効果があり、通常はトークン数が少なくなります。
API では、このツールの表示より多くのトークンが数えられますか?
通常、1 リクエストにつき数トークン多くなります。チャット API は各メッセージをロールのマーカーで包むので数トークン増え、システムプロンプト、ツールの定義、それまでの会話のやり取り、推論トークンにも課金されます。画像、音声、ファイルは別料金です。このツールは貼り付けた生のテキスト、つまり自分で調整できる部分をカウントします。
テキストはサーバーに送信されますか?
いいえ。トークナイザーのランクファイル(約 3 MB)が一度だけブラウザにダウンロードされ、カウントはすべて端末上で行われます。ページの読み込み後にインターネットから切断しても、カウンターは動き続けます。
同じテキストでもモデルによってトークン数が違う理由
モデルファミリーはそれぞれ独自のトークナイザーを学習しています。モデルの学習データから得た、テキストの断片の固定の語彙です。ある語彙では 1 トークンの単語が、別の語彙では 3 トークンになることもあります。違いは通常の英語では小さく、コード、まれな言語、絵文字、長い数字では大きくなります。
最大の要因は語彙のサイズです。GPT-4 の cl100k_base は約 10 万項目、GPT-4o 以降の o200k_base は約 20 万項目、Gemini の SentencePiece の語彙は約 25 万 6,000 項目、Llama 3 は cl100k をもとにした 12 万 8,000 項目の語彙を使っています。語彙が大きいほど、特に英語以外では 1 文あたりのトークン数が少なくなるのが普通ですが、各社は品質上の理由でもトークナイザーを変更します。Anthropic の新しいトークナイザーは、古いものより少なくではなく、多くのトークンを生成します。
これは料金の比較に影響します。2 つのモデルの 100 万トークンあたりの料金が同じでも、一方があなたのテキストに 30% 多くのトークンを必要とするなら、あなたにとっては 30% 高くなります。このサイトの LLM API 料金計算ツールがトークナイザーごとにカウントを調整できるのは、まさにそのためです。
各推定値の算出方法
• OpenAI の o200k_base と cl100k_base:OpenAI の tiktoken ライブラリと同じランクファイルを使った正確な値。OpenAI は GPT-6 のトークナイザーを公開していないため、公開されているもので最も近い o200k_base を、その旨を示して表示しています。
• Claude(Opus 4.7 以降。Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5 を含む):cl100k_base のカウントに 1.35 を掛けた値。新しいトークナイザーは約 30% 多くのトークンを生成し、100 万トークンに収まる英単語は以前の 75 万語に対して約 55 万 5,000 語であるという Anthropic の説明にもとづきます。
• Claude Sonnet 4.6、Haiku 4.5 以前:cl100k_base のカウント。Anthropic の古いトークナイザーは、英文ではこれに近い値になります。
• Gemini と Gemma:o200k_base のカウント。Google は英語で 1 トークンあたり約 4 文字としており、o200k_base と一致します。
• Llama 3:cl100k_base のカウント。Llama 3 の語彙は、cl100k の語彙に主に他言語用の 2 万 8,000 トークンを加えたものです。
• Mistral、DeepSeek、Qwen、Grok:o200k_base のカウント。いずれも同程度のサイズの、大きなバイトレベル BPE の語彙を使っています。英語では、これらの推定値は実際のカウントの約 10〜15% 以内に収まると見込まれますが、コードや英語以外のテキストでは誤差が大きくなることがあります。
トークンを節約する実践的な方法
JSON は送る前に圧縮(minify)しましょう。インデントや改行もトークンになり、整形した JSON は同じデータを 1 行にしたものより 3 分の 1 多くトークンを使うことがあります。このサイトの JSON 整形ツールならワンクリックで圧縮できます。フィールド名はレコードごとに繰り返されるので、大きな表では JSON より CSV のほうが安くなることがよくあります。
変わらない指示を先に、変わる部分を最後に置きましょう。各社は繰り返されるプロンプトの先頭部分をキャッシュし、キャッシュヒットには入力料金のごく一部(現在の OpenAI、Anthropic、Google のモデルでは通常の入力料金の 10% 以下)を課金します。ただし、これはリクエスト間でプロンプトの冒頭が同一の場合に限ります。
会話の履歴を削りましょう。チャットアプリは毎回会話全体を送り直すので、20 件のメッセージのスレッドは、20 個の別々の質問よりはるかに高くつきます。古いやり取りは、不要になったら要約するか削除しましょう。
モデルに見せる必要のない個人情報は取り除きましょう。トークンを消費し、リスクも生みます。このサイトの個人情報マスキングツールは、個人情報を短いプレースホルダーに置き換え、返答の中で元に戻します。
関連する無料ツール
- LLM API 料金計算 — キャッシュ、バッチ割引、長文コンテキストの料金区分、推論トークンを考慮して、40 以上のモデルで自分のワークロードのコストを比較できます。価格は出典と日付付き。
- 文字数カウント — 単語数、文字数、文の数、読了時間を数え、入力しながら X、LinkedIn、Instagram、YouTube、SEO、SMS の上限を確認できます。
- AI プロンプト用 個人情報マスキング — AI にテキストを貼り付ける前に、メールアドレス、電話番号、カード番号、API キー、名前をプレースホルダーに置き換え、返答で元に戻せます。
- JSON 整形 — JSON を整形、圧縮(minify)、検証し、解析エラーは行と列で位置を示します。ブラウザ上で動作、アップロード不要。
- LLM VRAM 計算 — 量子化とコンテキスト長に応じてローカル LLM に必要な GPU メモリを計算し、手持ちの GPU や Mac に収まるか、どれくらいの速度で動くかを確認できます。