トークン カウンター

文章を貼り付けるか入力すると、文字数、単語数、そして OpenAI の 2 つのエンコーディングによる正確なトークン数がその場で更新されます。o200k_base は GPT-4o、GPT-4.1、o シリーズの推論モデルが使うもので、cl100k_base は GPT-4 と GPT-3.5 が使っていた旧エンコーディングです。同じ文章でも両者で数パーセント違うことが多いため、両方を表示しています。近似ではなく本物の BPE トークナイザーを動かしているので、API の請求と同じ数字になります。

Claude と Gemini はブラウザーで動くトークナイザーを提供していないため、その値は推定であり、画面にも推定と明記しています。ラテン文字は約 3.5 文字で 1 トークン、日本語・韓国語・中国語は約 1.5 文字で 1 トークンという単純な目安を使います。コードや特殊な書式、複数言語が混ざる文章では 20% 以上ずれることがあるので、おおまかな予算の見積もりに使い、正確な値は API 応答の usage フィールドで確認してください。

トークン数は、プロンプトがコンテキスト ウィンドウに収まるか、リクエストがいくらかかるか、回答に残る余地がどれだけかを決めます。数字の下の色付きチップは、トークナイザーが先頭 200 トークンをどう区切っているかを示します。一般的な英単語はたいてい 1 トークンですが、日本語の 1 文字は 2〜3 トークンになることが多く、同じ文書が日本語だと高くなる理由がここにあります。長い URL、base64 の塊、繰り返しの空白など、プロンプトを膨らませている要素もチップを見ればすぐ分かります。

すべての計算はローカルで行います。トークナイザーの辞書は最初に入力したときに一度だけダウンロードされ(それぞれ数 MB)、その後は文章がページの外に出ることはありません。機密のプロンプトや社内文書を貼り付けても安全です。100 万文字を超える入力はエンコード中にタブが固まるため受け付けないので、先に分割してください。