# トークン（生成AI）とは

LLMが文章を処理するときの単位で、文字、語の一部、語、記号のいずれにもなります。APIの料金とコンテキストウィンドウの上限はトークンの数で規定され、レート制限もトークンの数とリクエスト数で設定されます。費用は、使用するモデルで自社の文章のトークン数を計測して見積もります。

## トークン（生成AI）とは

トークン（生成AI）は、LLM（Large Language Model、大規模言語モデル）が文章を処理するときの単位です。
LLMは文章を、トークンという断片に分割したうえで処理します。
入力もトークンの並びとして受信し、出力もトークンの並びとして生成します。
1つのトークンは、[1文字、語の一部、1語、記号のいずれにもなります](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)。
料金やコンテキストウィンドウの上限も、このトークンの数で計算します。
同じ文章でも、モデル、分割の規則、言語によってトークンの数は異なります。

![指示文、問合せの文章、添付した規程が入力のトークン、回答案が出力のトークンとして計上され、それぞれのトークン数と単価の積の合計が1件の費用になることを示す図](https://media.marketing.kdotdev-tunnel.org/glossary-llm-token-2c3812c970886552b5ce92c3dcf9d869019e2fac4b3deac6ecd1bff94dac22ea.png)

たとえば社内の問合せに回答案を作成させる仕組みで、1件あたりの費用を見積もるとします。
問合せの文章、添付した規程、AIへの指示文が入力のトークンです。
生成された回答案が出力のトークンです。
それぞれの数と単価の積の合計が1件の費用になります。
電気料金がキロワット時で計算されるように、生成AIのAPIの料金はトークンの数で計算されます。

APIキーやログインに使用するアクセストークンも同じトークンという名前ですが、これは利用者を確認するための認証情報で、文章の単位とは別のものです。
会議や資料でトークンという語が登場したら、料金や量の話か、認証の話かを文脈で区別します。

## トークンの数で決定される項目

![1件のトークン数は、単価との積が料金になり、上限との比較でコンテキストウィンドウに収容できるかが判明し、1分あたりの合計がレート制限の対象になることを示す図](https://media.marketing.kdotdev-tunnel.org/glossary-llm-token-5baec7c59de85960f625bbb0f419c37a438719f583491a54495a92c27be2bd5a.png)

| 項目 | 内容 |
|---|---|
| 料金 | 入力と出力のトークン数とそれぞれの単価の積。単価は100万トークンあたりで示されることが多い |
| コンテキストウィンドウ | 1回の処理で参照できる量の上限は、トークンの数で規定される |
| レート制限 | 1分あたりに処理できるトークン数やリクエスト数の上限。超過すると、たとえばAnthropicのAPIは[エラーを返却して一時的に処理を拒否する](https://platform.claude.com/docs/en/api/rate-limits) |

チャットの製品の月額定額の契約では、利用者は通常トークンの数を意識しません。
トークンの数が直接の費用になるのは、APIで自社の仕組みに統合する場合や、利用量に応じて課金される契約の場合です。

## 費用が想定を超過する原因

### 出力の単価は入力より高い

[OpenAI](https://platform.openai.com/docs/pricing)、[Anthropic](https://platform.claude.com/docs/en/about-claude/pricing)、[Google](https://ai.google.dev/gemini-api/docs/pricing)の2026年11月時点の料金表では、文章を出力するモデルの多くは出力の単価が入力の5〜6倍で、モデルによって4〜8倍程度です。
要約や分類のように出力が短い用途と、文書の作成のように出力が長い用途では、同じ件数でも費用の構造が異なります。

### 会話の履歴は毎回入力として計上される

会話を継続する仕組みでは、過去のやり取りも次の処理の入力に含まれます。
OpenAIのAPIでは、提供者側に会話を保存して前の応答を参照させる方式でも、[それまでの入力のトークンはすべて入力として課金されます](https://platform.openai.com/docs/guides/conversation-state)。
やり取りが長くなるほど、1往復あたりの入力のトークンが増加します。

### 画面に表示されない入力と出力も計上される

AIへの共通の指示文、AIに使用させるツールの定義、検索で取得した文章も、入力のトークンとして計上されます。
添付した画像やPDFも、提供者やモデルごとの方法で[トークンに換算されて計上されます](https://platform.claude.com/docs/en/build-with-claude/vision)。
回答の前に内部で思考を生成する推論モデルでは、思考のトークンも出力として課金されます。
そのため短い回答でも、[表示された文章より多くのトークンを使用することがあります](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)。

![画面に表示されるのは質問と回答だけだが、共通の指示文、ツールの定義、会話の履歴、添付、推論モデルの思考も表示されないまま計上されることを示す表](https://media.marketing.kdotdev-tunnel.org/glossary-llm-token-e567ba2717bb976384a982dd3d838e711d97e4f464db736ae924ba85b6f8def7.png)

### 言語と分割の規則でトークンの数が変化する

Petrovらによる2023年のNeurIPSの研究では、同じ内容の文章を各言語に翻訳して比較すると、言語によってトークンの数に[最大で15倍の差](https://proceedings.neurips.cc/paper_files/paper/2023/hash/74bb24dca8334adce292883b4b651eda-Abstract-Conference.html)がありました。
分割の規則はモデルごとに異なり、モデルの更新で変更されることもあります。
Anthropicは、Claude 4.7以降のモデルが採用した分割の規則では、同じ文章のトークン数が[約30%多くなる](https://platform.claude.com/docs/en/about-claude/pricing)と説明しています。
日本語1文字が何トークンになるかを固定の値として見積もりに使用せず、使用するモデルで計測します。

## 費用の見積もりの手順

見積もりは、実際の文章のトークン数を、使用するモデルの計数の機能で計測することから開始します。

1. 代表的な入力の例を用意し、使用するモデルのトークン計数の機能で計測する
2. 試行して、出力と思考のトークン数を利用の記録から確認する
3. 入力のトークン数×入力の単価＋出力のトークン数×出力の単価で、1件あたりの費用を計算する
4. 会話なら履歴の分を含めた1件あたりの費用と月間の件数の積に、割引と割増の条件を反映する
5. 期間限定の価格や改定の予告があれば、改定後の単価でも計算する

![入力の例を使用するモデルで計測し、試行して出力を確認し、単価との積で1件の費用を計算し、件数と割引・割増を反映して月の費用を計算する手順を示す図](https://media.marketing.kdotdev-tunnel.org/glossary-llm-token-f8033e1ab29331e33025b90b5cae69bdfdc01bf2679a22679d2f20841299cf60.png)

例の件数は、入力の長さのばらつきを把握できる程度で十分です。
入力の数だけでは出力の量を予測できないため、手順2の試行は省略しません。
別のモデルで計測したトークン数を流用すると、分割の規則が異なるため見積もりに誤差が生じます。

### 費用の計算の例

仮に、入力が1件3,000トークン、出力が500トークン、月に1万件の処理を、入力が100万トークンあたり2ドル、出力が10ドルのモデルで処理するとします。
単価は2026年11月3日時点のAnthropicの[料金表](https://platform.claude.com/docs/en/about-claude/pricing)にあるClaude Sonnet 5.5の値です。

![月1万件、入力の単価が100万トークンあたり2ドルの場合、入力が1件3,000トークンなら入力の費用は月60ドル、10万トークンなら月2,000ドルになることを示す縦棒グラフ](https://media.marketing.kdotdev-tunnel.org/glossary-llm-token-c03bf96e4ceb04ae43a862db6e4499a2c1e53aea6a8ffad1770ae36ccb18b12a.png)

- 入力: 3,000 × 1万件 × 2ドル ÷ 100万 = 60ドル
- 出力: 500 × 1万件 × 10ドル ÷ 100万 = 50ドル
- 月の合計: 110ドル

同じ件数でも、1件に数十ページの資料を添付して入力が10万トークンになれば、入力だけで月に2,000ドルになります。
単価が同じなら、件数よりも1件あたりのトークン数が費用の桁を左右します。

### 費用の削減の方法

- プロンプトキャッシュ。同じ指示文や資料を反復して送信する仕組みで、入力の先頭の再利用に割引を適用する機能。割引率と最小の長さはモデルごとに、書き込み時の割増は保持期間ごとに[異なる](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)
- バッチ処理。即時の応答が不要な大量の処理を一括で送信する方式で、Anthropicでは[入力と出力の単価が半額](https://platform.claude.com/docs/en/about-claude/pricing)になる

モデルは単価だけでなく、自社の文章での1件あたりの総額で選択します。
単価が低くても、同じ文章のトークン数が多いモデルや、出力が長くなるモデルでは、[総額が高くなることがあります](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)。

## トークンの数の管理が必要な利用と不要な利用

| 利用の形 | 扱い |
|---|---|
| 社員がチャットの製品を月額定額の契約で利用し、上限への到達時に利用が停止する | 管理は不要 |
| 月額定額の契約でも、上限への到達後に従量課金に移行する | 移行後の単価と、月の予算の上限を設定する |
| APIに統合し、試算した月の費用が予算に対して少額 | 1件あたりの費用を試行で確認し、月の予算の上限を設定する |
| 試算した月の費用が予算の大きな割合を占める、または会話やAIエージェントで1件の処理が長い | 見積もりの手順を実施し、プロンプトキャッシュとバッチ処理を適用したうえで、入力を必要な部分に限定する。それでも予算を超えるなら単価の低いモデルを自社の実例で評価する |
| 処理の遅延や停止が業務を停止させる | レート制限と、上限を超過したときの再試行の費用も確認する |

![月額定額のチャットの製品なら管理は不要で上限到達時の扱いを確認する判断の図。試算した月の費用が予算の大きな割合か、会話やAIエージェントで1件の処理が長時間なら、キャッシュ・バッチ・入力の削減の後に単価の低いモデルを評価し、それ以外は月の予算の上限を設定する](https://media.marketing.kdotdev-tunnel.org/glossary-llm-token-c8a95f87f1579af681aa53d1784c139d6eab98eeee66f08d8d1cf95a96649b5e.png)

AIエージェントは1件の依頼で処理を何度も反復するため、同じ件数でも1回の質問応答より多くのトークンを使用することがあります。

## よくある誤解

### 日本語は1文字が1トークンである

社内の資料の文字数からトークン数を換算する表は作成せず、モデルを変更するたびに再計測します。
同じ提供者でも、モデルの世代で分割の規則が変更されることがあるためです。

### 画面に表示された回答が短ければ費用も少額である

費用は、表示された文章ではなく、利用の記録に保存された入力と出力のトークン数に依存します。
請求の確認では、画面ではなく提供者の管理画面の利用の記録を参照します。