トークンとは?ChatGPTなどのAIが文字を数える単位と、料金・上限との関係

結論:AIが文章を処理するときの「ひとかたまり」の単位

ChatGPTの料金や上限の説明を読むと、「トークン」という言葉が出てきます。文字数のことだと思われがちですが、少し違います。この記事では、トークンの意味と、仕事で使う人がどこまで気にすればいいかを説明します。

目次

結論:AIが文章を処理するときの「ひとかたまり」の単位

結論:AIが文章を処理するときの「ひとかたまり」の単位

OpenAIのヘルプでは、トークンは、AIのモデルが文章を処理するときに使う単位で、1文字、単語の一部、単語全体、句読点などを表す、と説明されています(参考:トークンの理解とカウント|OpenAI Help Center)。AIは、送られた文章をまずトークンに分け、トークンを読んで、トークンを1つずつ作りながら答えを返します。

文字数とは同じではない

文字数とは同じではない

トークンの数は、文字数や単語数とは一致しません。OpenAIは、英語の場合のおおよその目安として、1トークンは約4文字、約0.75単語としています。ただし、これは英語の目安で、同じ文章でも、モデルや言語によってトークンの数は変わる、とされています。

日本語の文章が何トークンになるかは、英語の目安では計算できません。「文字数のおおよそ何倍」と決めつけず、必要なときは道具で数えて確かめます(数え方は後で説明します)。

入力・出力・推論、3種類のトークン

入力・出力・推論、3種類のトークン
  • 入力トークン:AIに渡した文章や資料の分
  • 出力トークン:AIが作った答えの分
  • 推論トークン:考えてから答えるタイプのモデルが、答えを出す前に内部で使う分。画面には表示されませんが、出力の量として数えられます

そのため、表示された答えが短くても、思ったより多くのトークンが使われていることがあります。

トークンが関係する2つの場面

トークンが関係する2つの場面

1. 一度に扱える量(コンテキストウィンドウ)

AIが1回に扱える量は、トークンの数で決まっています。この上限をコンテキストウィンドウといいます。長い資料を貼りすぎると上限に近づき、答えの正確さが落ちたり、最初の話が抜けたりします。OpenAIは、入力が大きすぎるときは、短くする、重なっている部分を消す、分けて渡す、先に要約する、といった方法を挙げています。

2. APIの料金

APIでAIを使う場合、料金はトークンの数で決まり、入力・出力などの種類ごとに単価が違います。OpenAIは、100万トークンあたりの単価が安くても、作業全体で使うトークンの数が多ければ、合計は安くならないとしています。なお、ChatGPTとAPIは請求の仕組みが別です(参考:ChatGPT および API プラットフォームの請求管理)。

チャットの画面で使う人は、どこまで気にする?

チャットの画面で使う人は、どこまで気にする?

ChatGPTやGeminiをチャットの画面で使うだけなら、トークンの数を毎回数える必要はありません。料金はプランで決まっているからです。気にしたいのは、「長い資料を一度に貼りすぎない」「話題が変わったら新しいチャットにする」の2つです。プランごとの回数の上限は、ChatGPTの無料版の制限とは?で説明しています。

トークンの数を確かめる方法

トークンの数を確かめる方法

OpenAIは、文章がどうトークンに分かれるかを確かめられる「Tokenizer(トークナイザー)」という道具を案内しています。文章を貼ると、トークンの数と区切りが表示されます。APIを使う人は、リクエストのあとに返ってくる使用量の情報や、使用量の画面で、実際に使ったトークンの数を確かめられます。

まとめ|トークンは、AIの「数える単位」

まとめ|トークンは、AIの「数える単位」

トークンは、AIが文章を処理するときの単位で、文字数とは一致しません。言語やモデルで数が変わり、一度に扱える量やAPIの料金を決める単位になっています。チャットの画面で使うだけなら数える必要はほとんどなく、長い資料を一度に貼りすぎないことを意識すれば十分です。

あわせて読みたい

  • URLをコピーしました!
目次