マイクロンのテクノロジー用語集

トークン化

ノートパソコンのキーボード上のAIチャットインターフェース

トークン化は、自然言語処理 (NLP)および生成AIにおける基礎的なステップです。大規模言語モデル(LLM)が テキストを扱う前に、トークナイザーがそのテキストを「トークン」と呼ばれる個別の単位に変換します。   プロンプトや回答に含まれるトークン数は、モデルが処理しなければならない作業量、 ひいては回答の生成に必要な計算量、メモリ、 コストに影響します。

トークンとは?

AIのトークン化において、トークンとはAIモデルが 処理できる小さなデータ単位を意味します。テキストの場合、トークンは単語全体、単語の一部、あるいは 1文字や句読点となる場合があります。たとえば、「tokenization」という単語は、 トークナイザーによっては、1つのトークンとして扱われたり、あるいは 「token」と「ization」のような小さな断片に分割されたりします。各トークンには数値IDが割り当てられます。 これにより、モデルは一貫した方法でその言語の断片を認識し、 処理することができます。

トークンは、AIモデルが入出力を測定する単位であるという点で重要です。   すべてのモデルにはコンテキストウィンドウ(一度に考慮できる トークンの最大数)が存在します。そのため、トークン化によって、どれだけのテキストが その制限内に収まるかが決まります。短い文章であれば数トークンしか使用しない場合もありますが、 長い文書や詳細なプロンプトでは数千トークンを使用することもあります。モデルが処理する トークンが多いほど、入力を解析し出力を生成するために必要な作業量が 増加します。

トークン化とは?

トークン化とは、テキストをトークンに変換し、 AIモデルが数学的に処理可能な数値IDを割り当てるプロセスです。 一部のマルチモーダルモデルでは、画像、音声、 動画に対しても同様のアプローチを適用し、トークンのような単位に変換しますが、その手法は モダリティやモデルアーキテクチャーによって異なります。人間が使う言語を 直接読み取るのではなく、AIモデルはトークン化を用いて、未加工の入力を 解析、比較、生成が可能な構造化されたシーケンスへと変換します。これにより、 トークン化は人間の言語とモデルが計算する際に用いる 数値入力との橋渡しをします。

トークン化はテキスト分類や機械翻訳から感情分析や 質疑応答に至るまで、ほとんどのNLPタスクにおける最初のステップです。   これにより機械 学習モデルは、構造化されていない人間言語を 構造化された機械可読な表現へと変換できるようになります。トークン化の手法の選択は、 モデルが言語やドメインをまたがっていかに効率的に テキストを表現できるかに影響します。同じ内容を表現するのにより多くのトークンを必要とする トークナイザーは、より長いシーケンスを生成するため、計算量、メモリ使用量、 コストが増加します。

トークン化はどのような仕組みで機能するのか?

トークナイザーは前処理コンポーネントの一種であり、通常、 モデルが学習を行う前に、大量のテキストから語彙を学びます。 トークナイザーは入力テキストをサブユニットに分割し、それぞれを数値IDにマッピングして、 そのIDシーケンスを処理のためにモデルへ渡します。出力側では、 トークナイザーはこれと逆の働きをします。モデルによって生成されたトークンIDは、 人間が理解できる言語にデコードされます。その間にある 入力の解釈や応答の生成といったすべての処理は、モデルが担い、 トークナイザーは行いません。

たとえば、トークン化は、 文章をバーコードや機械が読み取れるコードに変換する作業に少し似ています。人間は「the cow jumped over the moon」という文を読んでその言葉を直接理解できますが、AIモデルは それを処理できるよう段階的に準備する必要があります。まず、テキスト正規化の過程で、 トークナイザーは文字コードや文字間隔などの テキスト形式を標準化します。大文字・小文字や句読点には意味があるため、 最近の多くのLLMトークナイザーはそれらをそのまま保持します。次に、トークン 抽出の過程で、文は「the」、「cow」、「jumped」、「over」、「the」、 「moon」といった、より小さな断片に分割されます。その後、語彙マッピングにおいて、 各トークンはモデルの語彙に含まれる数値IDに紐づけられます。   これらのID自体には意味がありませんが、 モデルが各言語要素を認識し処理するための一貫した方法を付与します。  

トークン化が完了すると、モデルが処理を引き継ぎます。まず、 各トークンIDを埋め込みベクトル(学習中に習得した数値のリスト)へと変換し、 その後、単語と文脈との関連性を捉えるために、 複数のレイヤーを通してそれらの表現を洗練させます。たとえば、 「the cow jumped over the moon(牛が月を飛び越えた)」というフレーズは、 童謡「Hey Diddle Diddle(ヘイ・ディドル・ディドル)」に由来します。そのため、そのフレーズを 同様の文脈で目にしたモデルは、それを児童文学や韻、あるいは 想像力豊かな言葉と結びつける可能性があります。また、「cow(牛)」という単語が 「farm(農場)」、「animal(動物)」、「milk(牛乳)」、「pasture(牧草地)」といった単語の近くに現れることを発見したモデルは、 それらの概念が関係していることも学びます。

こうしたレイヤーの中では、「アテンション」と呼ばれるメカニズムにより、モデルは 文脈の中で各トークンが他のトークンとどの程度強く関連しているかを重み付けできるようになります。たとえば、 「the cow jumped over the moon(牛が月を飛び越えた)」と「the cow did not jump over the moon(牛が月を飛び越えなかった)」には、同じトークンが多く含まれていますが、「not」というトークンが 文の意味を変えてしまいます。アテンションは、モデルが 応答を生成する際に、その違いを考慮するのに役立ちます。

最後に、モデルはその直前までのすべてのトークンに基づき、次の新しいトークンIDを予測しながら、 一度に1トークンずつ応答を生成します。 デトークン化の過程で、トークナイザーはそれらの出力トークンIDを 読み取り可能なテキストに戻します。誰かが「そのフレーズの出典は?」と尋ねたとします。 モデルは「Hey Diddle Diddle」との関連性を特定し、 「そのフレーズは童謡『Hey Diddle Diddle』から来ています」と回答するかもしれません。 モデルは質問に含まれる単語を見て、 その文脈に合った回答を作成します。簡単に言うと、トークン化は言語を モデルが処理可能な断片に分割し、モデルはそれらの断片を解釈して 新しいトークンを生成します。そして、デトークン化によって出力を 人間が読める言語に戻します。

トークン化パイプラインの主なステップには、以下が含まれます。

  • テキストの正規化:文字エンコーディング、空白の標準化、 アクセント記号の調整など、トークナイザー固有の 任意のクリーンアップ作業。多くのLLMトークナイザーは、大文字と小文字の区別や句読点を保持します。
  • トークンの抽出:ルールベースまたは アルゴリズムに基づくパターンを適用して、テキストを単語やサブワード、文字に分割します。  
  • 語彙マッピング:各トークンに、 事前定義された語彙から一意の数値IDを割り当てること。
  • デトークン化:モデルによって生成された トークンIDを、読み取り可能なテキストに戻すこと。

トークン化自体は、計算負荷の低い処理です。AIシステムにおける 処理の大部分はその後に行われます。モデルが入力トークンを処理して 出力トークンを生成するこうした処理には、AIプロセッサーの近くに配置された 高速かつ大容量のメモリソリューションが 必要です。

トークンの数は なぜAIのパフォーマンスに重要なのか?

モデルが読み書きするすべてのトークンは、計算とデータ の移動を必要とします。AI推論は通常、2つのフェーズで行われます。プリフィルフェーズでは、 モデルがプロンプト内のすべての入力トークンを処理します。これが 応答の開始速度を大きく左右します。デコードフェーズでは、 モデルは一度に1トークンずつ出力を生成します。この速度が、 残りの応答がユーザーに戻される速さを決定します。

デコードフェーズの各ステップでは、プロセッサーが メモリからモデルの重みを読み込む必要があるため、多くの場合、メモリ帯域幅が トークンの生成速度を制限します。また、これまでの計算を繰り返さないよう、モデルは コンテキスト内の各トークンの中間結果を キーバリュー(KV)キャッシュに保存します。このキャッシュは、コンテキスト長や 同時にサービスを提供するユーザーの数に応じて増大します。プロンプトが長くなり、AIエージェントがより多くのステップを連結し、 同時により多くのユーザーが同じインフラストラクチャーを共有するようになると、メモリ容量 と帯域幅がAIパフォーマンスの要となります。マイクロンのメモリおよび ストレージテクノロジーは、AIシステムがプロセッサーにデータを供給し続け、 高いトークンスループットを維持し、学習および推論の全体を通じて より長いコンテキストを処理できるようにします。

一般的なトークン指標には以下が含まれます。

  • コンテキストウィンドウ:モデルが一度に考慮できるトークンの最大数 (プロンプトと応答を含む)。  
  • 初回トークン生成時間(TTFT):ユーザーが 応答の最初の部分が表示されるまでに待つ時間。
  • 1秒あたりのトークン数:モデルが出力を生成する速度 (ユーザー単位、またはシステム全体で測定)。
  • KVキャッシュ:コンテキスト内にある既存のトークンの 中間結果を保持するメモリ。これにより、モデルは再計算の必要がなくなります。  

トークン化はどのような歴史をたどってきたのか?  

トークン化は、単純なルールベースのテキスト分割から 現代のAIの中心に位置する、高度な機械学習の分野へと進化しました。初期の NLPシステムは、テキストをセグメント化するために基本的な単語境界ルールを使用していました。AIモデルが より高性能になるにつれて、より高度な手法が不可欠となりました。

  • 1980~1990年代、ルールベースのNLP: 初期のトークナイザーは空白や句読点のルールに依存しており、英語には有効だとしても、 多言語テキストには限界がありました。
  • 2000年代、統計的手法:確率論的 アプローチにより、特にアジア圏の明確な単語境界を持たない言語において、 より微細なセグメンテーションが可能になりました。
  • 2016年、バイトペアエンコーディング (BPE):もともとはデータ圧縮アルゴリズム として1994年に発表されたBPEは、NLPに応用されたことで、語彙サイズと表現可能な言語範囲の バランスを取った、サブワードのトークン化が可能になりました。  
  • 2018年、トランスフォーマー時代のトークナイザー:トランスフォーマーによる 双方向エンコーダー表現(BERT)と生成的 事前学習済みトランスフォーマー(GPT)モデルは、WordPieceおよびBPEベースの トークナイザーを普及させ、LLMの業界標準を確立しました。
  • 2020年代~現在、マルチモーダルトークン化: トークンベースのアプローチは、テキストの枠を超えて拡大しました。たとえば、Vision Transformerは、 画像を小さなパッチに分割し、モデルがそれを トークンのように扱うことで、今日のマルチモーダルAIシステムの実現を可能にしました。

トークン化には主に どのような種類があるのか?

トークン化にはいくつかの異なる手法が含まれており、それぞれが 異なる言語、タスク、モデルアーキテクチャーに合わせて最適化されています。現代のAIシステム、 特にLLMは、語彙の効率性と言語カバー率の バランスの良さから、主にサブワードトークン化に依存しています。

1. 単語のトークン化

単語のトークン化は、スペースや 句読点の境界に基づいて、テキストを個々の単語に分割します。この手法は、英語のように単語の境界が明確な 言語に対しては高いパフォーマンスを発揮しますが、複合語や分かち書きをしない言語(中国語、日本語など)、 そして辞書にない未知語の処理に苦労します。  

2. 文字単位のトークン化

文字単位のトークン化はテキストを個々の文字に分割し、 非常に小さな語彙数で動作する一方で、より長いシーケンスを生成します。 このアプローチは希少な単語や造語を効果的に処理し、 複雑な表記体系を持つ言語に適していますが、シーケンス長が長くなり、 計算オーバーヘッドが増大します。

例:「cow」という単語を「c」、「o」、「w」などの文字トークンに分割します。  

3. サブワードのトークン化

サブワードのトークン化(最新のLLMにおける標準的な手法)は、 単語を頻繁に出現する断片に分解します。それらは常にとは限りませんが、多くの場合、 接頭辞、語根、接尾辞と一致します。これにより語彙サイズと 言語的カバレッジのバランスが取れ、モデルは希少語、 専門用語、新しい言語を既知の下位単位に分解することで 処理できるようになります。

例:「tokenization」という単語は、「token」や「ization」のようなサブワードトークンに分割でき、 モデルは既知の小さな断片を用いて、なじみのない単語や複雑な単語を処理できます。   一般的なアプローチには、 以下が含まれます。

  • BPE:個々の文字やバイトから開始し、 最も頻出する隣接ペアを繰り返しマージして新しいトークンを作成します。 バイトレベルのバリエーションは、GPTファミリーやその他多くの LLMで広く使用されています。
  • WordPiece:BPEと似ていますが、 学習データの尤度を最大化するマージを選択します。これは、 BERTや関連するエンコーダーモデルで使用されています。
  • SentencePiece:単一のアルゴリズムというよりは、 トークナイザーのツールキットです。テキストはスペースを含む生の文字ストリームとして扱われるため、 言語固有の単語分割に依存しません。BPEやユニグラムのトークン化を 行えるため、多言語モデルで広く使用されています。  

4. 文分割

文分割は文トークン化とも呼ばれ、 段落や文書を個々の文に分割します。上記の 手法とは異なり、LLMが処理するトークンを作成するものではありません。これは、 従来のNLPパイプラインや文書 ワークフローで使用される前処理ステップです。文分割は、文書レベルの分析を必要とするタスクを支援します。たとえば、 要約、翻訳、長文脈の推論などです。

トークン化はどのように活用されているのか?

トークン化は、AIを活用した幅広い アプリケーションにおいて価値をもたらし、人間の言語を 解釈または生成するシステムの基礎的な前処理ステップとして機能します。AIを大規模に 展開する組織は、AI データセンターからエッジデバイスに至るまで、トークン量を管理し、 スループットを維持し、推論コストを制御しなければなりません。

  • 検索エンジン:トークン化により、システムは ユーザーのクエリを正確にインデックス化および照合することで、検索の関連性を高め、 検索速度を向上させます。
  • チャットボットとバーチャルアシスタント:すべてのユーザー 入力は処理前にトークン化されます。出力トークンは リアルタイムで自然言語の応答にデコードされます。
  • 機械翻訳:トークン化は ソース文を処理可能な単位に変換し、正確な 言語横断的な再構築を可能にします。
  • 音声認識:音声入力は文字起こしされ、 テキスト化された後、AIシステムによる意味解釈のためにトークン化されます。  
  • ヘルスケアAI:診断や研究のワークフローを支援するAIモデルのために、 トークン化で 臨床ノート、病理レポート、医学文献が準備されます。
  • 金融文書の分析:構造化されたインサイトを抽出するAIモデルのために、 トークン化で契約書、決算報告書、 および規制当局への提出書類が準備されます。
  • 法的文書の処理:AIトークナイザーは、 訴訟記録、契約書、法律文書を、自動レビューおよび 要約のためにセグメント化します。
  • AI学習パイプライン:モデルは シーケンス内の次のトークンを予測することで学習します。効率的なデータストレージと 学習用トークンデータセットの取得は、 大規模AIインフラストラクチャーにおける重要なパフォーマンス要因です。

よくある質問

トークン化に関するよくある質問

トークン効率とは、AIシステムがトークンをいかに効率よく使用して 情報を処理し、回答を生成するかを意味します。AIモデルは テキストをトークンとして読み込み生成するため、より長いプロンプト、より大きな文書、より 詳細な回答は、より多くの計算量とメモリを必要とします。優れたトークン効率とは、 モデルが適切に回答するために十分なコンテキストを与えつつ、 コストを増大させパフォーマンスを低下させるような、不要な単語、繰り返しの情報、無関係な詳細を 盛り込まないことを意味します。

NLPのトークン化とセキュリティのトークン化は、 「トークン」という言葉を共有しているだけの、まったく異なる概念です。NLPのトークン化はAI処理のためにテキストを 言語的単位に分割しますが、セキュリティのトークン化は 決済カード番号などの機密データを、 保存や転送時に情報を保護するためのプレースホルダートークンに置き換えます。 これらは目的がまったく異なり、混同されるべきではありません。

トークン化は、ある入力や出力を表現するのに必要なトークン数を決定します。そして、 トークン数は計算量、メモリ使用量、そして推論レイテンシーの主な要因となります。   KVキャッシュはトークンごとに増加するため、 コンテキストが長くなると、必要なメモリ容量も増大します。大規模な実装において、 AIエージェント間で重複するコンテキストや不必要に長いプロンプトは、 コストを大幅に増大させる可能性があります。コンテキストの範囲を正確に定め、 その言語やドメインに適したトークナイザーを使用してトークン量を管理すると、 インフラストラクチャーのオーバーヘッドを削減し、AIワークロード全体の応答性を 改善させることができます。

トークン化は、リクエストの開始時にテキストをトークンIDに変換します。 そして最後に、生成されたトークンIDをテキストに変換し直します。推論とは、 その間に行われるモデルの作業、すなわち入力トークンを処理し、 出力トークンを生成するプロセスのことです。トークン化が全体的な作業に占める割合は小さく、 一方で推論は、計算、メモリ、そして AIシステムのエネルギー需要の大半を占めています。