①トークン化（テキストを扱える形にする）

LLMは、人間が扱うそのままの文章を処理できません。そのため、まず「単語」や「サブワード」（単語の一部）に分割し、「トークン」と呼ばれる最小単位にすることが必要です。

例えば、「生成AIは便利です」 という文字列は、 「生成」「AI」「は」「便利」「です」の5トークンに分割できます。文章の区切り方はLLMの種類によって異なり、その粒度は生成の品質やトークン数にも影響します。

また、LLMが一度に処理できるトークン数（文章の長さ）の上限も考慮しましょう。上限を超える文章は一度に入力できないため、分割して入力する必要があります。

②エンコード（埋め込み）

次に、トークンを「ベクトル（数値の並び）」に変換して、単語の意味や関係性を数値的に表現します。

トークンを数値化する際には、似た意味を持つ単語はベクトル空間上で近い位置に配置されるという特徴があります。簡単にいうと、単語の関係を地図上に配置するようなイメージです。意味が近い単語は地図上の近い位置、意味が遠い単語は遠い位置に配置されると考えると分かりやすいでしょう。

例えば、動物の種類である「犬」と「猫」はベクトル空間上の位置が近く、これに比べて「犬」と「飛行機」は位置が遠くなります。

さらに、文章内での順序や位置情報も加えることで、LLMは「誰が」「何をした」などの文脈理解ができます。

なお、各トークンを数値化し、位置情報を付与したものを「入力ベクトル列」と呼びます。

③モデル処理（Transformer）

このステップでは、「エンコード」のステップで得られた「入力ベクトル列」がTransformerに入力され、より文脈を反映した新しいベクトル列へと変換します。

ちなみにTransformerとは、文章を理解したり、文章を作成したりするための「頭脳」のようなものです。人間が会話の流れや文脈を考えるように、Transformerも「どの言葉が大事か」「どの言葉と関係があるか」を考えながら処理します。

また、Transformerの特徴的な仕組みに、「Attention（注意）」機能があり、文章の中で「今どの単語に注目すべきか」を自動で判断します。例えば、「それは」という単語があった場合、その指示語が具体的にどの単語を指しているのかを見つけることが可能です。

長文を処理するには多くの時間が必要であるため、要約や分割、必要な部分の抜粋をして処理の効率化を図ります。

ちなみに 2017年ごろまでは、「CNN (畳み込みニューラルネットワーク)」や「RNN(回帰型ニューラルネットワーク)」といったモデルがLLMで使われていましたが、RNNのように文脈を理解できて、CNNのように並列処理ができる、つまりいいとこ取りのTransformerが主流になっています。

④デコーディング（文章生成）

デコーディングは、「モデル処理」で得られた「文脈を反映したベクトル」をもとに、Transformerは「次に続く単語」を予測するステップです。

ここでは、過去の膨大な学習で得られた知識パラメータとAttention機能を使って「次に続く単語の確率分布」を計算し、文章を生成します。

代表的な生成方法は以下の通りです。

• ● 貪欲法（Greedy Search）：常に最も確率の高い単語を選ぶ生成方法。一貫性のある文章を作るが創造性は低い。
• ● ビームサーチ（Beam Search）：複数の候補を同時に探索し、より良い単語の組み合わせを見つける。精度は高いが、計算コストは高い。
• ● Top-k/Top-pサンプリング：候補単語の範囲を限定し、多様性と品質のバランスを取る。

生成した単語を使い続けることで、長文でも文脈を保ち自然な文章を作成できるようになります。ただし、終了トークンや文字数の上限に達すると、テキスト生成は停止します。