生成AIパスポート 用語集生成AIの仕組みと生成モデル
位置エンコーディングとはいちえんこーでぃんぐ
位置エンコーディングの意味
位置エンコーディングとは、文中の各単語がシーケンス（並び）のどの位置にあるかという情報を、Transformerに取り込むための手法です。Transformerは全単語を一度に処理するため、そのままでは語順の情報が失われてしまいます。位置エンコーディングは、各単語の表現に位置を表す情報を加えることでこの問題を解決します。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
日本語でも英語でも、単語の並び順は意味に大きく影響します。「犬が猫を追いかける」と「猫が犬を追いかける」は、使われている単語は同じでも意味が逆です。
RNNは単語を順番に処理するため、構造そのものに語順の情報が含まれていました。一方、Transformerは並列処理のために全単語を同時に扱うので、何も工夫しなければ「どの単語が何番目にあるか」がわからなくなります。そこで、各単語の数値表現に「何番目の単語か」を表す情報を足し合わせることで、並列処理の速さを保ちながら語順も考慮できるようにしています。
試験のポイント
- 単語の位置情報をTransformerに取り込む手法
- 一括処理（並列処理）でも語順の情報が失われないようにするためのもの
- Transformerの4つの主要な特徴の一つ
- 「単語の重要度をスコア化する」はAttention機構の説明なので混同しない
位置エンコーディングの確認問題（○×）
位置エンコーディングは、Transformerが単語の並び順の情報を失わないようにするための手法である。
答えと解説を見る
答え：○
全単語を同時に処理するTransformerでも、各単語の位置情報を加えることで語順を考慮できます。