生成AIパスポート 用語集生成AIの仕組みと生成モデル
Transformerとはとらんすふぉーまー
Transformerの意味
Transformerとは、2017年にGoogleの研究者アシシュ・バスワニらが論文「Attention Is All You Need」で発表したニューラルネットワークのモデルです。RNNやCNNを使わず、Attention（注意）の仕組みだけで構築され、文中の全単語を同時に処理できます。GPTやBERTなど多くの大規模言語モデルの基盤となった重要技術です。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
それまで文章の処理に使われていたRNNやLSTMは、単語を1つずつ順番に処理するため、並列計算が難しく学習に時間がかかるという課題がありました。Transformerは自己注意機構（Self-Attention）を採用し、文の全要素を一度に見渡して処理できるようにしたことで、大量のデータを効率よく学習できるようになりました。
公式テキストでは、Transformerの主な特徴として次の4つが挙げられています。
- Attention Mechanism（単語の重要度をスコア化）
- シーケンス全体の並行処理
- 位置エンコーディング（語順の情報を保持）
- エンコーダとデコーダ
2017年のTransformer登場をきっかけに、大規模言語モデルは急速に発展しました。
試験のポイント
Transformerの確認問題（○×）
Transformerは、2017年にOpenAIの研究者が発表したモデルで、RNNを中心に構築されている。
答えと解説を見る
答え：×
TransformerはGoogleの研究者らが発表したモデルで、RNNやCNNを使わずAttentionの仕組みだけで構築されています。
Transformerとあわせて覚えたい関連用語
- Attention Is All You NeedAttention Is All You Needとは、2017年にGoogleの研究者アシシュ・バスワニらが発表した、Transforme…
- 自己注意機構自己注意機構とは、文の中の各単語が、同じ文の他のすべての単語とどれくらい関係しているかを同時に計算する仕組みで、英語ではSelf-Atten…
- Attention機構Attention機構とは、入力された文中の各単語がどれくらい重要かをスコアとして数値化し、どの単語に注目すれば文の意味をつかみやすいかをモ…
- 位置エンコーディング位置エンコーディングとは、文中の各単語がシーケンス（並び）のどの位置にあるかという情報を、Transformerに取り込むための手法です。
- 大規模言語モデル大規模言語モデルとは、膨大な量のテキストデータで訓練された、非常に規模の大きい言語モデルのことで、英語の頭文字からLLMと呼ばれます。
- アシシュ・バスワニアシシュ・バスワニとは、Googleの研究者として、2017年の論文「Attention Is All You Need」を発表した著者の一…