生成AIパスポート 用語集生成AIの仕組みと生成モデル
Attention機構とはあてんしょんきこう
Attention機構の意味
Attention機構とは、入力された文中の各単語がどれくらい重要かをスコアとして数値化し、どの単語に注目すれば文の意味をつかみやすいかをモデルに判断させる仕組みです。英語ではAttention Mechanismと呼ばれます。Transformerの主要な特徴の一つで、RNNやLSTMが抱えていた課題の一部を克服しました。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
人は文章を読むとき、すべての単語を同じ重さで読むのではなく、意味を理解するうえで大事な単語に自然と注意を向けています。Attention機構はこの「注意を向ける」働きをコンピュータで再現したものです。
具体的には、各単語に重要度を表すAttentionスコアを割り当て、各単語が文全体の意味にどれだけ影響するかをモデルが把握できるようにします。たとえば「この花はキレイです」という文では、「花」や「キレイ」に高いスコアが付きます。これにより、文の中で離れた位置にある単語同士の関係も捉えやすくなりました。
試験のポイント
- 各単語の重要度をスコア化（Attentionスコア）し、注目すべき単語を判断する仕組み
- Transformerの4つの主要な特徴の一つ
- RNN・LSTMの問題の一部を克服した
- 公式テキストでは英語表記「Attention Mechanism」で登場する
Attention機構の確認問題（○×）
Attention機構は、文中の各単語の重要度をスコア化し、どの単語に注目すべきかをモデルに把握させる仕組みである。
答えと解説を見る
答え：○
各単語にAttentionスコアを割り当て、文全体への影響度を捉えます。
Attention機構とあわせて覚えたい関連用語
- AttentionスコアAttentionスコアとは、Attention機構において、文中の各単語に割り当てられる重要度を表す数値です。
- 自己注意機構自己注意機構とは、文の中の各単語が、同じ文の他のすべての単語とどれくらい関係しているかを同時に計算する仕組みで、英語ではSelf-Atten…
- TransformerTransformerとは、2017年にGoogleの研究者アシシュ・バスワニらが論文「Attention Is All You Need」…
- RNNRNNとは、Recurrent Neural Networkの略で、過去の情報を内部に保持しながら新しい入力を順番に処理していくニューラルネ…
- LSTMLSTMとは、Long Short-Term Memory（長・短期記憶）の略で、RNNを改良し、時系列データや文章などのシーケンスデータで…