生成AIパスポート 用語集生成AIの仕組みと生成モデル
Attentionスコアとはあてんしょんすこあ
Attentionスコアの意味
Attentionスコアとは、Attention機構において、文中の各単語に割り当てられる重要度を表す数値です。スコアが高い単語ほど、文全体の意味を理解するうえで重要だとモデルが判断していることを示します。Transformerはこのスコアをもとに、どの単語にどれだけ注目するかを決めて文章を処理します。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
公式テキストでは、「この花はキレイです」という文を例に、「花」や「キレイ」に高いスコアが付く図が示されています。「この」や「は」「です」といった単語は文の骨格を作りますが、意味の中心ではないため、相対的に低いスコアになります。
Attentionスコアは、単語同士の関連の強さとして計算されます。たとえば「それ」という単語を処理するときに、文中のどの単語を指しているかを判断するため、関係の深い単語に高いスコアが与えられます。こうした数値化によって、モデルは離れた位置にある単語同士の関係も捉えられるようになりました。
試験のポイント
- Attention機構で各単語に割り当てられる「重要度の数値」
- 例文「この花はキレイです」で「花」「キレイ」のスコアが高くなる
- Attention機構（仕組み）とAttentionスコア（数値）を区別して覚える
Attentionスコアの確認問題（○×）
Attentionスコアは、文中のすべての単語に常に同じ値が割り当てられる数値である。
答えと解説を見る
答え：×
Attentionスコアは単語ごとの重要度を表すため、意味の理解に重要な単語ほど高い値になります。
Attentionスコアとあわせて覚えたい関連用語
- Attention機構Attention機構とは、入力された文中の各単語がどれくらい重要かをスコアとして数値化し、どの単語に注目すれば文の意味をつかみやすいかをモ…
- 自己注意機構自己注意機構とは、文の中の各単語が、同じ文の他のすべての単語とどれくらい関係しているかを同時に計算する仕組みで、英語ではSelf-Atten…
- TransformerTransformerとは、2017年にGoogleの研究者アシシュ・バスワニらが論文「Attention Is All You Need」…
- 重み重みとは、ニューラルネットワークで人工ニューロン同士のつながりの強さを表す数値のことで、人間の神経細胞におけるシナプスの大きさに相当します。