生成AIパスポート試験の合格を目指す方へ動画・章別テキスト・問題演習・用語集がひとつになった無料の合格アプリ

無料で合格アプリを使う →

生成AIパスポート 用語集生成AIの仕組みと生成モデル

Attention Is All You Needとはあてんしょんいずおーるゆーにーど

英語Attention Is All You Need分野生成AIの仕組みと生成モデル出題重要度★★★公式テキスト公式テキスト 第2章「Transformerモデル」

Attention Is All You Needの意味

Attention Is All You Needとは、2017年にGoogleの研究者アシシュ・バスワニらが発表した、Transformerを提案した論文のタイトルです。「必要なのはAttention(注意)だけ」という意味で、従来のRNNやCNNを使わずAttentionの仕組みのみで高性能なモデルを作れることを示し、その後の自然言語処理研究に大きな影響を与えました。

生成AIパスポート試験の対策なら → 無料の合格アプリ

詳しい解説

この論文以前、機械翻訳などの文章処理ではRNNやLSTMを使ったモデルが主流で、Attentionはその補助的な仕組みとして使われていました。この論文は、Attentionそのものを主役に据え、順番に処理する構造をなくしても高い性能が出せることを示した点で画期的でした。

論文で提案されたTransformerは、その後のBERTやGPTシリーズといった大規模言語モデルの土台となり、ChatGPTの誕生にもつながっています。論文のタイトルは、生成AIの歴史を語るうえで欠かせない言葉として知られています。

試験のポイント

  • Transformerを発表した2017年の論文タイトル
  • 著者はGoogleの研究者アシシュ・バスワニら
  • タイトルの意味は「Attentionこそがすべて」=Attentionだけで構築できることを示した
  • 年号(2017年)・発表元(Google)・モデル名(Transformer)の3点セットで覚える

Attention Is All You Needの確認問題(○×)

「Attention Is All You Need」は、Transformerを提案した2017年の論文のタイトルである。

答えと解説を見る

答え:○

Googleの研究者アシシュ・バスワニらが発表し、その後の大規模言語モデルの発展に大きな影響を与えました。

Attention Is All You Needとあわせて覚えたい関連用語

「生成AIの仕組みと生成モデル」のほかの用語

生成AIの仕組みと生成モデルの用語一覧(23語)を見る →

生成AIパスポート 用語集(全407語)のトップに戻る

↑