自己注意機構とはじこちゅういきこう

「自己」とは、注意を向ける対象が同じ文の中にあるという意味です。たとえば「彼はリンゴを買って、それを食べた」という文では、「それ」が「リンゴ」を指すことを、文中の単語同士の関係から読み取ります。

RNNやLSTMは前から順に1語ずつ処理するため、計算をまとめて行う並列処理が難しく、大量のデータを学習すると長い時間がかかりました。自己注意機構は全単語の関係を一度に計算できるため、大量のデータを同時に処理でき、大規模データセットの学習時間が大幅に短縮されました。これが大規模言語モデルの急速な発展を支えています。