生成AIパスポート 用語集生成AIの仕組みと生成モデル
並列処理とはへいれつしょり
並列処理の意味
並列処理とは、複数の計算を順番に1つずつ行うのではなく、同時にまとめて実行する処理方法です。生成AIの文脈では、Transformerが文中の全単語を一度に処理できること（公式テキストでは「シーケンス全体の並行処理」）を指し、これにより学習速度が大幅に向上して、大規模言語モデルの発展につながりました。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
RNNやLSTMは、前の単語の処理結果を使って次の単語を処理するため、計算を順番に行うしかありませんでした。そのため、データ量が増えるほど学習に長い時間がかかり、特にLSTMは並列学習に向かないことが課題とされていました。
Transformerは自己注意機構によって文の全単語の関係を一度に計算できるため、GPUなどを使って大量の計算を同時に進められます。たとえるなら、1人で1ページずつ本を読むのではなく、大勢で全ページを同時に読むようなものです。この並列処理の実現によって、膨大なテキストを短時間で学習させることが可能になりました。
試験のポイント
- 公式テキストでは「シーケンス全体の並行処理」としてTransformerの特徴に挙げられる
- RNN・LSTMは順番に処理、Transformerは全単語をまとめて一度に処理
- トレーニング速度が大幅に向上した点が重要
- LSTMの「並列学習に向かない」という課題への解決策
並列処理の確認問題（○×）
Transformerは、文中の全単語をまとめて一度に処理できるため、RNNやLSTMに比べて学習速度が大幅に向上した。
答えと解説を見る
答え：○
シーケンス全体の並行処理が可能になったことで、大量データの学習時間が大きく短縮されました。
並列処理とあわせて覚えたい関連用語
- TransformerTransformerとは、2017年にGoogleの研究者アシシュ・バスワニらが論文「Attention Is All You Need」…
- 自己注意機構自己注意機構とは、文の中の各単語が、同じ文の他のすべての単語とどれくらい関係しているかを同時に計算する仕組みで、英語ではSelf-Atten…
- RNNRNNとは、Recurrent Neural Networkの略で、過去の情報を内部に保持しながら新しい入力を順番に処理していくニューラルネ…
- LSTMLSTMとは、Long Short-Term Memory（長・短期記憶）の略で、RNNを改良し、時系列データや文章などのシーケンスデータで…
- シーケンスデータシーケンスデータとは、文章・音声・動画・音楽のように、要素が順番に連なっていて、その並び順に意味があるデータの集まりのことです。