生成AIパスポート 用語集大規模言語モデルとGPT
NSPとはえぬえすぴー
英語Next Sentence Prediction分野大規模言語モデルとGPT出題重要度★★☆公式テキスト公式テキスト 第2章「BERTモデル」
解説:村井宗明(GUGA協議員・元文部科学大臣政務官・AIエンジニア)|公開 |更新
NSPの意味
NSPとは、Next Sentence Predictionの略で、ある文が別の文の直後に続く文かどうかを予測させるタスクです。BERTが採用した学習の仕組みの一つで、2つの文に文脈的なつながりがあるかを判定させることで、文と文の関連性や、文章全体の流れ・意味の連続性をモデルに学ばせます。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
たとえば「今日は雨が降っている。」の後に「傘を持って出かけた。」が続くのは自然ですが、「ペンギンは南極に住んでいる。」が続くのは不自然です。NSPでは、こうした文のペアを大量に用意し、本当に続いている文か、無関係な文を組み合わせたものかを判定させます。
MLMが文の中の単語レベルの理解を深めるのに対し、NSPは文と文の関係という、より大きな単位の理解を目的としています。質問と回答の対応関係を判断したり、文章の論理的なつながりを理解したりする力の基礎になります。
試験のポイント
- ある文が別の文の直後に続くかを予測するタスク
- 文の関連性、文章の流れ・意味の連続性を学ぶ
- MLM(単語の穴埋め)との違い:NSPは文と文の関係を扱う
- MLMとNSPはどちらもBERTの学習方法
NSPの確認問題(○×)
NSPは、文中の一部の単語を隠し、その単語を予測させる学習方法である。
答えと解説を見る
答え:×
それはMLMの説明です。NSPは、ある文が別の文の直後に続くかどうかを予測するタスクです。
生成AIパスポート 用語集(全407語)のトップに戻る