生成AIパスポート試験の合格を目指す方へ動画・章別テキスト・問題演習・用語集がひとつになった無料の合格アプリ

無料で合格アプリを使う →

生成AIパスポート 用語集大規模言語モデルとGPT

NSPとはえぬえすぴー

英語Next Sentence Prediction分野大規模言語モデルとGPT出題重要度★★☆公式テキスト公式テキスト 第2章「BERTモデル」

NSPの意味

NSPとは、Next Sentence Predictionの略で、ある文が別の文の直後に続く文かどうかを予測させるタスクです。BERTが採用した学習の仕組みの一つで、2つの文に文脈的なつながりがあるかを判定させることで、文と文の関連性や、文章全体の流れ・意味の連続性をモデルに学ばせます。

生成AIパスポート試験の対策なら → 無料の合格アプリ

詳しい解説

たとえば「今日は雨が降っている。」の後に「傘を持って出かけた。」が続くのは自然ですが、「ペンギンは南極に住んでいる。」が続くのは不自然です。NSPでは、こうした文のペアを大量に用意し、本当に続いている文か、無関係な文を組み合わせたものかを判定させます。

MLMが文の中の単語レベルの理解を深めるのに対し、NSPは文と文の関係という、より大きな単位の理解を目的としています。質問と回答の対応関係を判断したり、文章の論理的なつながりを理解したりする力の基礎になります。

試験のポイント

  • ある文が別の文の直後に続くかを予測するタスク
  • 文の関連性、文章の流れ・意味の連続性を学ぶ
  • MLM(単語の穴埋め)との違い:NSPは文と文の関係を扱う
  • MLMとNSPはどちらもBERTの学習方法

NSPの確認問題(○×)

NSPは、文中の一部の単語を隠し、その単語を予測させる学習方法である。

答えと解説を見る

答え:×

それはMLMの説明です。NSPは、ある文が別の文の直後に続くかどうかを予測するタスクです。

NSPとあわせて覚えたい関連用語

「大規模言語モデルとGPT」のほかの用語

大規模言語モデルとGPTの用語一覧(31語)を見る →

生成AIパスポート 用語集(全407語)のトップに戻る

↑