生成AIパスポート 用語集大規模言語モデルとGPT
n-gramモデルとはえぬぐらむもでる
n-gramモデルの意味
n-gramモデルとは、テキストの中で連続して現れるn個の単語や文字の組み合わせの出現頻度を数え、その統計をもとに次に来る語を確率的に予測する言語モデルです。nには比較的小さい整数が使われるため、仕組みが単純で高速に処理できる一方、長い文脈や語順を踏まえた理解は苦手とされます。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
公式テキストでは、「これは赤いリンゴです。」という文をn=2で区切る例が示されています。この場合、（これは, 赤い）（赤い, リンゴ）のように2語ずつの組に分け、それぞれの組がどれくらいの頻度で現れるかを数えます。大量の文章でこうした組の頻度を集計すれば、「赤い」の次に「リンゴ」が来る確率がどれくらいかを推定できます。
ただし、直前の数語しか見ないため、文の離れた位置にある言葉との関係や全体の文脈を考慮することができません。そのため長い文章の処理には向きません。一方、ニューラル言語モデルに比べると計算の負荷が軽いという利点があります。
試験のポイント
- 連続するn個の単語・文字の出現頻度から次の語を予測する
- nは有限で比較的小さい整数のため、単純・高速
- 弱点：文脈や語順を考慮するタスク、長い文章が苦手
- ニューラル言語モデルより計算負荷が軽い（対比が問われやすい）
n-gramモデルの確認問題（○×）
n-gramモデルは、ニューラル言語モデルに比べて処理負荷が大きく、長い文章の文脈理解を得意とする。
答えと解説を見る
答え：×
n-gramモデルは単純で計算負荷が軽い反面、文脈や語順の考慮、長い文章の処理が苦手です。