生成AIパスポート 用語集大規模言語モデルとGPT
言語モデルとはげんごもでる
言語モデルの意味
言語モデルとは、人間が使う自然言語の文章をコンピュータで扱うための確率モデルで、英語の頭文字からLMと呼ばれます。単語や文の並びに注目し、ある文がどれくらい自然か、ある単語の次にどの単語が来やすいかを数学的に評価します。文章生成・翻訳・文書分類・質問応答など、さまざまな自然言語処理のタスクに応用されます。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
たとえば「今日はいい」の次に続く言葉として、「天気」は出やすく「冷蔵庫」は出にくいと考えられます。言語モデルは、このような単語の出現しやすさを確率として扱うことで、文章の自然さを判断したり、続きの文章を予測したりします。
公式テキストでは、言語モデルを実現する代表的な技術として、連続する単語の出現頻度を数えるn-gramモデルと、ニューラルネットワークを使うニューラル言語モデルの2つが紹介されています。この言語モデルを、桁違いに大量のデータとパラメータで巨大化させたものが大規模言語モデル（LLM）です。
試験のポイント
- 言語モデル＝自然言語を扱うための「確率モデル」
- 文の自然さを数学的に評価する
- 代表的な実装技術はn-gramモデルとニューラル言語モデル
- LMを大規模化したものがLLM。両者の規模の違いが問われる
言語モデルの確認問題（○×）
言語モデル（LM）は、単語や文の並びに注目して文章の自然さを評価する確率モデルである。
答えと解説を見る
答え：○
言語モデルは単語の出現しやすさを確率で扱い、文章生成や翻訳などに応用されます。
言語モデルとあわせて覚えたい関連用語
- 大規模言語モデル大規模言語モデルとは、膨大な量のテキストデータで訓練された、非常に規模の大きい言語モデルのことで、英語の頭文字からLLMと呼ばれます。
- n-gramモデルn-gramモデルとは、テキストの中で連続して現れるn個の単語や文字の組み合わせの出現頻度を数え、その統計をもとに次に来る語を確率的に予測す…
- ニューラル言語モデルニューラル言語モデルとは、ニューラルネットワークを使って人間の言語を理解・生成する言語モデルです。
- 自然言語処理自然言語処理とは、日本語や英語のように人間がふだん使っている言葉（自然言語）を、コンピュータが理解したり生成したりできるようにする技術の総称…
- コーパスコーパスとは、文章や会話などの言語データを大量に集めて整理したもののことで、「言語データの集合」を意味します。