生成AIパスポート 用語集大規模言語モデルとGPT
大規模言語モデルとはだいきぼげんごもでる
大規模言語モデルの意味
大規模言語モデルとは、膨大な量のテキストデータで訓練された、非常に規模の大きい言語モデルのことで、英語の頭文字からLLMと呼ばれます。一般にパラメータ数が数十億以上のものを指し、文章生成・質問応答・翻訳・要約・感情分析・分類などを高い精度で行えます。ChatGPTやClaude、Geminiなどの土台となる技術です。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
LLMは、従来の言語モデル（LM）とは比べものにならない量のテキストを学習しており、その分、学習には大量の計算資源が必要です。2017年に登場したTransformerによって大量データの並列処理が可能になったことが、LLMが急速に発展するきっかけとなりました。
公式テキストでは、LLMは「プレトレーニング（事前学習）→ファインチューニング」という2段階のトレーニングによって高い精度を実現すると説明されています。まず大量のテキストから言語の一般的な知識を身につけ、その後に特定の用途に合わせて調整するという流れです。代表例はOpenAIのGPTシリーズで、ほかにAnthropicのClaude、GoogleのGeminiなどがあります。一方で、もっともらしい誤りを出力するハルシネーションが常に課題とされています。
試験のポイント
大規模言語モデルの確認問題（○×）
大規模言語モデルは、一般にパラメータ数が数十億以上の言語モデルを指し、事前学習とファインチューニングの2段階で訓練される。
答えと解説を見る
答え：○
大量のテキストで事前学習した後、用途に合わせてファインチューニングすることで高い精度を実現します。
大規模言語モデルとあわせて覚えたい関連用語
- 言語モデル言語モデルとは、人間が使う自然言語の文章をコンピュータで扱うための確率モデルで、英語の頭文字からLMと呼ばれます。
- TransformerTransformerとは、2017年にGoogleの研究者アシシュ・バスワニらが論文「Attention Is All You Need」…
- 事前学習事前学習とは、大規模言語モデルを作る最初の段階で、膨大な量のテキストを学習させて自然言語に関する幅広い知識を身につけさせることです。
- ファインチューニングファインチューニングとは、事前学習を終えたモデルに、特定の用途に合わせたデータを追加で学習させ、性能を微調整することです。
- GPTGPTとは、Generative Pre-trained Transformerの略で、OpenAIが開発した大規模言語モデルのシリーズです…
- ハルシネーションハルシネーションとは、生成AIが事実と異なる内容や、文脈と関係のない内容を、あたかも本当のことのようにもっともらしく出力してしまう現象です。