生成AIパスポート 用語集大規模言語モデルとGPT
事前学習とはじぜんがくしゅう
事前学習の意味
事前学習とは、大規模言語モデルを作る最初の段階で、膨大な量のテキストを学習させて自然言語に関する幅広い知識を身につけさせることです。プレトレーニングとも呼ばれます。数十億〜数千億以上ともいわれるラベルなしのテキストを使い、教師なし学習によって言葉のパターンを獲得します。GPTの「P（Pre-trained）」はこの事前学習を意味します。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
事前学習の目的は、特定の作業をこなせるようにすることではなく、「言葉とはどういうものか」という一般的な知識をモデルに与えることです。文法、単語の意味、文脈のつながり、世の中の一般常識などを、大量の文章から自然に学び取ります。正解ラベルを人が付ける必要がないため、膨大なデータを使うことができます。
事前学習を終えたモデルは、さまざまな用途の土台として使える状態になります。その後、翻訳や対話など特定の目的に合わせて追加で調整するのがファインチューニングです。順序は必ず「事前学習→ファインチューニング」である点を押さえておきましょう。
試験のポイント
- GPT＝Generative（生成）＋Pre-trained（事前学習）＋Transformer
- ラベルなしの大量テキストを使い、教師なし学習で行う
- 主目的は「自然言語の知識を与えること」。特定タスクへの適応はファインチューニングの役割
- 順序は「事前学習→ファインチューニング」。逆にした選択肢は誤り
事前学習の確認問題（○×）
LLMの学習では、まずファインチューニングで特定タスクに特化させた後、事前学習で一般的な言語知識を与える。
答えと解説を見る
答え：×
順序が逆です。まず事前学習で一般的な言語知識を身につけ、その後ファインチューニングで特定用途に合わせます。
事前学習とあわせて覚えたい関連用語
- ファインチューニングファインチューニングとは、事前学習を終えたモデルに、特定の用途に合わせたデータを追加で学習させ、性能を微調整することです。
- 大規模言語モデル大規模言語モデルとは、膨大な量のテキストデータで訓練された、非常に規模の大きい言語モデルのことで、英語の頭文字からLLMと呼ばれます。
- GPTGPTとは、Generative Pre-trained Transformerの略で、OpenAIが開発した大規模言語モデルのシリーズです…
- 教師なし学習教師なし学習とは、正解データ（ラベル）を与えずにデータだけをモデルに渡し、データの中に隠れている共通点や構造、パターンをモデル自身に見つけさ…
- コーパスコーパスとは、文章や会話などの言語データを大量に集めて整理したもののことで、「言語データの集合」を意味します。