生成AIパスポート試験の合格を目指す方へ動画・章別テキスト・問題演習・用語集がひとつになった無料の合格アプリ

無料で合格アプリを使う →

生成AIパスポート 用語集大規模言語モデルとGPT

InstructGPTとはいんすとらくとじーぴーてぃー

英語InstructGPT分野大規模言語モデルとGPT出題重要度★★☆公式テキスト公式テキスト 第2章「GPT-3.5」

InstructGPTの意味

InstructGPTとは、2022年1月にリリースされた、GPT-3をベースに開発された言語モデルです。インターネット上の攻撃的な表現や誤った情報を学習したことで、有害な出力をしてしまうというGPT-3の課題に対処するために生まれました。人間のフィードバックで出力を矯正するRLHFを採用し、人の指示(Instruction)に沿った回答をしやすくしています。

生成AIパスポート試験の対策なら → 無料の合格アプリ

詳しい解説

GPT-3は高い文章生成能力を持っていましたが、大量のWebテキストをそのまま学んでいたため、差別的な表現や事実と異なる内容を出力してしまうことがありました。また、ユーザーの指示の意図をうまく汲み取れないこともありました。

InstructGPTでは、人間の評価者がモデルの回答を評価し、そのフィードバックを使って学習させるRLHFを導入しました。これにより、より安全で、ユーザーの意図に沿った回答を生成できるようになりました。この手法はGPT-3.5にも引き継がれ、ChatGPTの土台となっています。

試験のポイント

  • 2022年1月リリース、GPT-3がベース
  • 有害な出力をしてしまう課題への対策として生まれた
  • RLHF(人間のフィードバックによる強化学習)を採用
  • RLHFはその後GPT-3.5でも用いられた
  • 「GPT-4をベースに開発された」は誤り

InstructGPTの確認問題(○×)

InstructGPTは、GPT-4をベースに開発され、2024年にリリースされたモデルである。

答えと解説を見る

答え:×

InstructGPTはGPT-3をベースに開発され、2022年1月にリリースされました。

InstructGPTとあわせて覚えたい関連用語

「大規模言語モデルとGPT」のほかの用語

大規模言語モデルとGPTの用語一覧(31語)を見る →

生成AIパスポート 用語集(全407語)のトップに戻る

↑