生成AIパスポート 用語集大規模言語モデルとGPT
RLHFとはあーるえるえいちえふ
RLHFの意味
RLHFとは、Reinforcement Learning from Human Feedbackの略で、日本語では「人間のフィードバックによる強化学習」と呼ばれます。人間の評価者がAIの回答の良し悪しを評価し、そのフィードバックをもとにモデルを学習させることで、人間にとってより好ましく、有害さの少ない回答を生成できるようにする手法です。InstructGPTやGPT-3.5で採用されました。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
試験のポイント
- RLHF＝人間のフィードバックによる強化学習（強化学習の一手法）
- 「人間にとってより好ましい回答とは何か」をモデルが学ぶ
- InstructGPT（2022年1月）で採用され、GPT-3.5でも用いられた
- アライメント（人間の意図・価値観に合わせること）を実現する手段
- 「教師なし学習の一種」とする選択肢は誤り
RLHFの確認問題（○×）
RLHFは、人間の評価者からのフィードバックをもとにモデルを学習させる強化学習の手法である。
答えと解説を見る
答え：○
人間の評価を報酬の基準として使い、より好ましい回答を生成できるようにします。
RLHFとあわせて覚えたい関連用語
- 強化学習強化学習とは、達成したい目標を設定し、目標に近づく行動にはプラスの報酬、遠ざかる行動にはマイナスの報酬を与えることで、コンピュータが試行錯誤…
- アライメントアライメントとは、AIモデルの振る舞いを、人間の意図や価値観に沿うように調整することです。
- InstructGPTInstructGPTとは、2022年1月にリリースされた、GPT-3をベースに開発された言語モデルです。
- GPT-3.5GPT-3.5とは、2022年にOpenAIが発表したGPT-3の改良版の大規模言語モデルです。
- ファインチューニングファインチューニングとは、事前学習を終えたモデルに、特定の用途に合わせたデータを追加で学習させ、性能を微調整することです。