生成AIパスポート 用語集大規模言語モデルとGPT
アライメントとはあらいめんと
アライメントの意味
アライメントとは、AIモデルの振る舞いを、人間の意図や価値観に沿うように調整することです。英語のalignmentには「整列」「一致させる」という意味があります。生成AIでは、有害な内容や不適切な回答を避け、利用者の意図に合った役立つ回答を返すようにすることを指し、RLHFはそれを実現するための代表的な手法です。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
大規模言語モデルは、膨大なテキストから言葉のパターンを学ぶだけなので、そのままでは「人間にとって望ましいかどうか」を考えずに文章を生成してしまいます。差別的な表現や危険な情報を出力したり、質問の意図を取り違えたりすることもあります。
そこで、モデルの出力を人間の価値観や社会的なルールに合わせる取り組みが必要になります。これがアライメントです。公式テキストでは、GPT-3.5がInstructGPTと同様にRLHFを用い、人間の価値観に基づくポリシーの範囲内で動作するよう設計されたと説明されています。AIの安全性を高めるうえで、アライメントは重要な考え方です。
試験のポイント
- アライメント＝モデルの振る舞いを人間の意図・価値観に合わせること
- RLHFはアライメントを実現するための仕組み
- GPT-3.5は人間の価値観に基づくポリシー内で動くよう設計された
- 「アライメント＝計算速度の向上」など技術的性能の話にすり替えた選択肢に注意
アライメントの確認問題（○×）
アライメントとは、AIモデルのパラメータ数を増やして計算速度を高めることを指す。
答えと解説を見る
答え：×
アライメントは、モデルの振る舞いを人間の意図や価値観に沿わせることです。
アライメントとあわせて覚えたい関連用語
- RLHFRLHFとは、Reinforcement Learning from Human Feedbackの略で、日本語では「人間のフィードバックに…
- InstructGPTInstructGPTとは、2022年1月にリリースされた、GPT-3をベースに開発された言語モデルです。
- GPT-3.5GPT-3.5とは、2022年にOpenAIが発表したGPT-3の改良版の大規模言語モデルです。
- 安全性安全性とは、AI事業者ガイドラインの共通の指針の2つ目です。AIシステム・サービスの開発・提供・利用を通じて、ステークホルダーの生命・身体・…
- バイアスバイアスとは、偏見や思い込み、考え方やデータの偏りのことです。生成AIは学習データをもとに出力を作るため、データやシステム設計に偏りがあると…