生成AIパスポート 用語集大規模言語モデルとGPT
GPT-3.5とはじーぴーてぃーさんてんご
GPT-3.5の意味
GPT-3.5とは、2022年にOpenAIが発表したGPT-3の改良版の大規模言語モデルです。GPT-3と基本構造は同じですが、より多様な文章生成と対話の能力を備え、InstructGPTと同様にRLHFを用いて人間の価値観に沿った振る舞いをするよう設計されました。2022年11月に公開されたChatGPTは、このGPT-3.5を対話向けにファインチューニングしたものです。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
試験のポイント
- 2022年発表。GPT-3の改良版で、基本構造はGPT-3と同じ
- InstructGPTと同様にRLHFを採用し、人間の価値観に基づくポリシーの範囲内で動作
- 2022年11月、GPT-3.5を対話向けにファインチューニングしたChatGPTが登場
- 日本語の精度は英語より低かった（英語スコア70.1%）
- 知識のカットオフは2021年9月
GPT-3.5の確認問題（○×）
ChatGPTは、GPT-3.5を対話向けにファインチューニングしたサービスとして2022年11月に登場した。
答えと解説を見る
答え：○
GPT-3.5を基にしたChatGPTの公開をきっかけに、生成AIが世間で大きく注目されました。
GPT-3.5とあわせて覚えたい関連用語
- GPT-3GPT-3とは、2020年にOpenAIが発表した大規模言語モデルで、GPT-2から大幅にパラメータ数を増やし、1,750億個という当時とし…
- InstructGPTInstructGPTとは、2022年1月にリリースされた、GPT-3をベースに開発された言語モデルです。
- RLHFRLHFとは、Reinforcement Learning from Human Feedbackの略で、日本語では「人間のフィードバックに…
- ChatGPTChatGPTとは、OpenAIが開発・提供している対話型の生成AIサービスです。
- GPT-4GPT-4とは、2023年3月にOpenAIがリリースした大規模言語モデルです。
- ナレッジカットオフナレッジカットオフとは、生成AIのモデルが学習したデータの期限、つまり「いつまでの情報を知っているか」の区切りのことです。