生成AIパスポート 用語集大規模言語モデルとGPT
GPT-3とはじーぴーてぃーすりー
英語GPT-3分野大規模言語モデルとGPT出題重要度★★★公式テキスト公式テキスト 第2章「GPT-3」
解説：村井宗明（GUGA協議員・元文部科学大臣政務官・AIエンジニア）｜公開 ｜更新
GPT-3の意味
GPT-3とは、2020年にOpenAIが発表した大規模言語モデルで、GPT-2から大幅にパラメータ数を増やし、1,750億個という当時としては桁違いの規模になりました。45TBのテキストを前処理して絞り込んだ570GBのデータで学習し、追加の微調整なしでも幅広い自然言語処理タスクをこなせることを示しました。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
GPT-3の大きな成果は、特定のタスクごとにファインチューニングしなくても、プロンプトで指示や例を与えるだけで翻訳・要約・質問応答などさまざまなタスクに対応できることを示した点です。モデルを大規模化することで、汎用的な能力が大きく伸びることがわかりました。
ただし、直感的な理解や外部の知識へのアクセスを持たないため、もっともらしい誤った回答をしてしまう可能性は残っていました。GPT-3は、その後のInstructGPTやGPT-3.5のベースとなり、ChatGPT誕生へとつながる重要なモデルです。
試験のポイント
- 2020年、OpenAIが発表。パラメータ数は1,750億個
- 学習データ：45TBのテキストを前処理して絞り込んだ570GB
- 微調整なしで幅広い自然言語処理タスクをこなせることを示した
- InstructGPTやGPT-3.5のベースとなった
- パラメータ数の推移：1億1,700万（GPT-1）→15億（GPT-2）→1,750億（GPT-3）
GPT-3の確認問題（○×）
GPT-3のパラメータ数は15億個で、GPT-2の約10倍の規模である。
答えと解説を見る
答え：×
GPT-3のパラメータ数は1,750億個です。15億個はGPT-2のパラメータ数です。
生成AIパスポート 用語集（全407語）のトップに戻る
