生成AIパスポート 用語集大規模言語モデルとGPT
GPT-1とはじーぴーてぃーわん
英語GPT-1分野大規模言語モデルとGPT出題重要度★★☆公式テキスト公式テキスト 第2章「GPT-1」
解説：村井宗明（GUGA協議員・元文部科学大臣政務官・AIエンジニア）｜公開 ｜更新
GPT-1の意味
GPT-1とは、2018年にOpenAIが発表した最初のGPTモデルです。インターネット上のテキストを集めた大規模なデータセットで学習し、さまざまな自然言語処理タスクを実行できました。パラメータ数は1億1,700万個、学習データは数十億語を含むテキスト群とされています。GPTシリーズの出発点となったモデルです。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
GPT-1は、一貫性があり流暢な文章を書く能力を示し、「大量のテキストで事前学習したTransformerモデル」という方向性の有効性を示しました。
一方で、文脈の理解が短絡的で、長い会話の流れを保持することが十分にできないという課題がありました。また、特定の質問に対して的確に答える能力も不十分でした。こうした課題を、パラメータ数と学習データを大幅に増やすことで改善していったのが、後継のGPT-2やGPT-3です。GPT-1のパラメータ数（1億1,700万）は、後継モデルと比較する形で問われやすい数値です。
試験のポイント
- 2018年、OpenAIが発表した最初のGPTモデル
- パラメータ数は1億1,700万個
- 学習データは数十億語を含むテキスト群
- 課題：文脈理解が短絡的で、長い会話の文脈保持が不十分
GPT-1の確認問題（○×）
GPT-1は2018年にOpenAIが発表したモデルで、パラメータ数は1億1,700万個である。
答えと解説を見る
答え：○
GPT-1はGPTシリーズ最初のモデルで、後継のGPT-2（15億）、GPT-3（1,750億）と比較して覚えましょう。
生成AIパスポート 用語集（全407語）のトップに戻る
