生成AIパスポート試験の合格を目指す方へ動画・章別テキスト・問題演習・用語集がひとつになった無料の合格アプリ

無料で合格アプリを使う →

生成AIパスポート 用語集大規模言語モデルとGPT

GPTとはじーぴーてぃー

英語Generative Pre-trained Transformer別名GPTモデル分野大規模言語モデルとGPT出題重要度★★★公式テキスト公式テキスト 第2章「Transformer登場以後の派生モデルの系譜」「ChatGPTとは」

GPTの意味

GPTとは、Generative Pre-trained Transformerの略で、OpenAIが開発した大規模言語モデルのシリーズです。名前のとおり、Transformerをベースに大量のテキストで事前学習し、新しい文章を生成します。2018年のGPT-1から、GPT-2、GPT-3、GPT-3.5、GPT-4、GPT-4oと進化を続け、ChatGPTの中核として使われています。

生成AIパスポート試験の対策なら → 無料の合格アプリ

詳しい解説

名前の3つの単語は、それぞれGPTの特徴を表しています。

頭文字 意味
G:Generative 文章を生成する
P:Pre-trained 大量データで事前学習している
T:Transformer Transformerを基盤にしている

公式テキストの系譜図では、2014年のSeq2Seq、2017年のTransformerを経て、2018年にGPT-1が登場し、同じ年にBERTが別の系統として分岐しています。GPTシリーズは前の単語列から次の単語を予測して文章を生み出す仕組みを持ち、バージョンを重ねるごとにパラメータ数と学習データ量を増やして性能を高めてきました。OpenAIは2015年にGPTの研究を始めたとされています。

試験のポイント

  • GPT=Generative Pre-trained Transformer(各頭文字の意味が頻出)
  • 開発元はOpenAI。最初のGPT-1は2018年(6月)
  • 系譜:GPT-1(2018)→GPT-2(2019)→GPT-3(2020)→GPT-3.5(2022)→GPT-4(2023)→GPT-4o(2024)
  • 同じ2018年にGoogleがBERTを発表(開発元の取り違えに注意)

GPTの確認問題(○×)

GPTの「P」はParameter(パラメータ)を意味している。

答えと解説を見る

答え:×

GPTの「P」はPre-trained(事前学習)です。GはGenerative、TはTransformerを表します。

GPTとあわせて覚えたい関連用語

「大規模言語モデルとGPT」のほかの用語

大規模言語モデルとGPTの用語一覧(31語)を見る →

生成AIパスポート 用語集(全407語)のトップに戻る

↑