生成AIパスポート 用語集大規模言語モデルとGPT
GPTとはじーぴーてぃー
GPTの意味
GPTとは、Generative Pre-trained Transformerの略で、OpenAIが開発した大規模言語モデルのシリーズです。名前のとおり、Transformerをベースに大量のテキストで事前学習し、新しい文章を生成します。2018年のGPT-1から、GPT-2、GPT-3、GPT-3.5、GPT-4、GPT-4oと進化を続け、ChatGPTの中核として使われています。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
名前の3つの単語は、それぞれGPTの特徴を表しています。
| 頭文字 | 意味 |
|---|---|
| G:Generative | 文章を生成する |
| P:Pre-trained | 大量データで事前学習している |
| T:Transformer | Transformerを基盤にしている |
公式テキストの系譜図では、2014年のSeq2Seq、2017年のTransformerを経て、2018年にGPT-1が登場し、同じ年にBERTが別の系統として分岐しています。GPTシリーズは前の単語列から次の単語を予測して文章を生み出す仕組みを持ち、バージョンを重ねるごとにパラメータ数と学習データ量を増やして性能を高めてきました。OpenAIは2015年にGPTの研究を始めたとされています。
試験のポイント
GPTの確認問題(○×)
GPTの「P」はParameter(パラメータ)を意味している。
答えと解説を見る
答え:×
GPTの「P」はPre-trained(事前学習)です。GはGenerative、TはTransformerを表します。
GPTとあわせて覚えたい関連用語
- OpenAIOpenAIとは、GPTシリーズやChatGPTを開発したアメリカのAI研究開発企業です。
- TransformerTransformerとは、2017年にGoogleの研究者アシシュ・バスワニらが論文「Attention Is All You Need」…
- 事前学習事前学習とは、大規模言語モデルを作る最初の段階で、膨大な量のテキストを学習させて自然言語に関する幅広い知識を身につけさせることです。
- ChatGPTChatGPTとは、OpenAIが開発・提供している対話型の生成AIサービスです。
- GPT-1GPT-1とは、2018年にOpenAIが発表した最初のGPTモデルです。
- BERTBERTとは、2018年10月にGoogleが開発した自然言語処理モデルで、Bidirectional Encoder Representa…