生成AIパスポート 用語集大規模言語モデルとGPT
PaLMとはぱーむ
PaLMの意味
PaLMとは、Pathways Language Modelの略で、Googleが開発した大規模言語モデルです。公式テキストでは、GPT-4の多言語性能を示す比較グラフの中で、比較対象のモデルとして登場します。そのグラフにおけるPaLMの英語のスコアは69.3%で、GPT-3.5の英語（70.1%）をわずかに下回る値として示されています。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
PaLMは、Googleが自社のAI基盤「Pathways」を用いて開発した大規模言語モデルです。Googleは2017年にTransformerを発表し、2018年にBERTを開発するなど、言語モデル研究をリードしてきた企業の一つであり、PaLMもその流れに位置づけられます。
生成AIパスポート試験の対策としては、PaLMの細かな技術内容よりも、GPT-4の性能比較の文脈で登場する点が重要です。比較グラフでは、ランダム推測25.0%、Chinchillaの英語67.0%、PaLMの英語69.3%、GPT-3.5の英語70.1%、GPT-4の日本語79.9%、GPT-4の英語85.5%という数値が並んでいます。
試験のポイント
- Googleが開発した大規模言語モデル
- GPT-4の多言語性能比較グラフで比較対象として登場
- グラフでの英語スコアは69.3%（GPT-3.5英語70.1%よりわずかに低い）
- Chinchilla（DeepMind・67.0%）とセットで覚える
PaLMの確認問題（○×）
GPT-4の性能比較グラフにおいて、PaLMの英語のスコアは69.3%と示されている。
答えと解説を見る
答え：○
GPT-3.5の英語（70.1%）をわずかに下回る値として示されています。
PaLMとあわせて覚えたい関連用語
- GPT-4GPT-4とは、2023年3月にOpenAIがリリースした大規模言語モデルです。
- ChinchillaChinchillaとは、DeepMind（Googleグループの研究機関）が開発した大規模言語モデルです。
- GoogleGoogleとは、検索エンジンで知られるアメリカのIT企業で、生成AIの分野でも中心的な開発企業の一つです。
- 大規模言語モデル大規模言語モデルとは、膨大な量のテキストデータで訓練された、非常に規模の大きい言語モデルのことで、英語の頭文字からLLMと呼ばれます。
- BERTBERTとは、2018年10月にGoogleが開発した自然言語処理モデルで、Bidirectional Encoder Representa…