生成AIパスポート 用語集大規模言語モデルとGPT
マルチモーダルとはまるちもーだる
英語Multimodal分野大規模言語モデルとGPT出題重要度★★★公式テキスト公式テキスト 第2章「GPT-4」
解説：村井宗明（GUGA協議員・元文部科学大臣政務官・AIエンジニア）｜公開 ｜更新
マルチモーダルの意味
マルチモーダルとは、テキスト・画像・音声・動画など、異なる種類のデータ（モダリティ）をまとめて処理できるAIの技術や性質のことです。従来のテキスト生成AIは文章だけで指示を出し、文章だけを出力していましたが、マルチモーダルなAIは、文章と画像を組み合わせた指示を理解したり、画像の内容を説明したりできます。GPT-4がこれに対応しました。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
「モーダル（モダリティ）」とは、情報の種類や形式のことです。人間は目で見た情報と耳で聞いた情報を組み合わせて状況を理解していますが、マルチモーダルAIも同じように、複数の種類の情報を組み合わせて扱います。
公式テキストでは、GPT-4に3枚の画像を見せて、どこが面白いのかを説明させた例が紹介されています。古いVGAコネクタをスマートフォンに挿している、Lightningケーブル風のジョーク画像の面白さを、GPT-4は正しく説明できました。なお、2024年に登場したGPT-4oは、テキスト・画像・音声をさらに統合的に扱えることから、マルチモーダルと区別して「オムニモーダル」と呼ばれます。
試験のポイント
- 異なる種類のデータ（テキスト・画像・音声・動画など）をまとめて処理できる技術
- GPT-4がマルチモーダルに対応した（画像を見て内容を説明できる）
- GPT-4の例：VGAコネクタ風のケーブルをスマホに挿す画像の面白さを説明
- GPT-4oは「オムニモーダル」と呼ばれ区別される
マルチモーダルの確認問題（○×）
マルチモーダルとは、1種類のデータだけを専門的に処理するAIの性質を指す。
答えと解説を見る
答え：×
マルチモーダルは、テキスト・画像・音声など複数の種類のデータをまとめて処理できることを指します。
生成AIパスポート 用語集（全407語）のトップに戻る
