生成AIパスポート 用語集生成AIの仕組みと生成モデル
エンコーダとはえんこーだ
エンコーダの意味
エンコーダとは、入力されたデータの特徴を読み取り、コンピュータが扱いやすい別の表現(数値のベクトルなど)に変換する仕組みです。VAEでは入力データを低次元の潜在ベクトルに圧縮し、Transformerでは入力文を数値表現に変換する役割を担います。出力側のデコーダと対になって使われます。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
英語のencodeは「符号化する」という意味です。VAEのエンコーダは、画像などの入力から重要な特徴だけを抜き出し、情報を凝縮した潜在ベクトルとして出力します。公式テキストでは「物を見る部屋」にたとえられ、学習を通じて潜在ベクトルを作るための「知識」を身につけるとされています。
Transformerでもエンコーダとデコーダの構成が採用されています。たとえば翻訳では、エンコーダが元の文章を意味を保った数値表現に変換し、デコーダがその表現から訳文を生成します。なお、BERTはTransformerのエンコーダ部分をベースにしたモデルとして知られています。
試験のポイント
- エンコーダ=入力を潜在ベクトル・数値表現に変換する側
- VAEでは「物を見る部屋」、デコーダは「絵を描く部屋」とたとえられる
- VAEとTransformerの両方に登場する構成要素
- デコーダとの役割の取り違えがひっかけになりやすい
エンコーダの確認問題(○×)
VAEにおけるエンコーダは、潜在ベクトルを受け取って元のデータに近いデータを生成する役割を担う。
答えと解説を見る
答え:×
それはデコーダの役割です。エンコーダは入力データを潜在ベクトルに変換します。
エンコーダとあわせて覚えたい関連用語
- デコーダデコーダとは、エンコーダが作り出した潜在ベクトルや数値表現を受け取り、そこから画像や文章などの最終的な出力を生成する仕組みです。
- 潜在ベクトル潜在ベクトルとは、エンコーダが入力データを変換して得る、データの重要な特徴を凝縮した低次元の数値の組です。潜在変数とも呼ばれます。
- VAEVAEとは、2013年にディーデリック・P・キングマとマックス・ウェリングが提唱した生成モデルの一種で、日本語では変分自己符号化器(変分オー…
- TransformerTransformerとは、2017年にGoogleの研究者アシシュ・バスワニらが論文「Attention Is All You Need」…
- 次元削減次元削減とは、教師なし学習の代表的な手法で、データが持つ多数の項目(次元・変数)を、できるだけ大事な情報を失わないように少数の項目にまとめ直…