生成AIパスポート 用語集生成AIの仕組みと生成モデル
Seq2Seqとはしーくとぅーしーく
Seq2Seqの意味
Seq2Seqとは、Sequence to Sequenceの略で、ある系列(シーケンス)データを入力として受け取り、別の系列データに変換して出力するモデルです。たとえば日本語の文を英語の文に翻訳するような処理に使われます。公式テキストの系譜図では2014年に位置づけられたRNNベースのモデルとして、Transformerの前身にあたる存在として示されています。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
Seq2Seqは、入力文を読み込んで数値表現にまとめるエンコーダと、その表現から出力文を生成するデコーダの2つで構成されます。どちらもRNN(またはその改良版のLSTM)を使って、単語を1つずつ順番に処理していました。
この「エンコーダとデコーダで系列を別の系列に変換する」という考え方は、2017年のTransformerにも受け継がれています。ただしTransformerは、RNNの代わりにAttentionの仕組みを使い、並列処理を可能にした点で大きく進化しました。公式テキストの系譜図では、Seq2Seq(2014年)→Transformer(2017年)→GPT・BERTという流れで示されています。
試験のポイント
Seq2Seqの確認問題(○×)
公式テキストの系譜図では、Seq2SeqはTransformerの登場後に生まれた派生モデルとして位置づけられている。
答えと解説を見る
答え:×
Seq2Seqは2014年のRNNベースのモデルで、2017年のTransformerより前に位置づけられています。
Seq2Seqとあわせて覚えたい関連用語
- RNNRNNとは、Recurrent Neural Networkの略で、過去の情報を内部に保持しながら新しい入力を順番に処理していくニューラルネ…
- TransformerTransformerとは、2017年にGoogleの研究者アシシュ・バスワニらが論文「Attention Is All You Need」…
- エンコーダエンコーダとは、入力されたデータの特徴を読み取り、コンピュータが扱いやすい別の表現(数値のベクトルなど)に変換する仕組みです。
- デコーダデコーダとは、エンコーダが作り出した潜在ベクトルや数値表現を受け取り、そこから画像や文章などの最終的な出力を生成する仕組みです。
- 機械翻訳機械翻訳とは、ある言語で書かれた文章や話された言葉を、コンピュータが自動的に別の言語に訳す技術のことです。