生成AIパスポート 用語集AIの歴史と重要人物
ユルゲン・シュミットフーバーとはゆるげん・しゅみっとふーばー
ユルゲン・シュミットフーバーの意味
ユルゲン・シュミットフーバーとは、ドイツ出身の研究者で、1997年にLSTM(長・短期記憶)を初めて提唱した研究者の一人です。公式テキストでは「ザイガー博士とシュミットフーバー博士」による共同提唱として紹介されています。LSTMは、文章や時系列データを扱うRNNの弱点を克服した手法で、Transformer登場以前の自然言語処理を支えました。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
RNN(回帰型ニューラルネットワーク)は、前の情報を引き継ぎながら順番にデータを処理できるため、文章や音声のような並びのあるデータに向いています。しかし、系列が長くなると学習がうまく進まなくなる「勾配消失問題」を抱えていました。
シュミットフーバーらが提唱したLSTMは、情報を記憶したり忘れたりする仕組みを組み込むことで、長い期間にわたる依存関係を学習できるようにしました。LSTMは2000年代に改良が重ねられ、音声認識や機械翻訳などで広く使われました。
一方で、LSTMにも入力文が長すぎると精度が落ちる、順番に処理するため並列学習に向かないといった課題がありました。これを解決するために登場したのが、Attentionの仕組みだけで構成されたTransformerです。
試験のポイント
- 1997年にLSTMを初めて提唱した研究者の一人
- 公式テキストでは「ザイガー博士とシュミットフーバー博士」の共同提唱と記載
- LSTMはRNNの改良版で、長期間の依存関係を学習できる
- LSTMの課題を解決するためにTransformerが生まれた、という流れも押さえる
ユルゲン・シュミットフーバーの確認問題(○×)
ユルゲン・シュミットフーバーは、2017年に論文「Attention Is All You Need」でTransformerを発表した。
答えと解説を見る
答え:×
シュミットフーバーは1997年にLSTMを提唱した研究者です。Transformerを発表したのはアシシュ・バスワニらGoogleの研究者です。
ユルゲン・シュミットフーバーとあわせて覚えたい関連用語
- LSTMLSTMとは、Long Short-Term Memory(長・短期記憶)の略で、RNNを改良し、時系列データや文章などのシーケンスデータで…
- ゼップ・ホッフライターゼップ・ホッフライターとは、ドイツの研究者で、1997年にユルゲン・シュミットフーバーとともにLSTM(長・短期記憶)を提唱した人物です。
- RNNRNNとは、Recurrent Neural Networkの略で、過去の情報を内部に保持しながら新しい入力を順番に処理していくニューラルネ…
- 勾配消失問題勾配消失問題とは、ニューラルネットワークの学習において、重みを修正するための手がかりとなる値(勾配)が、層をさかのぼって伝わるうちにどんどん…