生成AIパスポート 用語集ディープラーニングとニューラルネットワーク
LSTMとはえるえすてぃーえむ
LSTMの意味
LSTMとは、Long Short-Term Memory（長・短期記憶）の略で、RNNを改良し、時系列データや文章などのシーケンスデータで長期間にわたる依存関係を学習できるようにしたニューラルネットワークです。1997年に提唱され、RNNが苦手としていた長いデータの学習を可能にして、複雑なパターンの時系列予測を実現しました。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
RNNは、長い文章の前半の情報を後半まで保ち続けることが苦手でした。LSTMは、情報を長く保持するための仕組みを内部に持ち、どの情報を覚えておき、どの情報を忘れるかを調整することで、この課題を改善しました。
LSTMは1997年にゼップ・ホッフライター（公式テキストでは「ザイガー博士」と表記）とユルゲン・シュミットフーバーによって提唱され、2000年代に改良が重ねられました。ただし、入力文が長すぎると精度が落ちること、データを一つずつ順番に処理するため並列処理に向かず、大規模データの学習に時間がかかることが課題として残りました。これらを解決するため、CNNやRNNを使わずAttentionの仕組みだけで構成したTransformerが生まれました。
試験のポイント
- RNNの改良版で、長期間の依存関係を学習できる
- 1997年に提唱（公式テキストでは「ザイガー博士とシュミットフーバー博士」）
- 課題：長すぎる入力で精度低下、逐次処理のため並列学習に不向き
- その課題を解決するために登場したのがTransformer
LSTMの確認問題（○×）
LSTMはデータを並列に処理できるため、大規模データの学習にかかる時間が短いことが最大の特徴である。
答えと解説を見る
答え：×
LSTMは逐次処理のため並列学習に向かず、大規模データの学習に時間がかかることが課題でした。この課題を解決したのがTransformerです。
LSTMとあわせて覚えたい関連用語
- RNNRNNとは、Recurrent Neural Networkの略で、過去の情報を内部に保持しながら新しい入力を順番に処理していくニューラルネ…
- 勾配消失問題勾配消失問題とは、ニューラルネットワークの学習において、重みを修正するための手がかりとなる値（勾配）が、層をさかのぼって伝わるうちにどんどん…
- ゼップ・ホッフライターゼップ・ホッフライターとは、ドイツの研究者で、1997年にユルゲン・シュミットフーバーとともにLSTM（長・短期記憶）を提唱した人物です。
- ユルゲン・シュミットフーバーユルゲン・シュミットフーバーとは、ドイツ出身の研究者で、1997年にLSTM（長・短期記憶）を初めて提唱した研究者の一人です。
- TransformerTransformerとは、2017年にGoogleの研究者アシシュ・バスワニらが論文「Attention Is All You Need」…
- 時系列データ時系列データとは、株価や気温、音声、言語のように、時間の経過とともに変化していく値を、時間の順番に沿って記録したデータのことです。