生成AIパスポート 用語集ディープラーニングとニューラルネットワーク
勾配消失問題とはこうばいしょうしつもんだい
勾配消失問題の意味
勾配消失問題とは、ニューラルネットワークの学習において、重みを修正するための手がかりとなる値（勾配）が、層をさかのぼって伝わるうちにどんどん小さくなって消えてしまい、学習が進まなくなる問題のことです。公式テキストでは、RNNで長いシーケンスデータを扱う際に起きやすい課題として紹介されています。
生成AIパスポート試験の対策なら → 無料の合格アプリ
詳しい解説
ニューラルネットワークは、出力の誤差をもとに「どの重みをどちらにどれだけ動かせば誤差が減るか」という勾配を計算し、出力側から入力側へ向けて重みを修正していきます。ところが、この勾配が伝わるたびに小さな数を掛け合わせる形になると、伝言ゲームで声がだんだん小さくなるように、遠くの層や遠い過去の時点にはほとんど情報が届かなくなります。
その結果、入力に近い層や、長い文章の前半部分にかかわる重みがほとんど更新されず、学習が止まったような状態になります。RNNが長い文章の最初のほうの内容を覚えておけないのはこのためで、この問題を改善するために開発されたのがLSTMです。
試験のポイント
- 勾配消失＝「学習が進まなくなる」問題
- 勾配爆発＝「学習が不安定になる」問題。この対比が頻出
- RNNで長いシーケンスデータを扱うと起きやすい
- 改善策として登場したのがLSTM
勾配消失問題の確認問題（○×）
勾配消失問題とは、勾配が極端に大きくなりすぎて、学習が不安定になってしまう問題である。
答えと解説を見る
答え：×
それは勾配爆発問題の説明です。勾配消失問題は、勾配が小さくなって学習が進まなくなる問題です。
勾配消失問題とあわせて覚えたい関連用語
- 勾配爆発問題勾配爆発問題とは、ニューラルネットワークの学習において、重みを修正するための値（勾配）が層や時点をさかのぼるうちに極端に大きく膨らんでしまい…
- RNNRNNとは、Recurrent Neural Networkの略で、過去の情報を内部に保持しながら新しい入力を順番に処理していくニューラルネ…
- LSTMLSTMとは、Long Short-Term Memory（長・短期記憶）の略で、RNNを改良し、時系列データや文章などのシーケンスデータで…
- 誤差誤差とは、ニューラルネットワークなどのモデルが出力した答えと、本来の正解データとの間にある差のことです。
- シーケンスデータシーケンスデータとは、文章・音声・動画・音楽のように、要素が順番に連なっていて、その並び順に意味があるデータの集まりのことです。