Problema de desvanecimiento de gradiente
Vanishing gradient problem
- Fecha
- 1991 · fiabilidad alta
- Lugar
- Múnich, Baviera, Alemania
- Autoría
- Sepp Hochreiter
- Ámbito
- Saber y símbolos
Qué se descubrió
Problema del aprendizaje profundo por el cual los gradientes se vuelven extremadamente pequeños al retropropagarse por muchas capas, impidiendo el entrenamiento eficaz de redes neuronales profundas; identificado por Sepp Hochreiter en su tesis de 1991.
A qué dio paso
- redes LSTM de memoria a largo plazo
- funciones de activación ReLU
- arquitecturas residuales (ResNet)
- avances del aprendizaje profundo moderno