Diferenciación automática en modo inverso (origen matemático de la retropropagación)
Reverse-mode automatic differentiation (mathematical origin of backpropagation)
- Fecha
- 1970 · fiabilidad media
- Lugar
- Universidad de Helsinki, Helsinki, Finlandia
- Autoría
- Seppo Linnainmaa
- Ámbito
- Saber y símbolos
Qué se descubrió
En su tesis de máster en Helsinki, Linnainmaa formalizó la acumulación inversa (diferenciación automática en modo inverso): aplicar la regla de la cadena desde la salida hacia las entradas para calcular derivadas con eficiencia. Publicó el resultado en una revista en 1976.
El catálogo ya recoge la aplicación de la retropropagación al entrenamiento de redes neuronales (1986, Rumelhart, Hinton y Williams); este hito registra el origen matemático anterior del método, la diferenciación automática en modo inverso de Linnainmaa. Frank Rosenblatt ya había usado el término «back-propagating error correction» en 1962 sin lograr implementarlo.
A qué dio paso
- Base matemática de la retropropagación usada para entrenar redes neuronales
- Herramientas modernas de diferenciación automática en aprendizaje profundo
- Optimización eficiente de funciones con muchas variables