Arquitectura transformer (Attention Is All You Need)
Transformer architecture
- Fecha
- 2017 · fiabilidad alta
- Lugar
- Google Brain y Google Research, Mountain View, California, EE. UU.
- Autoría
- Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser e Illia Polosukhin (Google)
- Personas
- 👤 Aidan N. Gomez👤 Ashish Vaswani1985–👤 Illia Polosukhin👤 Jakob Uszkoreit👤 Llion Jones1984–👤 Łukasz Kaiser1981–👤 Niki Parmar👤 Noam Shazeer1976–
- Ámbito
- Saber y símbolos
Qué es
Red neuronal basada exclusivamente en mecanismos de atención, paralelizable y escalable a billones de parámetros. Es la arquitectura de todos los grandes modelos de lenguaje, imagen y proteínas.
A qué dio paso
- Los grandes modelos de lenguaje (GPT, Claude, Gemini, Llama) y la IA generativa
- AlphaFold y la IA científica
- La carrera geopolítica de la IA y la demanda energética de los centros de datos
Se apoya en
- Retropropagación para entrenar redes neuronales profundas1986
- PageRank y Google1998
- AlexNet y la revolución del aprendizaje profundo2012
- LSTM y modelos secuencia a secuencia
- mecanismo de atención (Bahdanau, 2014)
- GPU y TPU
Hizo posible
- AlphaFold, predicción de la estructura de proteínas2020
- Predicción de la estructura de proteínas por aprendizaje profundo (AlphaFold 2)2020-2021
- GPT y los grandes modelos de lenguaje2018-2020
- ChatGPT y los asistentes de IA conversacional2022
- Modelos de difusión e imagen generativa (DALL-E 2, Stable Diffusion, Midjourney)2020-2022
- Agentes de IA autónomos y modelos de razonamiento2023-2025
- GPT y grandes modelos de lenguaje
- BERT