GPT y los grandes modelos de lenguaje
GPT and large language models
- Fecha
- 2018-2020 · fiabilidad alta
- Lugar
- OpenAI, San Francisco, California, EE. UU.
- Autoría
- OpenAI (Alec Radford, Ilya Sutskever, Dario Amodei y otros); GPT-1 (2018), GPT-2 (2019), GPT-3 con 175.000 millones de parámetros (2020); BERT de Google (2018)
- Ámbito
- Saber y símbolos
Qué es
Modelos transformer entrenados para predecir la siguiente palabra en billones de palabras de internet, que adquieren capacidades generales de lenguaje y razonamiento a medida que crecen. GPT-3 mostró que la escala produce aprendizaje con pocos ejemplos.
A qué dio paso
- ChatGPT y la IA generativa de masas
- Las leyes de escalado y la inversión de cientos de miles de millones en centros de datos
- Los debates sobre derechos de autor, desinformación, empleo y riesgo existencial
Se apoya en
- Cadenas de Markov1906
- Test de Turing y la idea de la inteligencia artificial1950
- Unidad de procesamiento gráfico (GPU)1999
- Computación en la nube (Amazon Web Services S3 y EC2)2006
- CUDA, computación de propósito general en GPU2007
- Arquitectura transformer (Attention Is All You Need)2017
- word2vec (2013)
- GPU y CUDA
- Wikipedia y Common Crawl (corpus)
Hizo posible
- ChatGPT y los asistentes de IA conversacional2022
- Asistentes de demostración (Coq, Lean) y matemáticas con IA (AlphaProof)1989-2024
- asistentes de programación (Copilot)
- agentes de IA
- modelos multimodales