1931 artículo de revista
Sobre proposiciones formalmente indecidibles de los Principia Mathematica y sistemas afines I
Teoría temprana Gödel, K. · Monatshefte für Mathematik und Physik 38(1): 173–198
Demuestra que todo sistema formal consistente capaz de expresar la aritmética contiene enunciados verdaderos que no puede probar, fijando el límite que más tarde enmarcaría lo que el cálculo y el razonamiento mecánico pueden decidir.
1936 artículo de revista
Sobre los números computables, con una aplicación al Entscheidungsproblem
Teoría temprana Alan M. Turing · Proceedings of the London Mathematical Society s2-42(1): 230–265
Introduce la máquina de Turing universal y demuestra la indecidibilidad del Entscheidungsproblem, sentando las bases teóricas de la ciencia de la computación.
1936 artículo de revista
Un problema irresoluble de la teoría elemental de números
Teoría temprana Church, A. · American Journal of Mathematics 58(2): 345
Define la calculabilidad efectiva mediante el λ-cálculo y exhibe un problema que ningún procedimiento de ese tipo puede decidir, alcanzando los límites del cálculo con independencia de Turing.
1943 artículo de revista
Un cálculo lógico de las ideas inmanentes en la actividad nerviosa
Teoría temprana Warren S. McCulloch, Walter Pitts · Bulletin of Mathematical Biophysics 5(4): 115–133
Modela la actividad neural mediante lógica proposicional, ofreciendo la primera teoría matemática de las redes neuronales artificiales.
1948 artículo de revista
Una teoría matemática de la comunicación
Teoría temprana Claude E. Shannon · Bell System Technical Journal 27(3): 379–423; 27(4): 623–656
Artículo fundacional de la teoría de la información, que define la entropía y la capacidad de canal como límites fundamentales de la comunicación.
1950 artículo de revista
Maquinaria computacional e inteligencia
Teoría temprana A. M. Turing · Mind LIX(236): 433–460
Propone el juego de la imitación (prueba de Turing) y formula de manera sistemática la pregunta «¿Pueden pensar las máquinas?», lo que ayudó a establecer la IA como programa de investigación.
1955 artículo de revista
Una propuesta para el proyecto de investigación de verano de Dartmouth sobre inteligencia artificial
Teoría temprana John McCarthy, Marvin L. Minsky, Nathaniel Rochester, Claude E. Shannon · Dartmouth College, 1955; republished in AI Magazine 27(4): 12–14 (2006)
La propuesta fundacional del taller de verano de Dartmouth introdujo el término «inteligencia artificial» y esbozó la agenda de investigación del campo.
1956 artículo de revista
La máquina de teoría lógica: un sistema complejo de procesamiento de información
Nacimiento de la IA Allen Newell, Herbert A. Simon · IRE Transactions on Information Theory IT-2(3): 61–79
Describe el Logic Theorist, uno de los primeros programas de demostración de teoremas, que probó mediante búsqueda heurística teoremas de los Principia Mathematica de Whitehead y Russell, mostrando el razonamiento automático en lógica proposicional.
1958 artículo de revista
Elementos de una teoría de la resolución humana de problemas
Nacimiento de la IA Newell, A., Shaw, J. C., Simon, H. A. · Psychological Review 65(3): 151–166
Describe la resolución humana de problemas como búsqueda heurística en un espacio de estados simbólicos, el análisis que sustenta el General Problem Solver y la concepción de la mente como procesamiento de información.
1958 artículo de revista
El perceptrón: un modelo probabilístico para el almacenamiento y la organización de la información en el cerebro
Nacimiento de la IA Frank Rosenblatt · Psychological Review 65(6): 386–408
Introduce la primera neurona lineal con umbral entrenable, fundando la línea conexionista que conduce al aprendizaje profundo moderno.
1958 artículo de conferencia
Programas con sentido común
Nacimiento de la IA John McCarthy · Proceedings of the Symposium on Mechanisation of Thought Processes (NPL Teddington), 75–91. London: HMSO
Propone el «advice taker», un programa capaz de extraer conclusiones a partir de un depósito formal de conocimiento de sentido común, sentando las bases conceptuales de la representación y el razonamiento.
1959 artículo de revista
Algunos estudios sobre aprendizaje automático mediante el juego de las damas
Nacimiento de la IA Arthur L. Samuel · IBM Journal of Research and Development 3(3): 210–229
Demuestra el aprendizaje mediante partidas contra sí mismo con una función de evaluación en un programa de damas, un hito temprano del aprendizaje por refuerzo asociado al término «aprendizaje automático».
1959 artículo de revista
Nota sobre la simetría sintáctica y la manipulación de sistemas formales por máquina
Nacimiento de la IA Gelernter, H. · Information and Control 2(1): 80–89
Gelernter aborda cómo una máquina puede manipular con eficiencia sistemas formales cuyos predicados presentan una fuerte simetría, y enuncia como solución un teorema y una regla de simetría sintáctica. El trabajo acompaña a la máquina de demostración de teoremas de geometría que construía entonces en IBM, la cual a comienzos de la primavera de 1959 demostró su primer teorema de geometría plana euclidiana.
1960 artículo de conferencia
Circuitos de conmutación adaptativos
Nacimiento de la IA Bernard Widrow, Marcian E. Hoff · IRE WESCON Convention Record, Part 4, 96–104
Introduce la neurona ADALINE y la regla de aprendizaje de mínimos cuadrados medios (LMS), precursora del descenso de gradiente estocástico moderno.
1960 artículo de revista
Funciones recursivas de expresiones simbólicas y su cálculo por máquina, parte I
Nacimiento de la IA McCarthy, J. · Communications of the ACM 3(4): 184–195
Introduce las expresiones simbólicas, las funciones recursivas sobre ellas y el eval que permite a un lenguaje interpretarse a sí mismo, el diseño que se convirtió en Lisp y en la lengua de trabajo de la IA simbólica.
1961 informe técnico
Principios de neurodinámica: los perceptrones y la teoría de los mecanismos cerebrales
Nacimiento de la IA Rosenblatt, F. · Cornell Aeronautical Laboratory technical report (DTIC AD0256582)
Reúne el trabajo sobre el perceptrón en una teoría completa de las redes probabilísticas por capas, enunciando qué pueden aprender tales máquinas y dónde se detiene la forma de una sola capa.
1966 artículo de revista
ELIZA: un programa informático para el estudio de la comunicación en lenguaje natural entre el hombre y la máquina
Nacimiento de la IA Weizenbaum, J. · Communications of the ACM 9(1): 36–45
Construye un programa aparentemente conversacional a partir de coincidencia de patrones y reglas de reescritura, y su autor señala de inmediato cuánta comprensión le atribuyen los lectores sin que la tenga.
1982 artículo de revista
Redes neuronales y sistemas físicos con capacidades computacionales colectivas emergentes
Invierno de la IA John J. Hopfield · Proceedings of the National Academy of Sciences 79(8): 2554–2558
Introduce la red de memoria asociativa de Hopfield, vinculando el cómputo neuronal con los paisajes de energía de la física estadística y reavivando el interés por las redes neuronales durante el inicio del invierno de la IA.
1982 artículo de revista
R1: un configurador de sistemas informáticos basado en reglas
Invierno de la IA McDermott, J. · Artificial Intelligence 19(1): 39–88
Documenta un sistema de reglas de producción que configuraba a diario los pedidos de computadoras de DEC, uno de los pocos sistemas expertos que resistió el uso corriente y cuyo rendimiento podía calcularse.
1986 artículo de revista
Fusión, propagación y estructuración en redes de creencias
Invierno de la IA Judea Pearl · Artificial Intelligence 29(3): 241–288
Sistematiza las operaciones de fusión, propagación y estructuración en redes de creencia, proporcionando los fundamentos algorítmicos de la inferencia en redes bayesianas.
1986 artículo de revista
Aprendizaje de representaciones mediante retropropagación de errores
Invierno de la IA David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams · Nature 323(6088): 533–536
La formulación canónica del algoritmo de retropropagación para redes neuronales multicapa, que muestra que las unidades ocultas pueden aprender representaciones internas útiles y reaviva la investigación conexionista a finales de los años ochenta.
1988 artículo de revista
Aprender a predecir mediante los métodos de diferencias temporales
Invierno de la IA Richard S. Sutton · Machine Learning 3(1): 9–44
Sistematiza el aprendizaje por diferencias temporales (TD), convirtiéndose en uno de los algoritmos centrales del aprendizaje por refuerzo moderno.
1990 artículo de revista
Encontrar estructura en el tiempo
Invierno de la IA Jeffrey L. Elman · Cognitive Science 14(2): 179–211
Introduce la red recurrente simple de Elman, mostrando que las redes neuronales pueden aprender estructura temporal y abriendo el camino a los modelos de secuencias posteriores.
1995 artículo de revista
Redes de vectores de soporte
Renacimiento Corinna Cortes, Vladimir Vapnik · Machine Learning 20(3): 273–297
Introduce la máquina de vectores de soporte con margen blando, el clasificador canónico de margen máximo que definió gran parte del aprendizaje automático de los años noventa.
1997 artículo de revista
Memoria larga a corto plazo
Renacimiento Sepp Hochreiter, Jürgen Schmidhuber · Neural Computation 9(8): 1735–1780
Introduce la LSTM original con celdas de memoria y compuertas de entrada y salida; la compuerta de olvido hoy estándar fue añadida después por Gers, Schmidhuber y Cummins.
1998 artículo de revista
Aprendizaje basado en gradientes aplicado al reconocimiento de documentos
Renacimiento Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner · Proceedings of the IEEE 86(11): 2278–2324
Introduce LeNet-5, la red neuronal convolutiva canónica que alcanza reconocimiento de dígitos manuscritos de calidad productiva y establece la plantilla de las CNN.
2006 artículo de revista
Reducir la dimensionalidad de los datos con redes neuronales
Renacimiento Geoffrey E. Hinton, Ruslan R. Salakhutdinov · Science 313(5786): 504–507
Introduce un autocodificador profundo que reconstruye datos de alta dimensión con una fidelidad muy superior a PCA, encendiendo la primera chispa de la revitalización del aprendizaje profundo.
2006 artículo de revista
Un algoritmo de aprendizaje rápido para redes de creencias profundas
Renacimiento Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh · Neural Computation 18(7): 1527–1554
Deriva un algoritmo voraz y rápido que aprende redes de creencia profundas capa a capa y después las ajusta; la red resultante clasificaba dígitos manuscritos mejor que los mejores métodos discriminativos de la época, y el resultado reavivó el interés por las redes neuronales profundas.
2009 artículo de conferencia
Aprendizaje profundo no supervisado a gran escala con procesadores gráficos
Renacimiento Raina, R., Madhavan, A., Ng, A. Y. · Proceedings of the 26th Annual International Conference on Machine Learning (ICML 2009): 873–880
Traslada el entrenamiento de modelos profundos no supervisados a procesadores gráficos con aceleraciones de un orden de magnitud, y vuelve habitual la vía de hardware por la que el aprendizaje profundo escaló en la década siguiente.
2013 artículo de conferencia
Jugar a Atari con aprendizaje por refuerzo profundo
Renacimiento Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller · NeurIPS 2013 Deep Learning Workshop (arXiv:1312.5602)
DQN combina el Q-learning con una red convolucional que aprende políticas de control directamente a partir de los píxeles en bruto; aplicado sin cambios a siete juegos de Atari 2600, supera a todos los enfoques anteriores en seis y a un experto humano en tres, y abre el camino al aprendizaje por refuerzo profundo.
2013 artículo de conferencia
Estimación eficiente de representaciones de palabras en el espacio vectorial
Renacimiento Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean · ICLR 2013 Workshop (arXiv:1301.3781)
Introduce las arquitecturas skip-gram y CBOW que producen embeddings densos de palabras, inaugurando la era de los vectores de palabras preentrenados.
2013 artículo de conferencia
Bayes variacional mediante autocodificación
Renacimiento Diederik P. Kingma, Max Welling · ICLR 2014 (arXiv:1312.6114)
El VAE une el modelado generativo de variables latentes con el entrenamiento por gradiente estocástico mediante el truco de reparametrización, y se convierte en uno de los fundamentos del aprendizaje profundo generativo moderno.
2014 artículo de conferencia
Traducción automática neuronal mediante el aprendizaje conjunto de alineación y traducción
Renacimiento Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · ICLR 2015 (arXiv:1409.0473)
Introduce la atención aditiva (Bahdanau) para la traducción automática neuronal, demostrando que el alineamiento suave permite al decodificador enfocarse en los tokens relevantes de la fuente e inspirando directamente el Transformer.
2014 artículo de conferencia
Redes generativas antagónicas
Renacimiento Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio · NeurIPS 2014 (arXiv:1406.2661)
Enmarca el modelado generativo como un juego de suma mínima entre un generador y un discriminador, dando inicio a una nueva familia de modelos generativos implícitos.
2014 artículo de revista
Dropout: una forma sencilla de evitar el sobreajuste de las redes neuronales
Renacimiento Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov · Journal of Machine Learning Research 15(56): 1929–1958
Introduce dropout, una técnica sencilla de regularización estocástica que se convierte en un elemento estándar de los pipelines de entrenamiento de aprendizaje profundo.
2015 artículo de conferencia
Normalización por lotes: acelerar el entrenamiento de redes profundas reduciendo el desplazamiento interno de covariables
Renacimiento Sergey Ioffe, Christian Szegedy · ICML 2015 (arXiv:1502.03167)
Introduce la normalización por lotes, normalizando las entradas de capa en cada minibatch para estabilizar y acelerar drásticamente el entrenamiento de redes profundas.
2015 preprint
Aprendizaje profundo no supervisado mediante termodinámica fuera del equilibrio
Renacimiento Sohl-Dickstein, J., Weiss, E. A., Maheswaranathan, N., Ganguli, S. · arXiv:1503.03585
Formula el modelado generativo como la inversión de un proceso de ruido gradual, la formulación sobre la que se apoyan los modelos de difusión posteriores.
2015 artículo de conferencia
Aprendizaje residual profundo para el reconocimiento de imágenes
Renacimiento Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · CVPR 2016 (arXiv:1512.03385)
Introduce las conexiones residuales, permitiendo entrenar eficazmente redes de cientos de capas y ganando ImageNet 2015 por un amplio margen.
2016 artículo de revista
Traducción automática neuronal de palabras poco frecuentes con unidades de subpalabra
Renacimiento Sennrich, R., Haddow, B., Birch, A. · Proceedings of ACL 2016: 1715–1725 (arXiv:1508.07909)
Divide las palabras en unidades de subpalabra derivadas de las frecuencias, de modo que un vocabulario fijo pueda deletrear cualquier cosa, el esquema de segmentación que heredaron la mayoría de los modelos de lenguaje posteriores.
2016 artículo de conferencia
Deep Compression: comprimir redes neuronales profundas mediante poda, cuantización entrenada y codificación de Huffman
Renacimiento Han, S., Mao, H., Dally, W. J. · ICLR 2016 (arXiv:1510.00149)
Reúne poda, cuantización entrenada y codificación de Huffman en una sola cadena que reduce una red en un orden de magnitud casi sin pérdida de exactitud, y afirma pronto que la precisión numérica es una variable de diseño.
2016 artículo de conferencia
WaveNet: un modelo generativo para audio sin procesar
Renacimiento Aäron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu · NeurIPS 2016 (arXiv:1609.03499)
Introduce un modelo autorregresivo convolutivo causal dilatado que genera formas de onda de audio en crudo, mejorando notablemente la naturalidad de la síntesis de voz.
2017 preprint
Algoritmos de optimización de políticas proximales
Renacimiento John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov · arXiv:1707.06347
Introduce PPO, un método de gradiente de política de primer orden simple y estable que se convierte en el algoritmo de optimización de política por defecto en el aprendizaje por refuerzo moderno.
2017 preprint
Redes neuronales desmesuradamente grandes: la capa de mezcla de expertos con compuertas dispersas
Renacimiento Shazeer, N. et al. · arXiv:1701.06538
Encamina cada token solo hacia unos pocos expertos entre muchos, y deja que el número de parámetros de una red crezca mucho más allá del cálculo gastado en una sola entrada.
2017 artículo de conferencia
La atención es todo lo que necesitas
Renacimiento Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · NeurIPS 2017 (arXiv:1706.03762)
Introduce el Transformer, una arquitectura basada únicamente en atención que prescinde de recurrencia y convoluciones y supera la calidad previa en transducción de secuencias con una fracción del tiempo de entrenamiento.
2018 artículo de revista
SentencePiece: un tokenizador y destokenizador de subpalabras sencillo e independiente del idioma para el procesamiento neuronal de texto
Renacimiento Kudo, T., Richardson, J. · EMNLP 2018, System Demonstrations: 66–71 (arXiv:1808.06226)
Entrena un segmentador de subpalabras directamente a partir de texto en bruto, sin presegmentación propia de una lengua, de modo que la misma cadena sirva para lenguas que no separan palabras con espacios.
2018 artículo de conferencia
BERT: preentrenamiento de Transformers bidireccionales profundos para la comprensión del lenguaje
Renacimiento Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova · NAACL 2019 (arXiv:1810.04805)
Introduce un Transformer bidireccional preentrenado con modelado de lenguaje enmascarado y predicción de la siguiente oración, estableciendo un nuevo estado del arte en los benchmarks de PLN.
2019 artículo de revista
Explorar los límites del aprendizaje por transferencia con un Transformer unificado de texto a texto
Renacimiento Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu · Journal of Machine Learning Research 21(140): 1–67 (arXiv:1910.10683)
Reformula toda tarea de PLN como una conversión texto a texto, realiza ablaciones sistemáticas de las decisiones de aprendizaje por transferencia y establece una receta de referencia para modelos preentrenados a gran escala.
2020 artículo de conferencia
Modelos probabilísticos de difusión para eliminación de ruido
Era de los LLM Jonathan Ho, Ajay Jain, Pieter Abbeel · NeurIPS 2020 (arXiv:2006.11239)
Presenta los DDPM y muestra que los modelos probabilísticos de difusión con eliminación iterativa de ruido igualan a las GAN en la síntesis de imágenes de alta fidelidad.
2021 artículo de revista
Entrenamiento eficiente de modelos de lenguaje a gran escala en clústeres de GPU con Megatron-LM
Era de los LLM Narayanan, D. et al. · SC 2021: 1–15 (arXiv:2104.04473)
Compone paralelismo de tensores, de tubería y de datos en una sola planificación y mide el rendimiento del entrenamiento de un modelo de lenguaje en miles de GPU.
2021 preprint
LoRA: adaptación de bajo rango de grandes modelos de lenguaje
Era de los LLM Hu, E. J. et al. · arXiv:2106.09685
Congela los pesos preentrenados y entrena en su lugar un par de matrices de rango bajo, reduciendo el coste de adaptar un modelo grande a una fracción del ajuste fino completo.
2021 artículo de conferencia
Generación zero-shot de imágenes a partir de texto
Era de los LLM Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever · ICML 2021 (arXiv:2102.12092)
Usa un Transformer autorregresivo sobre tokens discretos de texto e imagen para producir generaciones de texto a imagen de alta calidad en zero-shot (DALL·E).
2021 artículo de conferencia
Aprender modelos visuales transferibles a partir de la supervisión en lenguaje natural
Era de los LLM Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever · ICML 2021 (arXiv:2103.00020)
Entrena aprendizaje contrastivo con 400 millones de pares imagen-texto para obtener codificadores visuales que se transfieren en zero-shot a muchas tareas posteriores.
2021 preprint
Evaluar grandes modelos de lenguaje entrenados con código
Era de los LLM Chen, M. et al. · arXiv:2107.03374
Presenta un modelo GPT afinado en código junto con un banco de pruebas puntuado por corrección funcional, convirtiendo la programación en una capacidad medible en lugar de un género de generación de texto, y discute sus efectos sobre la seguridad y el trabajo.
2021 artículo de conferencia
Síntesis de imágenes de alta resolución con modelos de difusión latente
Era de los LLM Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer · CVPR 2022 (arXiv:2112.10752)
Realiza la difusión en el espacio latente de un autocodificador preentrenado, lo que permite la síntesis de texto a imagen en alta resolución con un cómputo modesto (Stable Diffusion).
2022 artículo de conferencia
El prompting de cadena de pensamiento suscita el razonamiento en los grandes modelos de lenguaje
Era de los LLM Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le, Denny Zhou · NeurIPS 2022 (arXiv:2201.11903)
Muestra que inducir al modelo de lenguaje a generar pasos intermedios de razonamiento mejora notablemente su rendimiento en benchmarks de razonamiento aritmético, de sentido común y simbólico.
2022 artículo de conferencia
Entrenar modelos de lenguaje para seguir instrucciones con retroalimentación humana
Era de los LLM Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe · NeurIPS 2022 (arXiv:2203.02155)
Ajusta GPT-3 con aprendizaje por refuerzo a partir de retroalimentación humana para que siga las instrucciones con más fidelidad — el precursor directo de ChatGPT (InstructGPT).
2022 informe técnico
Constitutional AI: inocuidad a partir de la retroalimentación de la IA
Era de los LLM Yuntao Bai et al. · Anthropic Technical Report 2022 (arXiv:2212.08073)
Introduce RLAIF, en el que un modelo critica y revisa sus propias salidas frente a una constitución escrita, reduciendo la dependencia de etiquetas humanas de daño para la alineación.
2023 informe técnico
LLaMA: modelos de lenguaje fundacionales abiertos y eficientes
Era de los LLM Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample · Meta AI Technical Report 2023 (arXiv:2302.13971)
Entrena modelos fundacionales de 7 a 65 mil millones de parámetros con billones de tokens procedentes solo de datos públicos; el modelo de 13B supera a GPT-3 (175B) en la mayoría de los benchmarks y el de 65B compite con Chinchilla-70B y PaLM-540B.
2023 artículo de revista
Una revisión de los agentes autónomos basados en grandes modelos de lenguaje
Era de los LLM Wang, L. et al. · Frontiers of Computer Science 18(6), 2024 (arXiv:2308.11432)
Ordena trabajos dispersos sobre agentes según construcción, evaluación y aplicación, y marca el momento en que el término pasa de un conjunto de prácticas a un campo de investigación.
2023 preprint
QLoRA: ajuste fino eficiente de LLM cuantizados
Era de los LLM Dettmers, T. et al. · arXiv:2305.14314
Retropropaga a través de un modelo base cuantizado a 4 bits hacia adaptadores de rango bajo, y pone el ajuste fino de un modelo grande al alcance de una sola GPU.
2023 artículo de conferencia
GPTQ: cuantización posentrenamiento precisa para Transformers generativos preentrenados
Era de los LLM Frantar, E., Ashkboos, S., Hoefler, T., Alistarh, D. · ICLR 2023 (arXiv:2210.17323)
Cuantiza los pesos de un gran modelo de lenguaje tras el entrenamiento, capa por capa y en una sola pasada, de modo que pueda servirse con menor precisión sin reentrenarlo.
2023 artículo de conferencia
Inferencia rápida de Transformers mediante decodificación especulativa
Era de los LLM Leviathan, Y., Kalman, M., Matias, Y. · ICML 2023 (arXiv:2211.17192)
Hace que un pequeño modelo borrador proponga varios tokens que el modelo objetivo verifica en paralelo, reduciendo la latencia sin alterar la distribución de salida.
2023 artículo de revista
Gestión eficiente de la memoria para servir grandes modelos de lenguaje con PagedAttention
Era de los LLM Kwon, W. et al. · SOSP 2023: 611–626 (arXiv:2309.06180)
Gestiona la caché de atención en páginas de tamaño fijo como un sistema operativo gestiona la memoria, de modo que un servidor sostiene muchas más peticiones simultáneas sin reservar el peor caso para cada una.
2023 preprint
Mamba: Modelado de secuencias en tiempo lineal con espacios de estado selectivos
Era de los LLM Gu, A. y Dao, T. · arXiv:2312.00752
Presenta Mamba, una arquitectura de espacio de estados selectivo sin atención que escala linealmente con la longitud de la secuencia; en modelado del lenguaje, su modelo de 3B supera a los Transformers del mismo tamaño e iguala a los del doble de tamaño. Se convirtió en una de las arquitecturas post-Transformer más influyentes de 2023.