1931 articolo di rivista
Sulle proposizioni formalmente indecidibili dei Principia Mathematica e di sistemi affini I
Teoria Precoce Gödel, K. · Monatshefte für Mathematik und Physik 38(1): 173–198
Dimostra che ogni sistema formale coerente in grado di esprimere l’aritmetica contiene enunciati veri che non può dimostrare, fissando il limite entro cui si discuterà poi ciò che il calcolo e il ragionamento meccanico possono decidere.
1936 articolo di rivista
Sui numeri calcolabili, con un’applicazione all’Entscheidungsproblem
Teoria Precoce Alan M. Turing · Proceedings of the London Mathematical Society s2-42(1): 230–265
Introduce la macchina di Turing universale e dimostra l’indecidibilità dell’Entscheidungsproblem, fondando le basi teoriche dell’informatica.
1936 articolo di rivista
Un problema irrisolvibile di teoria elementare dei numeri
Teoria Precoce Church, A. · American Journal of Mathematics 58(2): 345
Definisce la calcolabilità effettiva mediante il λ-calcolo ed esibisce un problema che nessuna procedura del genere può decidere, raggiungendo i limiti del calcolo indipendentemente da Turing.
1943 articolo di rivista
Un calcolo logico delle idee immanenti nell’attività nervosa
Teoria Precoce Warren S. McCulloch, Walter Pitts · Bulletin of Mathematical Biophysics 5(4): 115–133
Modella l’attività neurale come logica proposizionale, fornendo la prima teoria matematica delle reti neurali artificiali.
1948 articolo di rivista
Una teoria matematica della comunicazione
Teoria Precoce Claude E. Shannon · Bell System Technical Journal 27(3): 379–423; 27(4): 623–656
Articolo fondativo della teoria dell’informazione, che definisce l’entropia e la capacità di canale come limiti fondamentali della comunicazione.
1950 articolo di rivista
Macchine calcolatrici e intelligenza
Teoria Precoce Alan M. Turing · Mind LIX(236): 433–460
Propone il gioco dell’imitazione (test di Turing) e formula in modo sistematico la domanda «Le macchine possono pensare?», contribuendo a fondare l’IA come programma di ricerca.
1955 articolo di rivista
Una proposta per il progetto di ricerca estivo di Dartmouth sull’intelligenza artificiale
Teoria Precoce John McCarthy, Marvin L. Minsky, Nathaniel Rochester, Claude E. Shannon · Dartmouth College, 1955; republished in AI Magazine 27(4): 12–14 (2006)
La proposta fondativa del seminario estivo di Dartmouth introdusse il termine «intelligenza artificiale» e delineò il programma di ricerca del campo.
1956 articolo di rivista
La macchina della teoria logica: un sistema complesso di elaborazione dell’informazione
Nascita dell'IA Allen Newell, Herbert A. Simon · IRE Transactions on Information Theory IT-2(3): 61–79
Descrive il Logic Theorist, uno dei primi programmi di dimostrazione automatica, che dimostrò mediante ricerca euristica teoremi dei Principia Mathematica di Whitehead e Russell, mostrando il ragionamento automatico nella logica proposizionale.
1958 articolo di rivista
Elementi di una teoria della risoluzione umana dei problemi
Nascita dell'IA Newell, A., Shaw, J. C., Simon, H. A. · Psychological Review 65(3): 151–166
Descrive la risoluzione umana dei problemi come ricerca euristica in uno spazio di stati simbolici, l’analisi alla base del General Problem Solver e della concezione della mente come elaborazione di informazione.
1958 articolo di rivista
Il percettrone: un modello probabilistico per la memorizzazione e l’organizzazione dell’informazione nel cervello
Nascita dell'IA Frank Rosenblatt · Psychological Review 65(6): 386–408
Introduce il primo neurone a soglia lineare addestrabile, dando origine alla tradizione connessionista che conduce al moderno deep learning.
1958 articolo di conferenza
Programmi dotati di senso comune
Nascita dell'IA John McCarthy · Proceedings of the Symposium on Mechanisation of Thought Processes (NPL Teddington), 75–91. London: HMSO
Propone l’«advice taker», un programma capace di trarre conclusioni da un deposito formale di conoscenza di senso comune, gettando le basi concettuali per la rappresentazione della conoscenza e il ragionamento.
1959 articolo di rivista
Alcuni studi sull’apprendimento automatico con il gioco della dama
Nascita dell'IA Arthur L. Samuel · IBM Journal of Research and Development 3(3): 210–229
Dimostra l’apprendimento tramite partite contro sé stesso con una funzione di valutazione in un programma di dama, una prima pietra miliare dell’apprendimento per rinforzo associata al termine «apprendimento automatico».
1959 articolo di rivista
Nota sulla simmetria sintattica e la manipolazione dei sistemi formali da parte della macchina
Nascita dell'IA Gelernter, H. · Information and Control 2(1): 80–89
Gelernter affronta il modo in cui una macchina può manipolare in modo efficiente sistemi formali i cui predicati presentano un’elevata simmetria, e formula come soluzione un teorema e una regola di simmetria sintattica. Il lavoro accompagna la macchina per la dimostrazione di teoremi geometrici che stava costruendo all’IBM, la quale all’inizio della primavera del 1959 dimostrò il suo primo teorema di geometria piana euclidea.
1960 articolo di conferenza
Circuiti di commutazione adattivi
Nascita dell'IA Bernard Widrow, Marcian E. Hoff · IRE WESCON Convention Record, Part 4, 96–104
Introduce il neurone ADALINE e la regola di apprendimento dei minimi quadrati medi (LMS), precursore della moderna discesa stocastica del gradiente.
1960 articolo di rivista
Funzioni ricorsive di espressioni simboliche e loro calcolo a macchina, parte I
Nascita dell'IA McCarthy, J. · Communications of the ACM 3(4): 184–195
Introduce le espressioni simboliche, le funzioni ricorsive su di esse e l’eval che consente a un linguaggio di interpretare sé stesso, un progetto divenuto Lisp e linguaggio di lavoro dell’IA simbolica.
1961 rapporto tecnico
Principi di neurodinamica: i percettroni e la teoria dei meccanismi cerebrali
Nascita dell'IA Rosenblatt, F. · Cornell Aeronautical Laboratory technical report (DTIC AD0256582)
Raccoglie il lavoro sul perceptron in una teoria completa delle reti probabilistiche a strati, enunciando sia ciò che tali macchine possono apprendere sia dove si ferma la forma a strato singolo.
1966 articolo di rivista
ELIZA: un programma per lo studio della comunicazione in linguaggio naturale tra uomo e macchina
Nascita dell'IA Weizenbaum, J. · Communications of the ACM 9(1): 36–45
Costruisce un programma apparentemente conversazionale con confronto di schemi e regole di riscrittura, e l’autore osserva subito quanta comprensione i lettori gli attribuiscano senza che la possieda.
1982 articolo di rivista
Reti neurali e sistemi fisici con capacità computazionali collettive emergenti
Inverno dell'IA John J. Hopfield · Proceedings of the National Academy of Sciences 79(8): 2554–2558
Introduce la rete di memoria associativa di Hopfield, collegando la computazione neurale ai paesaggi energetici della fisica statistica e riaccendendo l’interesse per le reti neurali agli albori dell’inverno dell’IA.
1982 articolo di rivista
R1: un configuratore di sistemi informatici basato su regole
Inverno dell'IA McDermott, J. · Artificial Intelligence 19(1): 39–88
Documenta un sistema a regole di produzione che configurava ogni giorno gli ordini di calcolatori DEC, uno dei pochi sistemi esperti sopravvissuti all’uso corrente e quantificabile economicamente.
1986 articolo di rivista
Fusione, propagazione e strutturazione nelle reti di credenza
Inverno dell'IA Judea Pearl · Artificial Intelligence 29(3): 241–288
Sistematizza le operazioni di fusione, propagazione e strutturazione nelle reti di credenza, fornendo le fondamenta algoritmiche per l’inferenza nelle reti bayesiane.
1986 articolo di rivista
Apprendimento di rappresentazioni mediante retropropagazione degli errori
Inverno dell'IA David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams · Nature 323(6088): 533–536
L’esposizione canonica dell’algoritmo di retropropagazione per le reti neurali multistrato, che mostra come le unità nascoste possano apprendere rappresentazioni interne utili e rilancia la ricerca connessionista alla fine degli anni Ottanta.
1988 articolo di rivista
Imparare a prevedere con i metodi delle differenze temporali
Inverno dell'IA Richard S. Sutton · Machine Learning 3(1): 9–44
Sistematizza l’apprendimento per differenze temporali (TD), che diventa uno degli algoritmi fondamentali alla base del moderno reinforcement learning.
1990 articolo di rivista
Trovare la struttura nel tempo
Inverno dell'IA Jeffrey L. Elman · Cognitive Science 14(2): 179–211
Introduce la rete ricorrente semplice di Elman, mostrando che le reti neurali possono apprendere la struttura temporale e preparando il terreno ai successivi modelli sequenziali.
1995 articolo di rivista
Reti a vettori di supporto
Rinascita Corinna Cortes, Vladimir Vapnik · Machine Learning 20(3): 273–297
Introduce la support vector machine a margine morbido, il classico classificatore a massimo margine che ha definito larga parte del machine learning degli anni novanta.
1997 articolo di rivista
Memoria a lungo breve termine
Rinascita Sepp Hochreiter, Jürgen Schmidhuber · Neural Computation 9(8): 1735–1780
Introduce il LSTM originale con celle di memoria e gate di ingresso e uscita; il gate di dimenticanza oggi standard fu aggiunto in seguito da Gers, Schmidhuber e Cummins.
1998 articolo di rivista
Apprendimento basato sul gradiente applicato al riconoscimento di documenti
Rinascita Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner · Proceedings of the IEEE 86(11): 2278–2324
Introduce LeNet-5, la rete neurale convoluzionale canonica che raggiunge una qualità di riconoscimento delle cifre manoscritte di livello produttivo, stabilendo il modello di riferimento per le CNN.
2006 articolo di rivista
Ridurre la dimensionalità dei dati con le reti neurali
Rinascita Geoffrey E. Hinton, Ruslan R. Salakhutdinov · Science 313(5786): 504–507
Introduce un deep autoencoder che ricostruisce dati ad alta dimensionalità in modo molto più fedele della PCA, accendendo la prima scintilla della rinascita del deep learning.
2006 articolo di rivista
Un algoritmo di apprendimento veloce per le reti di credenza profonde
Rinascita Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh · Neural Computation 18(7): 1527–1554
Ricava un algoritmo greedy veloce che apprende le deep belief net uno strato alla volta e poi le affina; la rete risultante classificava le cifre scritte a mano meglio dei migliori metodi discriminativi dell’epoca, e il risultato ravvivò l’interesse per le reti neurali profonde.
2009 articolo di conferenza
Apprendimento profondo non supervisionato su larga scala con processori grafici
Rinascita Raina, R., Madhavan, A., Ng, A. Y. · Proceedings of the 26th Annual International Conference on Machine Learning (ICML 2009): 873–880
Sposta l’addestramento di modelli profondi non supervisionati sui processori grafici con guadagni di un ordine di grandezza, rendendo consueta la via hardware lungo la quale il deep learning crescerà nel decennio successivo.
2013 articolo di conferenza
Giocare ad Atari con l’apprendimento per rinforzo profondo
Rinascita Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller · NeurIPS 2013 Deep Learning Workshop (arXiv:1312.5602)
DQN combina il Q-learning con una rete convoluzionale che apprende politiche di controllo direttamente dai pixel grezzi; applicato senza modifiche a sette giochi Atari 2600, supera tutti gli approcci precedenti in sei e un esperto umano in tre, aprendo la strada all’apprendimento per rinforzo profondo.
2013 articolo di conferenza
Stima efficiente di rappresentazioni di parole nello spazio vettoriale
Rinascita Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean · ICLR 2013 Workshop (arXiv:1301.3781)
Introduce le architetture skip-gram e CBOW che producono word embedding densi, dando avvio all’era delle rappresentazioni vettoriali pre-addestrate delle parole.
2013 articolo di conferenza
Bayes variazionale con autocodifica
Rinascita Diederik P. Kingma, Max Welling · ICLR 2014 (arXiv:1312.6114)
Il VAE unisce la modellazione generativa a variabili latenti all’addestramento con gradiente stocastico tramite il trucco della riparametrizzazione, diventando uno dei fondamenti dell’apprendimento profondo generativo moderno.
2014 articolo di conferenza
Traduzione automatica neurale tramite l’apprendimento congiunto di allineamento e traduzione
Rinascita Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · ICLR 2015 (arXiv:1409.0473)
Introduce l’attenzione additiva (Bahdanau) nella traduzione automatica neurale, dimostrando che un soft alignment permette al decoder di concentrarsi sui token sorgente rilevanti e ispirando direttamente il Transformer.
2014 articolo di conferenza
Reti generative avversarie
Rinascita Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio · NeurIPS 2014 (arXiv:1406.2661)
Inquadra la modellazione generativa come gioco minimax a due giocatori tra un generatore e un discriminatore, dando vita a una nuova famiglia di modelli generativi impliciti.
2014 articolo di rivista
Dropout: un modo semplice per evitare l’overfitting delle reti neurali
Rinascita Nitish Srivastava, Geoffrey E. Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov · Journal of Machine Learning Research 15(56): 1929–1958
Introduce il dropout, una semplice tecnica stocastica di regolarizzazione che diventa uno standard nelle pipeline di addestramento del deep learning.
2015 articolo di conferenza
Normalizzazione dei batch: accelerare l’addestramento delle reti profonde riducendo lo spostamento interno delle covariate
Rinascita Sergey Ioffe, Christian Szegedy · ICML 2015 (arXiv:1502.03167)
Introduce la batch normalization, normalizzando gli ingressi di ciascun layer su un mini-batch per stabilizzare e accelerare drasticamente l’addestramento delle reti profonde.
2015 preprint
Apprendimento profondo non supervisionato mediante la termodinamica di non equilibrio
Rinascita Sohl-Dickstein, J., Weiss, E. A., Maheswaranathan, N., Ganguli, S. · arXiv:1503.03585
Formula la modellazione generativa come inversione di un processo di rumore graduale, la formulazione su cui poggiano i successivi modelli di diffusione.
2015 articolo di conferenza
Apprendimento residuale profondo per il riconoscimento delle immagini
Rinascita Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · CVPR 2016 (arXiv:1512.03385)
Introduce le connessioni residue, consentendo l’addestramento efficace di reti con centinaia di layer e vincendo ImageNet 2015 con un ampio margine.
2016 articolo di rivista
Traduzione automatica neurale delle parole rare con unità di sottoparola
Rinascita Sennrich, R., Haddow, B., Birch, A. · Proceedings of ACL 2016: 1715–1725 (arXiv:1508.07909)
Divide le parole in unità di sottoparola derivate dalle frequenze, così che un vocabolario fisso possa comporre qualunque forma, schema di segmentazione ereditato dalla maggior parte dei modelli linguistici successivi.
2016 articolo di conferenza
Deep Compression: comprimere le reti neurali profonde con potatura, quantizzazione addestrata e codifica di Huffman
Rinascita Han, S., Mao, H., Dally, W. J. · ICLR 2016 (arXiv:1510.00149)
Riunisce potatura, quantizzazione appresa e codifica di Huffman in un’unica catena che riduce una rete di un ordine di grandezza quasi senza perdita di accuratezza, affermando presto che la precisione numerica è una variabile progettuale.
2016 articolo di conferenza
WaveNet: un modello generativo per l’audio grezzo
Rinascita Aäron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu · NeurIPS 2016 (arXiv:1609.03499)
Introduce un modello autoregressivo basato su convoluzioni causali dilatate che genera forme d’onda audio grezze, migliorando drasticamente la naturalezza della sintesi vocale da testo.
2017 preprint
Algoritmi di ottimizzazione prossimale della politica
Rinascita John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov · arXiv:1707.06347
Introduce PPO, un metodo di policy gradient al primo ordine semplice e stabile che diventa l’algoritmo di ottimizzazione della politica di riferimento nel moderno reinforcement learning.
2017 preprint
Reti neurali smisuratamente grandi: lo strato di miscela di esperti con gating sparso
Rinascita Shazeer, N. et al. · arXiv:1701.06538
Instrada ogni token verso pochi esperti fra molti, lasciando che il numero di parametri di una rete cresca ben oltre il calcolo speso per un singolo ingresso.
2017 articolo di conferenza
L’attenzione è tutto ciò di cui hai bisogno
Rinascita Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · NeurIPS 2017 (arXiv:1706.03762)
Introduce il Transformer, un’architettura basata unicamente sui meccanismi di attenzione che abbandona ricorrenze e convoluzioni e supera la qualità dei precedenti modelli di transduction sequenziale addestrandosi in una frazione del tempo.
2018 articolo di rivista
SentencePiece: un tokenizzatore e detokenizzatore di sottoparole semplice e indipendente dalla lingua per l’elaborazione neurale del testo
Rinascita Kudo, T., Richardson, J. · EMNLP 2018, System Demonstrations: 66–71 (arXiv:1808.06226)
Addestra un segmentatore in sottoparole direttamente dal testo grezzo, senza pre-segmentazione specifica di una lingua, così che la stessa catena serva anche le lingue che non separano le parole con spazi.
2018 articolo di conferenza
BERT: pre-addestramento di Transformer bidirezionali profondi per la comprensione del linguaggio
Rinascita Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova · NAACL 2019 (arXiv:1810.04805)
Introduce un Transformer bidirezionale pre-addestrato con masked language modeling e previsione della frase successiva, stabilendo un nuovo stato dell’arte nei benchmark di NLP.
2019 articolo di rivista
Esplorare i limiti del transfer learning con un Transformer testo-testo unificato
Rinascita Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu · Journal of Machine Learning Research 21(140): 1–67 (arXiv:1910.10683)
Riformula ogni compito di NLP come text-to-text, effettuando un’ablazione sistematica delle scelte di transfer learning e definendo una ricetta di riferimento per i modelli pre-addestrati su larga scala.
2020 articolo di conferenza
Modelli probabilistici di diffusione con rimozione del rumore
Era dei LLM Jonathan Ho, Ajay Jain, Pieter Abbeel · NeurIPS 2020 (arXiv:2006.11239)
Introduce i DDPM, mostrando che i modelli probabilistici di diffusione a denoising iterativo eguagliano le GAN nella sintesi di immagini ad alta fedeltà.
2021 articolo di rivista
Addestramento efficiente di modelli linguistici su larga scala su cluster di GPU con Megatron-LM
Era dei LLM Narayanan, D. et al. · SC 2021: 1–15 (arXiv:2104.04473)
Compone parallelismo di tensori, di pipeline e di dati in un unico schedule e misura la produttività dell’addestramento di un modello linguistico su migliaia di GPU.
2021 preprint
LoRA: adattamento a basso rango dei grandi modelli linguistici
Era dei LLM Hu, E. J. et al. · arXiv:2106.09685
Congela i pesi preaddestrati e addestra invece una coppia di matrici a rango ridotto, riducendo il costo di adattare un grande modello a una frazione del fine-tuning completo.
2021 articolo di conferenza
Generazione zero-shot di immagini da testo
Era dei LLM Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever · ICML 2021 (arXiv:2102.12092)
Usa un Transformer autoregressivo su token discreti di testo e immagine per generare immagini di alta qualità da testo in modalità zero-shot (DALL·E).
2021 articolo di conferenza
Apprendere modelli visivi trasferibili dalla supervisione in linguaggio naturale
Era dei LLM Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever · ICML 2021 (arXiv:2103.00020)
Addestra con apprendimento contrastivo su 400 milioni di coppie immagine-testo encoder visivi che si trasferiscono zero-shot a molti compiti a valle.
2021 preprint
Valutare grandi modelli linguistici addestrati sul codice
Era dei LLM Chen, M. et al. · arXiv:2107.03374
Presenta un modello GPT affinato sul codice insieme a un banco di prova valutato sulla correttezza funzionale, trasformando la programmazione da genere di generazione testuale in capacità misurabile, e ne discute gli effetti su sicurezza e lavoro.
2021 articolo di conferenza
Sintesi di immagini ad alta risoluzione con modelli di diffusione latente
Era dei LLM Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer · CVPR 2022 (arXiv:2112.10752)
Esegue la diffusione nello spazio latente di un autoencoder preaddestrato, consentendo una sintesi testo-immagine ad alta risoluzione con risorse di calcolo modeste (Stable Diffusion).
2022 articolo di conferenza
Il prompting a catena di pensiero suscita il ragionamento nei grandi modelli linguistici
Era dei LLM Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le, Denny Zhou · NeurIPS 2022 (arXiv:2201.11903)
Mostra che spingere un modello linguistico a generare passi di ragionamento intermedi migliora nettamente le prestazioni su benchmark di ragionamento aritmetico, di buon senso e simbolico.
2022 articolo di conferenza
Addestrare modelli linguistici a seguire istruzioni con il feedback umano
Era dei LLM Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe · NeurIPS 2022 (arXiv:2203.02155)
Affina GPT-3 con l’apprendimento per rinforzo da feedback umano perché segua le istruzioni più fedelmente — il diretto precursore di ChatGPT (InstructGPT).
2022 rapporto tecnico
Constitutional AI: innocuità dal feedback dell’IA
Era dei LLM Yuntao Bai et al. · Anthropic Technical Report 2022 (arXiv:2212.08073)
Introduce il RLAIF, in cui un modello critica e rivede i propri output alla luce di una costituzione scritta, riducendo la dipendenza da etichette umane di danno per l’allineamento.
2023 rapporto tecnico
LLaMA: modelli linguistici di base aperti ed efficienti
Era dei LLM Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample · Meta AI Technical Report 2023 (arXiv:2302.13971)
Addestra modelli fondativi da 7 a 65 miliardi di parametri su migliaia di miliardi di token tratti soltanto da dati pubblici; il modello da 13B supera GPT-3 (175B) nella maggior parte dei benchmark e quello da 65B è competitivo con Chinchilla-70B e PaLM-540B.
2023 articolo di rivista
Una rassegna sugli agenti autonomi basati su grandi modelli linguistici
Era dei LLM Wang, L. et al. · Frontiers of Computer Science 18(6), 2024 (arXiv:2308.11432)
Ordina lavori sparsi sugli agenti secondo costruzione, valutazione e applicazione, segnando il momento in cui il termine passa da un insieme di pratiche a un campo di ricerca.
2023 preprint
QLoRA: fine-tuning efficiente di LLM quantizzati
Era dei LLM Dettmers, T. et al. · arXiv:2305.14314
Retropropaga attraverso un modello di base quantizzato a 4 bit verso adattatori a rango ridotto, portando il fine-tuning di un grande modello alla portata di una sola GPU.
2023 articolo di conferenza
GPTQ: quantizzazione accurata post-addestramento per Transformer generativi preaddestrati
Era dei LLM Frantar, E., Ashkboos, S., Hoefler, T., Alistarh, D. · ICLR 2023 (arXiv:2210.17323)
Quantizza i pesi di un grande modello linguistico dopo l’addestramento, strato per strato e in un solo passaggio, così da poterlo servire a precisione minore senza riaddestrarlo.
2023 articolo di conferenza
Inferenza veloce dai Transformer tramite decodifica speculativa
Era dei LLM Leviathan, Y., Kalman, M., Matias, Y. · ICML 2023 (arXiv:2211.17192)
Fa proporre più token da un piccolo modello di bozza che il modello obiettivo verifica in parallelo, riducendo la latenza senza alterare la distribuzione di uscita.
2023 articolo di rivista
Gestione efficiente della memoria per l’erogazione di grandi modelli linguistici con PagedAttention
Era dei LLM Kwon, W. et al. · SOSP 2023: 611–626 (arXiv:2309.06180)
Gestisce la cache di attenzione in pagine di dimensione fissa come un sistema operativo gestisce la memoria, così che un server regga molte più richieste concorrenti senza riservare il caso peggiore per ciascuna.
2023 preprint
Mamba: Modellazione di sequenze in tempo lineare con spazi di stato selettivi
Era dei LLM Gu, A. e Dao, T. · arXiv:2312.00752
Presenta Mamba, un’architettura a spazio di stato selettivo senza attenzione che scala linearmente con la lunghezza della sequenza; nella modellazione del linguaggio il suo modello da 3B supera i Transformer della stessa dimensione ed eguaglia quelli grandi il doppio. È diventata una delle architetture post-Transformer più influenti del 2023.