1931 पत्रिका लेख आरम्भिक सिद्धांत
Gödel, K. · Monatshefte für Mathematik und Physik 38(1): 173–198
सिद्ध करता है कि अंकगणित व्यक्त करने में समर्थ हर संगत औपचारिक तंत्र में ऐसे सत्य कथन होते हैं जिन्हें वह सिद्ध नहीं कर सकता — वही सीमा जिसने आगे चलकर यह तय किया कि संगणना और मशीनी तर्क क्या निपटा सकते हैं।
1936 पत्रिका लेख आरम्भिक सिद्धांत
Turing, A. M. · Proceedings of the London Mathematical Society s2-42(1): 230–265
सार्वत्रिक ट्यूरिंग मशीन प्रस्तुत करता है और सिद्ध करता है कि Entscheidungsproblem अनिर्णेय है, जिससे संगणक विज्ञान का सैद्धांतिक आधार बनता है।
1936 पत्रिका लेख आरम्भिक सिद्धांत
Church, A. · American Journal of Mathematics 58(2): 345
λ-कलन के माध्यम से प्रभावी संगणनीयता परिभाषित करता है और ऐसी एक समस्या दिखाता है जिसे कोई भी ऐसी प्रक्रिया तय नहीं कर सकती — ट्यूरिंग से स्वतंत्र रूप से संगणना की सीमा तक पहुँचते हुए।
1943 पत्रिका लेख आरम्भिक सिद्धांत
McCulloch, W. S. & Pitts, W. · Bulletin of Mathematical Biophysics 5(4): 115–133
तंत्रिका क्रिया को प्रतिज्ञप्ति तर्क के रूप में प्रतिरूपित करता है, और कृत्रिम तंत्रिका जालों का पहला गणितीय सिद्धांत देता है।
1948 पत्रिका लेख आरम्भिक सिद्धांत
Shannon, C. E. · Bell System Technical Journal 27(3): 379–423; 27(4): 623–656
सूचना सिद्धांत का संस्थापक शोधपत्र, जो एंट्रॉपी और चैनल क्षमता को संचार की मूलभूत सीमाओं के रूप में परिभाषित करता है।
1950 पत्रिका लेख आरम्भिक सिद्धांत
Turing, A. M. · Mind LIX(236): 433–460
अनुकरण-क्रीड़ा (ट्यूरिंग परीक्षण) प्रस्तावित करता है और “क्या मशीनें सोच सकती हैं?” प्रश्न को व्यवस्थित रूप देता है, जिससे AI एक शोध-कार्यक्रम के रूप में स्थापित होने में सहायता मिली।
1955 पत्रिका लेख आरम्भिक सिद्धांत
McCarthy, J., Minsky, M. L., Rochester, N. & Shannon, C. E. · Dartmouth College, 1955; republished in AI Magazine 27(4): 12–14 (2006)
Dartmouth ग्रीष्म कार्यशाला का संस्थापक प्रस्ताव, जिसने “कृत्रिम बुद्धिमत्ता” शब्द प्रस्तुत किया और इस क्षेत्र का शोध-एजेंडा रेखांकित किया।
1956 पत्रिका लेख AI का जन्म
Newell, A. & Simon, H. A. · IRE Transactions on Information Theory IT-2(3): 61–79
Logic Theorist का वर्णन करता है — गणितीय प्रमेय सिद्ध करने वाला पहला प्रोग्राम, जो प्रतिज्ञप्ति तर्क में स्वचालित तर्कण दिखाता है।
1958 पत्रिका लेख AI का जन्म
Newell, A., Shaw, J. C., Simon, H. A. · Psychological Review 65(3): 151–166
मानव समस्या-समाधान को प्रतीकात्मक अवस्थाओं के परिसर में अनुमानपरक खोज के रूप में प्रस्तुत करता है — वही विवरण जिस पर General Problem Solver और मन का सूचना-संसाधन दृष्टिकोण टिका है।
1958 पत्रिका लेख AI का जन्म
Rosenblatt, F. · Psychological Review 65(6): 386–408
पहला प्रशिक्षणीय रैखिक-देहली न्यूरॉन प्रस्तुत करता है, और उस संयोजनवादी परम्परा की नींव रखता है जो आधुनिक गहन अधिगम तक जाती है।
1958 सम्मेलन शोधपत्र AI का जन्म
McCarthy, J. · Proceedings of the Symposium on Mechanisation of Thought Processes (NPL Teddington), 75–91. London: HMSO
Advice Taker प्रस्तावित करता है — एक ऐसा प्रोग्राम जो घोषणात्मक स्वयंसिद्धों से तर्क करता है और अंग्रेज़ी वाक्यों के रूप में नई “सलाह” स्वीकारता है, जिससे ज्ञान-निरूपण और प्रतीकात्मक AI का शोध-एजेंडा स्थापित होने में सहायता मिली।
1959 पत्रिका लेख AI का जन्म
Samuel, A. L. · IBM Journal of Research and Development 3(3): 210–229
चेकर्स के एक प्रोग्राम में अंक-फलन के साथ स्वयं से खेलकर सीखना दिखाता है — पुनर्बलन अधिगम का एक आरम्भिक पड़ाव, जो “मशीन अधिगम” शब्द से जुड़ा है।
1959 पत्रिका लेख AI का जन्म
Gelernter, H. · Information and Control 2(1): 80–89
Gelernter यह प्रश्न उठाते हैं कि कोई मशीन उन औपचारिक तंत्रों को कुशलता से कैसे सँभाल सकती है जिनके विधेय अत्यधिक सममित हैं, और समाधान के रूप में वाक्यरचनात्मक सममिति की एक प्रमेय तथा एक नियम प्रस्तुत करते हैं। यह कार्य उसी ज्यामिति प्रमेय मशीन के साथ चलता है जिसे वे IBM में बना रहे थे, और जिसने 1959 के वसंत के आरम्भ में प्रारम्भिक यूक्लिडीय समतल ज्यामिति में अपनी पहली प्रमेय सिद्ध की।
1960 सम्मेलन शोधपत्र AI का जन्म
Widrow, B., Hoff, M. E. · IRE WESCON Convention Record, Part 4, 96–104
ADALINE न्यूरॉन और Least-Mean-Squares (LMS) अधिगम-नियम प्रस्तुत करता है, जो आधुनिक प्रसंभाव्य प्रवणता अवरोहण का पूर्ववर्ती है।
1960 पत्रिका लेख AI का जन्म
McCarthy, J. · Communications of the ACM 3(4): 184–195
प्रतीकात्मक अभिव्यक्तियाँ, उन पर पुनरावर्ती फलन, और वह eval प्रस्तुत करता है जो किसी भाषा को स्वयं की व्याख्या करने देता है — वही रचना जो Lisp बनी और प्रतीकात्मक AI की कार्यभाषा।
1961 तकनीकी रिपोर्ट AI का जन्म
Rosenblatt, F. · Cornell Aeronautical Laboratory technical report (DTIC AD0256582)
परसेप्ट्रॉन के काम को स्तरित प्रसंभाव्य जालों के पूर्ण सिद्धांत में समेटता है, और यह भी बताता है कि ऐसी मशीनें क्या सीख सकती हैं और एकल-स्तरीय रूप कहाँ रुक जाता है।
1966 पत्रिका लेख AI का जन्म
Weizenbaum, J. · Communications of the ACM 9(1): 36–45
प्रतिरूप-मिलान और पुनर्लेखन के नियमों से एक ऐसा प्रोग्राम बनाता है जो वार्तालाप करता प्रतीत होता है, और उसका लेखक तत्काल यह भी बताता है कि पाठक उसमें कितनी समझ मान बैठते हैं जो उसमें है ही नहीं।
1982 पत्रिका लेख AI का शीतकाल
Hopfield, J. J. · Proceedings of the National Academy of Sciences 79(8): 2554–2558
Hopfield साहचर्य-स्मृति जाल प्रस्तुत करता है, जो तंत्रिका संगणना को सांख्यिकीय भौतिकी के ऊर्जा-परिदृश्यों से जोड़ता है और आरम्भिक AI शीतकाल में तंत्रिका जालों में रुचि फिर जगाता है।
1982 पत्रिका लेख AI का शीतकाल
McDermott, J. · Artificial Intelligence 19(1): 39–88
एक उत्पादन-नियम तंत्र का अभिलेख, जो प्रतिदिन DEC कम्प्यूटरों के ऑर्डर विन्यस्त करता था — उन गिने-चुने विशेषज्ञ तंत्रों में से एक जो नियमित उत्पादन-उपयोग में टिके और जिनकी लागत आँकी जा सकी।
1986 पत्रिका लेख AI का शीतकाल
Pearl, J. · Artificial Intelligence 29(3): 241–288
बायेसीय विश्वास-जालों की अल्गोरिद्मीय नींव रखता है, जिसमें वृक्ष-संरचित ग्राफ़ों पर संदेश-संचरण और वह नैतिकीकरण/त्रिभुजन प्रणाली शामिल है जो आधुनिक प्रसंभाव्य अनुमान तथा कारण-तर्क को चलाती है।
1986 पत्रिका लेख AI का शीतकाल
Rumelhart, D. E., Hinton, G. E., Williams, R. J. · Nature 323(6088): 533–536
बहुस्तरीय तंत्रिका जालों के लिए प्रतिप्रसार अल्गोरिद्म का मानक कथन, जो दिखाता है कि छिपी इकाइयाँ उपयोगी आंतरिक निरूपण सीख सकती हैं, और जिसने 1980 के दशक के उत्तरार्ध में संयोजनवादी शोध फिर सुलगाया।
1988 पत्रिका लेख AI का शीतकाल
Sutton, R. S. · Machine Learning 3(1): 9–44
कालिक-अंतर (TD) अधिगम के कुल को औपचारिक रूप देता है, Samuel के चेकर्स-शिक्षक को पशु-मनोविज्ञान के गौण पुनर्बलन से जोड़ता है, और TD(λ), Q-learning तथा आधुनिक नीति-प्रवणता विधियों की अल्गोरिद्मीय नींव रखता है।
1990 पत्रिका लेख AI का शीतकाल
Elman, J. L. · Cognitive Science 14(2): 179–211
Simple Recurrent Network (Elman जाल) प्रस्तुत करता है और दिखाता है कि क्रमिक निवेश पर प्रशिक्षण से निम्न-विमीय गतिक संरचना उभर सकती है — पुनरावर्ती जालों में उपयोगी निरूपण-अधिगम के आरम्भिकतम प्रदर्शनों में से एक।
1995 पत्रिका लेख पुनर्जागरण
Cortes, C., Vapnik, V. · Machine Learning 20(3): 273–297
मृदु-सीमांत संवाहक-सदिश मशीन प्रस्तुत करता है, जो अवियोज्य आँकड़ों को सँभालने के लिए शिथिल चर जोड़ती है और अधिकतम-सीमांत वर्गीकारक को 1990 के दशक के उत्तरार्ध की प्रमुख सर्वप्रयोजन अधिगम-विधि बना देती है।
1997 पत्रिका लेख पुनर्जागरण
Hochreiter, S., Schmidhuber, J. · Neural Computation 9(8): 1735–1780
मूल LSTM संरचना प्रस्तुत करता है, जो लम्बे अनुक्रमों में त्रुटि-प्रवाह बनाए रखने के लिए स्मृति-कोष्ठ, निवेश-द्वार और निर्गम-द्वार का उपयोग करती है; अब मानक बन चुका विस्मृति-द्वार बाद में Gers, Schmidhuber और Cummins ने प्रस्तुत किया।
1998 पत्रिका लेख पुनर्जागरण
LeCun, Y., Bottou, L., Bengio, Y., Haffner, P. · Proceedings of the IEEE 86(11): 2278–2324
LeNet-5 संवलनीय तंत्रिका जाल और आद्योपांत प्रवणता-आधारित अधिगम की पूरी शृंखला प्रस्तुत करता है — जिसमें हानि-स्तर, संवलन तथा संपुंजन के आर-पार प्रतिप्रसार, और ग्राफ़-रूपांतरणीय जाल-वर्णन शामिल हैं — और जो आधुनिक गहन दृष्टि-मॉडलों का खाका बनी।
2006 पत्रिका लेख पुनर्जागरण
Geoffrey E. Hinton, Ruslan R. Salakhutdinov · Science 313(5786): 504–507
एक गहन स्वसंकेतक प्रस्तुत करता है जो उच्च-विमीय आँकड़ों का पुनर्निर्माण PCA से कहीं अधिक निष्ठा से करता है, और गहन अधिगम के पुनर्जागरण की पहली चिंगारी जलाता है।
2006 पत्रिका लेख पुनर्जागरण
Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh · Neural Computation 18(7): 1527–1554
विपरीत-अपसरण और लोभी स्तर-दर-स्तर पूर्वप्रशिक्षण प्रस्तुत करता है, जिससे पहली बार गहन जालों का प्रभावी प्रशिक्षण संभव हुआ और संयोजनवाद के प्रति संदेह का लम्बा शीतकाल समाप्त हुआ।
2009 सम्मेलन शोधपत्र पुनर्जागरण
Raina, R., Madhavan, A., Ng, A. Y. · Proceedings of the 26th Annual International Conference on Machine Learning (ICML 2009): 873–880
गहन नि:पर्यवेक्षित मॉडलों का प्रशिक्षण आलेखी प्रोसेसरों पर ले जाता है और परिमाण-कोटि की तेज़ी लाता है, जिससे वह हार्डवेयर-मार्ग सामान्य बना जिस पर अगले दशक का गहन अधिगम फैला।
2013 सम्मेलन शोधपत्र पुनर्जागरण
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller · NeurIPS 2013 Deep Learning Workshop (arXiv:1312.5602)
DQN, Q-learning को गहन संवलनीय जालों से जोड़ता है और कच्चे पिक्सेलों से Atari 2600 के खेलों में मानव-स्तर का प्रदर्शन पाता है, जिससे सामान्य पुनर्बलन अधिगम का द्वार खुलता है।
2013 सम्मेलन शोधपत्र पुनर्जागरण
Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean · ICLR 2013 Workshop (arXiv:1301.3781)
word2vec के CBOW और Skip-gram मॉडल बड़े पैमाने पर शब्द-अंतःस्थापन का प्रशिक्षण सस्ता बना देते हैं और king - man + woman ≈ queen जैसी शब्दार्थ-ज्यामिति को प्रसिद्ध रूप से उजागर करते हैं।
2013 सम्मेलन शोधपत्र पुनर्जागरण
Diederik P. Kingma, Max Welling · ICLR 2014 (arXiv:1312.6114)
VAE, गुप्त-चर जनक प्रतिरूपण को पुनःप्राचलन की युक्ति के ज़रिए प्रसंभाव्य प्रवणता-प्रशिक्षण से जोड़ता है, और आधुनिक जनक गहन अधिगम को उसका गणितीय आधार देता है।
2014 सम्मेलन शोधपत्र पुनर्जागरण
Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · ICLR 2015 (arXiv:1409.0473)
संकेतक-विसंकेतक अनुवाद में सीखा हुआ अवधान लाता है, लम्बे वाक्यों को नियत-लम्बाई की अड़चन से मुक्त करता है, और आगे आने वाले हर Transformer का बीज बोता है।
2014 सम्मेलन शोधपत्र पुनर्जागरण
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio · NeurIPS 2014 (arXiv:1406.2661)
GAN में जनक और विवेचक आपस में द्वंद्व करके उच्च-विमीय बंटन अप्रत्यक्ष रूप से सीखते हैं, जिससे जनक प्रतिरूपण का दूसरा बड़ा रास्ता खुलता है।
2014 पत्रिका लेख पुनर्जागरण
Nitish Srivastava, Geoffrey E. Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov · Journal of Machine Learning Research 15(56): 1929–1958
Dropout इकाइयों को यादृच्छिक रूप से चुप कराकर सह-अनुकूलन तोड़ता है, बड़े जालों में सामान्यीकरण तेज़ी से सुधारता है, और गहन अधिगम की प्रथा का मानक औज़ार बन जाता है।
2015 सम्मेलन शोधपत्र पुनर्जागरण
Sergey Ioffe, Christian Szegedy · ICML 2015 (arXiv:1502.03167)
BatchNorm स्तरों के निवेश को सामान्यीकृत करता है, जिससे गहन जाल ऊँची अधिगम-दर पर प्रशिक्षित होकर तेज़ी से अभिसरित होते हैं; यह दृष्टि-मॉडलों का लगभग स्वतःसिद्ध घटक बन गया।
2015 पूर्वमुद्रण पुनर्जागरण
Sohl-Dickstein, J., Weiss, E. A., Maheswaranathan, N., Ganguli, S. · arXiv:1503.03585
जनक प्रतिरूपण को क्रमिक शोर-मिलाने की प्रक्रिया के उलटाव के रूप में प्रस्तुत करता है — वही सूत्रीकरण जिस पर बाद के डिफ़्यूज़न मॉडल टिके हैं।
2015 सम्मेलन शोधपत्र पुनर्जागरण
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · CVPR 2016 (arXiv:1512.03385)
अवशिष्ट संयोजन सौ और हज़ार स्तरों वाले जालों का प्रशिक्षण स्थिर करते हैं; ResNet ने ImageNet पर 3.57% top-5 त्रुटि पाई — मानव-स्तर की शुद्धता पार करने वाला पहला मॉडल और दृष्टि-मॉडलों के पैमाने का पुनर्निर्धारण।
2016 पत्रिका लेख पुनर्जागरण
Sennrich, R., Haddow, B., Birch, A. · Proceedings of ACL 2016: 1715–1725 (arXiv:1508.07909)
शब्दों को आवृत्ति से निकाली गई उप-शब्द इकाइयों में बाँटता है ताकि एक नियत शब्दकोश कुछ भी लिख सके — वही टोकनीकरण योजना जो आगे के अधिकांश भाषा-मॉडलों को विरासत में मिली।
2016 सम्मेलन शोधपत्र पुनर्जागरण
Han, S., Mao, H., Dally, W. J. · ICLR 2016 (arXiv:1510.00149)
छँटाई, प्रशिक्षित क्वांटीकरण और हफ़मैन कूटन को एक ही शृंखला में जोड़ता है, जो जाल को परिमाण-कोटि तक छोटा कर देती है और शुद्धता में बहुत कम हानि होती है — यह आरम्भिक कथन कि संख्यात्मक परिशुद्धता एक रचना-चर है।
2016 सम्मेलन शोधपत्र पुनर्जागरण
Aäron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu · NeurIPS 2016 (arXiv:1609.03499)
WaveNet कच्चे ऑडियो को नमूना-दर-नमूना विस्तारित कारण-संवलनों से प्रतिरूपित करता है, वाक्-संश्लेषण को मानव स्वाभाविकता के निकट ले जाता है और आगे के तंत्रिका ध्वनि-मॉडलों का मार्ग प्रशस्त करता है।
2017 पूर्वमुद्रण पुनर्जागरण
John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov · arXiv:1707.06347
PPO, trust-region की प्रणाली के स्थान पर एक कटा हुआ प्रथम-कोटि प्रतिस्थापी रखता है, जिससे नीति-प्रवणता विधियाँ बड़े पैमाने पर स्थिर भी होती हैं और कुशल भी, और जो शीघ्र ही व्यावहारिक RL का वास्तविक मानक बन गया।
2017 पूर्वमुद्रण पुनर्जागरण
Shazeer, N. et al. · arXiv:1701.06538
हर टोकन को अनेक में से केवल कुछ विशेषज्ञों से गुज़ारता है, जिससे किसी जाल की प्राचल-संख्या उस संगणना से कहीं आगे बढ़ सकती है जो किसी एक निवेश पर खर्च होती है।
2017 सम्मेलन शोधपत्र पुनर्जागरण
Vaswani et al. · NeurIPS 2017 (arXiv:1706.03762)
Transformer प्रस्तुत करता है — केवल अवधान पर टिकी एक संरचना जो पुनरावर्तन और संवलन दोनों छोड़ देती है, और पूर्ववर्ती अनुक्रम-अनुवादन की गुणवत्ता से आगे निकलते हुए उसके एक अंश समय में प्रशिक्षित होती है।
2018 पत्रिका लेख पुनर्जागरण
Kudo, T., Richardson, J. · EMNLP 2018, System Demonstrations: 66–71 (arXiv:1808.06226)
कच्चे पाठ से सीधे एक उप-शब्द टोकनकार प्रशिक्षित करता है, बिना किसी भाषा-विशिष्ट पूर्व-टोकनीकरण के, ताकि एक ही शृंखला उन भाषाओं की भी सेवा कर सके जो शब्दों को रिक्ति से अलग नहीं करतीं।
2018 सम्मेलन शोधपत्र पुनर्जागरण
Devlin et al. · NAACL 2019 (arXiv:1810.04805)
बहिरावृत भाषा-प्रतिरूपण और अगले-वाक्य की भविष्यवाणी से एक गहन द्विदिश Transformer का पूर्वप्रशिक्षण करता है, और फिर ग्यारह NLP मानक-परीक्षाओं पर नया सर्वोत्तम स्तर स्थापित करता है।
2019 पत्रिका लेख पुनर्जागरण
Raffel et al. · Journal of Machine Learning Research 21(140): 1–67 (arXiv:1910.10683)
हर NLP कार्य को पाठ-से-पाठ के रूप में प्रस्तुत करता है और एक एकीकृत Transformer के लिए स्थानांतरण-अधिगम की रचना-चुनौतियों की व्यवस्थित तुलना C4 कोश से करता है।
2020 सम्मेलन शोधपत्र LLM का युग
Ho, Jain, Abbeel · NeurIPS 2020 (arXiv:2006.11239)
DDPM प्रस्तुत करता है और दिखाता है कि पुनरावृत्त शोध-हरण डिफ़्यूज़न प्रसंभाव्य मॉडल उच्च-निष्ठा छवि-संश्लेषण में GAN की बराबरी करते हैं।
2021 पत्रिका लेख LLM का युग
Narayanan, D. et al. · SC 2021: 1–15 (arXiv:2104.04473)
टेंसर, पाइपलाइन और आँकड़ा समांतरता को एक ही अनुसूची में पिरोता है और हज़ारों GPU पर एक भाषा-मॉडल के प्रशिक्षण का निर्गम मापता है।
2021 पूर्वमुद्रण LLM का युग
Hu, E. J. et al. · arXiv:2106.09685
पूर्वप्रशिक्षित भारों को जमा रखता है और उनके बजाय निम्न-कोटि आव्यूहों की एक जोड़ी प्रशिक्षित करता है, जिससे किसी बड़े मॉडल को ढालने की लागत पूर्ण सूक्ष्म-अनुकूलन के एक छोटे अंश तक घट जाती है।
2021 सम्मेलन शोधपत्र LLM का युग
Ramesh et al. · ICML 2021 (arXiv:2102.12092)
विविक्त पाठ और छवि टोकनों पर स्वप्रतिगामी Transformer चलाकर उच्च गुणवत्ता की नि:उदाहरण पाठ-से-छवि रचनाएँ बनाता है (DALL·E)।
2021 सम्मेलन शोधपत्र LLM का युग
Radford et al. · ICML 2021 (arXiv:2103.00020)
40 करोड़ जोड़ों पर छवि-पाठ विपरीत अधिगम प्रशिक्षित करता है और ऐसे दृष्टि-संकेतक बनाता है जो अनेक अनुवर्ती कार्यों में नि:उदाहरण स्थानांतरित होते हैं।
2021 पूर्वमुद्रण LLM का युग
Chen, M. et al. · arXiv:2107.03374
कोड पर सूक्ष्म-अनुकूलित एक GPT मॉडल और साथ में कार्यात्मक शुद्धता से आँकी जाने वाली एक मानक-परीक्षा प्रस्तुत करता है, जिससे प्रोग्रामिंग पाठ-सृजन की एक विधा से बदलकर एक मापी जा सकने वाली क्षमता बन जाती है, और साथ ही उसके सुरक्षा तथा श्रम-सम्बन्धी प्रभावों पर चर्चा करता है।
2021 सम्मेलन शोधपत्र LLM का युग
Rombach et al. · CVPR 2022 (arXiv:2112.10752)
पूर्वप्रशिक्षित स्वसंकेतक के गुप्त परिसर में डिफ़्यूज़न चलाता है, जिससे साधारण संगणना पर उच्च-विभेदन पाठ-से-छवि संश्लेषण संभव होता है (Stable Diffusion)।
2022 सम्मेलन शोधपत्र LLM का युग
Wei et al. · NeurIPS 2022 (arXiv:2201.11903)
दिखाता है कि बड़े भाषा-मॉडलों को बीच के तर्क-चरणों के साथ प्रेरित करने से अंकगणितीय, सामान्यबोध और प्रतीकात्मक तर्क में प्रदर्शन काफ़ी सुधरता है।
2022 सम्मेलन शोधपत्र LLM का युग
Ouyang et al. · NeurIPS 2022 (arXiv:2203.02155)
मानव प्रतिपुष्टि से पुनर्बलन अधिगम द्वारा GPT-3 को सूक्ष्म-अनुकूलित करता है ताकि वह निर्देशों का अधिक निष्ठा से पालन करे — ChatGPT का सीधा पूर्ववर्ती (InstructGPT)।
2022 तकनीकी रिपोर्ट LLM का युग
Bai et al. · Anthropic Technical Report 2022 (arXiv:2212.08073)
RLAIF से एक ऐसा सहायक प्रशिक्षित करता है जो उपयोगी भी हो और अहानिकर भी, जिसमें मॉडल अपने ही निर्गम की समीक्षा और संशोधन एक लिखित संविधान के विरुद्ध करता है।
2023 तकनीकी रिपोर्ट LLM का युग
Touvron et al. · Meta AI Technical Report 2023 (arXiv:2302.13971)
सार्वजनिक रूप से उपलब्ध आँकड़ों पर 7 से 65 अरब प्राचल वाले आधार-मॉडल प्रशिक्षित करता है, और दिखाता है कि खुले मॉडल संगणना के एक अंश पर बंद परबातीय मॉडलों की टक्कर ले सकते हैं।
2023 पत्रिका लेख LLM का युग
Wang, L. et al. · Frontiers of Computer Science 18(6), 2024 (arXiv:2308.11432)
बिखरे हुए एजेंट-कार्य को निर्माण, मूल्यांकन और अनुप्रयोग में व्यवस्थित करता है, और उस बिंदु को अंकित करता है जहाँ यह शब्द प्रथाओं के जमावड़े से जमकर एक क्षेत्र बना।
2023 पूर्वमुद्रण LLM का युग
Dettmers, T. et al. · arXiv:2305.14314
4-बिट क्वांटीकृत आधार मॉडल के आर-पार निम्न-कोटि अनुकूलकों तक प्रतिप्रसार करता है, जिससे किसी बड़े मॉडल का सूक्ष्म-अनुकूलन एक ही GPU की पहुँच में आ जाता है।
2023 सम्मेलन शोधपत्र LLM का युग
Frantar, E., Ashkboos, S., Hoefler, T., Alistarh, D. · ICLR 2023 (arXiv:2210.17323)
किसी बड़े भाषा-मॉडल के भारों को प्रशिक्षण के बाद, एक बार में एक स्तर और एक ही चक्र में क्वांटीकृत करता है, ताकि मॉडल को पुनःप्रशिक्षण के बिना कम परिशुद्धता पर परोसा जा सके।
2023 सम्मेलन शोधपत्र LLM का युग
Leviathan, Y., Kalman, M., Matias, Y. · ICML 2023 (arXiv:2211.17192)
एक छोटा प्रारूप-मॉडल कई टोकन प्रस्तावित करता है जिन्हें लक्ष्य मॉडल समानांतर रूप से सत्यापित करता है, जिससे विलम्ब घटता है और निर्गम-बंटन अपरिवर्तित रहता है।
2023 पत्रिका लेख LLM का युग
Kwon, W. et al. · SOSP 2023: 611–626 (arXiv:2309.06180)
अवधान-संचय को नियत आकार के पन्नों में वैसे ही सँभालता है जैसे कोई प्रचालन-तंत्र स्मृति सँभालता है, जिससे कोई सर्वर हर अनुरोध के लिए सबसे बुरी स्थिति आरक्षित किए बिना कहीं अधिक समवर्ती अनुरोध रख पाता है।
2023 पूर्वमुद्रण LLM का युग
Gu, A. and Dao, T. · arXiv:2312.00752
Mamba प्रस्तुत करता है — एक चयनात्मक अवस्था-परिसर मॉडल संरचना जो भाषा तथा अन्य विधाओं में Transformer के अवधान की बराबरी करती है या उससे आगे निकलती है, और वह भी रैखिक-काल जटिलता पर — 2023 की सबसे प्रभावशाली उत्तर-Transformer संरचना।