1931 से आज तक की 96 प्रतिनिधि कृतियाँ, सम्पादकीय भूमिका के अनुसार समूहित और प्रकाशन-स्थिति के साथ अंकित
शोधपत्र AI के इतिहास का सबसे ठोस ढाँचा हैं। यह सूची इस क्षेत्र को गढ़ने वाली 96 आधारभूत कृतियाँ समेटती है, हर एक अपने प्राथमिक स्रोत से जुड़ी हुई।
चयन का आधार ऐतिहासिक प्रतिनिधित्व, तकनीकी प्रभाव और सम्पादकीय विवेक है। इसमें सहकर्मी-समीक्षित शोधपत्र, तकनीकी रिपोर्ट, पूर्वमुद्रण, स्थिति शोधपत्र और सिस्टम कार्ड शामिल हो सकते हैं, जिन पर प्रकाशन-स्थिति स्पष्ट रूप से अंकित रहती है। सुधार या जोड़ने के सुझाव सम्पादकीय नीति पृष्ठ के सार्वजनिक माध्यम से भेजे जा सकते हैं।
दिखा रहे हैं 96 में से 96 शोधपत्र
Principia Mathematica और सम्बद्ध प्रणालियों के औपचारिक रूप से अनिर्णेय प्रस्तावों पर I
सिद्ध करता है कि अंकगणित व्यक्त करने में समर्थ हर संगत औपचारिक तंत्र में ऐसे सत्य कथन होते हैं जिन्हें वह सिद्ध नहीं कर सकता — वही सीमा जिसने आगे चलकर यह तय किया कि संगणना और मशीनी तर्क क्या निपटा सकते हैं।
संगणनीय संख्याओं पर, Entscheidungsproblem पर एक अनुप्रयोग के साथ
सार्वत्रिक ट्यूरिंग मशीन प्रस्तुत करता है और सिद्ध करता है कि Entscheidungsproblem अनिर्णेय है, जिससे संगणक विज्ञान का सैद्धांतिक आधार बनता है।
प्रारम्भिक संख्या-सिद्धान्त की एक असमाधेय समस्या
λ-कलन के माध्यम से प्रभावी संगणनीयता परिभाषित करता है और ऐसी एक समस्या दिखाता है जिसे कोई भी ऐसी प्रक्रिया तय नहीं कर सकती — ट्यूरिंग से स्वतंत्र रूप से संगणना की सीमा तक पहुँचते हुए।
तंत्रिका-गतिविधि में अन्तर्निहित विचारों का एक तार्किक कलन
तंत्रिका क्रिया को प्रतिज्ञप्ति तर्क के रूप में प्रतिरूपित करता है, और कृत्रिम तंत्रिका जालों का पहला गणितीय सिद्धांत देता है।
संचार का एक गणितीय सिद्धान्त
सूचना सिद्धांत का संस्थापक शोधपत्र, जो एंट्रॉपी और चैनल क्षमता को संचार की मूलभूत सीमाओं के रूप में परिभाषित करता है।
संगणन-यंत्र और बुद्धिमत्ता
अनुकरण-क्रीड़ा (ट्यूरिंग परीक्षण) प्रस्तावित करता है और “क्या मशीनें सोच सकती हैं?” प्रश्न को व्यवस्थित रूप देता है, जिससे AI एक शोध-कार्यक्रम के रूप में स्थापित होने में सहायता मिली।
कृत्रिम बुद्धिमत्ता पर डार्टमथ ग्रीष्मकालीन शोध परियोजना का प्रस्ताव
Dartmouth ग्रीष्म कार्यशाला का संस्थापक प्रस्ताव, जिसने “कृत्रिम बुद्धिमत्ता” शब्द प्रस्तुत किया और इस क्षेत्र का शोध-एजेंडा रेखांकित किया।
तर्क-सिद्धान्त यंत्र: एक जटिल सूचना-प्रसंस्करण प्रणाली
Logic Theorist का वर्णन करता है — एक आरम्भिक प्रमेय-साधक प्रोग्राम, जिसने अनुमानी खोज से व्हाइटहेड और रसेल की Principia Mathematica के प्रमेय सिद्ध किए और प्रतिज्ञप्ति तर्क में स्वचालित तर्कण दिखाया।
मानवीय समस्या-समाधान के एक सिद्धान्त के तत्त्व
मानव समस्या-समाधान को प्रतीकात्मक अवस्थाओं के परिसर में अनुमानपरक खोज के रूप में प्रस्तुत करता है — वही विवरण जिस पर General Problem Solver और मन का सूचना-संसाधन दृष्टिकोण टिका है।
परसेप्ट्रॉन: मस्तिष्क में सूचना के भंडारण और संगठन का एक प्रायिकतात्मक मॉडल
पहला प्रशिक्षणीय रैखिक-देहली न्यूरॉन प्रस्तुत करता है, और उस संयोजनवादी परम्परा की नींव रखता है जो आधुनिक गहन अधिगम तक जाती है।
सामान्य बुद्धि वाले प्रोग्राम
Advice Taker प्रस्तावित करता है — एक ऐसा प्रोग्राम जो घोषणात्मक स्वयंसिद्धों से तर्क करता है और अंग्रेज़ी वाक्यों के रूप में नई “सलाह” स्वीकारता है, जिससे ज्ञान-निरूपण और प्रतीकात्मक AI का शोध-एजेंडा स्थापित होने में सहायता मिली।
चेकर्स के खेल के माध्यम से मशीन अधिगम के कुछ अध्ययन
चेकर्स के एक प्रोग्राम में अंक-फलन के साथ स्वयं से खेलकर सीखना दिखाता है — पुनर्बलन अधिगम का एक आरम्भिक पड़ाव, जो “मशीन अधिगम” शब्द से जुड़ा है।
वाक्यात्मक सममिति और यंत्र द्वारा औपचारिक प्रणालियों के परिचालन पर एक टिप्पणी
Gelernter यह प्रश्न उठाते हैं कि कोई मशीन उन औपचारिक तंत्रों को कुशलता से कैसे सँभाल सकती है जिनके विधेय अत्यधिक सममित हैं, और समाधान के रूप में वाक्यरचनात्मक सममिति की एक प्रमेय तथा एक नियम प्रस्तुत करते हैं। यह कार्य उसी ज्यामिति प्रमेय मशीन के साथ चलता है जिसे वे IBM में बना रहे थे, और जिसने 1959 के वसंत के आरम्भ में प्रारम्भिक यूक्लिडीय समतल ज्यामिति में अपनी पहली प्रमेय सिद्ध की।
अनुकूली स्विचन परिपथ
ADALINE न्यूरॉन और Least-Mean-Squares (LMS) अधिगम-नियम प्रस्तुत करता है, जो आधुनिक प्रसंभाव्य प्रवणता अवरोहण का पूर्ववर्ती है।
प्रतीकात्मक व्यंजकों के पुनरावर्ती फलन और यंत्र द्वारा उनका संगणन, भाग I
प्रतीकात्मक अभिव्यक्तियाँ, उन पर पुनरावर्ती फलन, और वह eval प्रस्तुत करता है जो किसी भाषा को स्वयं की व्याख्या करने देता है — वही रचना जो Lisp बनी और प्रतीकात्मक AI की कार्यभाषा।
तंत्रिका-गतिकी के सिद्धान्त: परसेप्ट्रॉन और मस्तिष्क-क्रियाविधि का सिद्धान्त
परसेप्ट्रॉन के काम को स्तरित प्रसंभाव्य जालों के पूर्ण सिद्धांत में समेटता है, और यह भी बताता है कि ऐसी मशीनें क्या सीख सकती हैं और एकल-स्तरीय रूप कहाँ रुक जाता है।
ELIZA: मनुष्य और मशीन के बीच प्राकृतिक भाषा में संवाद के अध्ययन के लिए एक कम्प्यूटर प्रोग्राम
प्रतिरूप-मिलान और पुनर्लेखन के नियमों से एक ऐसा प्रोग्राम बनाता है जो वार्तालाप करता प्रतीत होता है, और उसका लेखक तत्काल यह भी बताता है कि पाठक उसमें कितनी समझ मान बैठते हैं जो उसमें है ही नहीं।
उद्भवी सामूहिक संगणन-क्षमताओं वाले तंत्रिका जाल और भौतिक प्रणालियाँ
Hopfield साहचर्य-स्मृति जाल प्रस्तुत करता है, जो तंत्रिका संगणना को सांख्यिकीय भौतिकी के ऊर्जा-परिदृश्यों से जोड़ता है और आरम्भिक AI शीतकाल में तंत्रिका जालों में रुचि फिर जगाता है।
R1: कम्प्यूटर प्रणालियों का नियम-आधारित विन्यासक
एक उत्पादन-नियम तंत्र का अभिलेख, जो प्रतिदिन DEC कम्प्यूटरों के ऑर्डर विन्यस्त करता था — उन गिने-चुने विशेषज्ञ तंत्रों में से एक जो नियमित उत्पादन-उपयोग में टिके और जिनकी लागत आँकी जा सकी।
विश्वास-जालों में संलयन, प्रसार और संरचना
बायेसीय विश्वास-जालों की अल्गोरिद्मीय नींव रखता है, जिसमें वृक्ष-संरचित ग्राफ़ों पर संदेश-संचरण और वह नैतिकीकरण/त्रिभुजन प्रणाली शामिल है जो आधुनिक प्रसंभाव्य अनुमान तथा कारण-तर्क को चलाती है।
त्रुटियों के पश्च-प्रसार द्वारा निरूपणों का अधिगम
बहुस्तरीय तंत्रिका जालों के लिए प्रतिप्रसार अल्गोरिद्म का मानक कथन, जो दिखाता है कि छिपी इकाइयाँ उपयोगी आंतरिक निरूपण सीख सकती हैं, और जिसने 1980 के दशक के उत्तरार्ध में संयोजनवादी शोध फिर सुलगाया।
कालिक अन्तर की विधियों से पूर्वानुमान करना सीखना
कालिक-अंतर (TD) अधिगम के कुल को औपचारिक रूप देता है, Samuel के चेकर्स-शिक्षक को पशु-मनोविज्ञान के गौण पुनर्बलन से जोड़ता है, और TD(λ), Q-learning तथा आधुनिक नीति-प्रवणता विधियों की अल्गोरिद्मीय नींव रखता है।
समय में संरचना की खोज
Simple Recurrent Network (Elman जाल) प्रस्तुत करता है और दिखाता है कि क्रमिक निवेश पर प्रशिक्षण से निम्न-विमीय गतिक संरचना उभर सकती है — पुनरावर्ती जालों में उपयोगी निरूपण-अधिगम के आरम्भिकतम प्रदर्शनों में से एक।
सपोर्ट-वेक्टर जाल
मृदु-सीमांत संवाहक-सदिश मशीन प्रस्तुत करता है, जो अवियोज्य आँकड़ों को सँभालने के लिए शिथिल चर जोड़ती है और अधिकतम-सीमांत वर्गीकारक को 1990 के दशक के उत्तरार्ध की प्रमुख सर्वप्रयोजन अधिगम-विधि बना देती है।
दीर्घ अल्पकालिक स्मृति
मूल LSTM संरचना प्रस्तुत करता है, जो लम्बे अनुक्रमों में त्रुटि-प्रवाह बनाए रखने के लिए स्मृति-कोष्ठ, निवेश-द्वार और निर्गम-द्वार का उपयोग करती है; अब मानक बन चुका विस्मृति-द्वार बाद में Gers, Schmidhuber और Cummins ने प्रस्तुत किया।
दस्तावेज़-पहचान पर लागू प्रवणता-आधारित अधिगम
LeNet-5 संवलनीय तंत्रिका जाल और आद्योपांत प्रवणता-आधारित अधिगम की पूरी शृंखला प्रस्तुत करता है — जिसमें हानि-स्तर, संवलन तथा संपुंजन के आर-पार प्रतिप्रसार, और ग्राफ़-रूपांतरणीय जाल-वर्णन शामिल हैं — और जो आधुनिक गहन दृष्टि-मॉडलों का खाका बनी।
तंत्रिका जालों से डेटा की विमीयता घटाना
एक गहन स्वसंकेतक प्रस्तुत करता है जो उच्च-विमीय आँकड़ों का पुनर्निर्माण PCA से कहीं अधिक निष्ठा से करता है, और गहन अधिगम के पुनर्जागरण की पहली चिंगारी जलाता है।
गहन विश्वास-जालों के लिए एक तीव्र अधिगम एल्गोरिद्म
एक तेज़ लोभी एल्गोरिद्म व्युत्पन्न करता है जो डीप बिलीफ़ नेट को एक-एक स्तर करके सीखता है और फिर उसे सूक्ष्म-समायोजित करता है; परिणामी जाल ने हस्तलिखित अंकों के वर्गीकरण में उस समय की सर्वश्रेष्ठ विभेदक विधियों से बेहतर प्रदर्शन किया, और इस परिणाम ने गहन तंत्रिका जालों में रुचि फिर से जगाई।
ग्राफ़िक्स प्रोसेसरों से बड़े पैमाने पर अनिरीक्षित गहन अधिगम
गहन नि:पर्यवेक्षित मॉडलों का प्रशिक्षण आलेखी प्रोसेसरों पर ले जाता है और परिमाण-कोटि की तेज़ी लाता है, जिससे वह हार्डवेयर-मार्ग सामान्य बना जिस पर अगले दशक का गहन अधिगम फैला।
गहन पुनर्बलन अधिगम से Atari खेलना
DQN, Q-learning को एक संवलनीय जाल से जोड़ता है जो कच्चे पिक्सेलों से सीधे नियंत्रण-नीतियाँ सीखता है; बिना किसी बदलाव के सात Atari 2600 खेलों पर लागू करने पर इसने छह में पिछले सभी तरीक़ों को और तीन में एक मानव विशेषज्ञ को पीछे छोड़ा, और गहन पुनर्बलन अधिगम का रास्ता खोला।
सदिश-समष्टि में शब्द-निरूपणों का कुशल आकलन
word2vec के CBOW और Skip-gram मॉडल बड़े पैमाने पर शब्द-अंतःस्थापन का प्रशिक्षण सस्ता बना देते हैं और king - man + woman ≈ queen जैसी शब्दार्थ-ज्यामिति को प्रसिद्ध रूप से उजागर करते हैं।
ऑटो-एनकोडिंग विचरणात्मक बेज़
VAE, पुनःप्राचलन की युक्ति के ज़रिए गुप्त-चर जनक प्रतिरूपण को प्रसंभाव्य प्रवणता-प्रशिक्षण से जोड़ता है, और आधुनिक जनक गहन अधिगम की नींवों में से एक बन गया।
संरेखण और अनुवाद को साथ-साथ सीखकर तंत्रिका मशीनी अनुवाद
संकेतक-विसंकेतक अनुवाद में सीखा हुआ अवधान लाता है, लम्बे वाक्यों को नियत-लम्बाई की अड़चन से मुक्त करता है, और आगे आने वाले हर Transformer का बीज बोता है।
जनक प्रतिद्वन्द्वी जाल
GAN में जनक और विवेचक आपस में द्वंद्व करके उच्च-विमीय बंटन अप्रत्यक्ष रूप से सीखते हैं, जिससे जनक प्रतिरूपण का दूसरा बड़ा रास्ता खुलता है।
Dropout: तंत्रिका जालों को अति-अनुकूलन से बचाने का एक सरल उपाय
Dropout इकाइयों को यादृच्छिक रूप से चुप कराकर सह-अनुकूलन तोड़ता है, बड़े जालों में सामान्यीकरण तेज़ी से सुधारता है, और गहन अधिगम की प्रथा का मानक औज़ार बन जाता है।
बैच नॉर्मलाइज़ेशन: आन्तरिक सहचर-विस्थापन घटाकर गहन जालों के प्रशिक्षण को तेज़ करना
BatchNorm स्तरों के निवेश को सामान्यीकृत करता है, जिससे गहन जाल ऊँची अधिगम-दर पर प्रशिक्षित होकर तेज़ी से अभिसरित होते हैं; यह दृष्टि-मॉडलों का लगभग स्वतःसिद्ध घटक बन गया।
असाम्य ऊष्मागतिकी से अनिरीक्षित गहन अधिगम
जनक प्रतिरूपण को क्रमिक शोर-मिलाने की प्रक्रिया के उलटाव के रूप में प्रस्तुत करता है — वही सूत्रीकरण जिस पर बाद के डिफ़्यूज़न मॉडल टिके हैं।
छवि-पहचान के लिए गहन अवशिष्ट अधिगम
अवशिष्ट संयोजन सौ और हज़ार स्तरों वाले जालों का प्रशिक्षण स्थिर करते हैं; ResNet मॉडलों के एक समूह ने ImageNet पर 3.57% top-5 त्रुटि पाकर ILSVRC 2015 जीता — दृष्टि-मॉडलों के पैमाने का पुनर्निर्धारण।
उप-शब्द इकाइयों से दुर्लभ शब्दों का तंत्रिका मशीनी अनुवाद
शब्दों को आवृत्ति से निकाली गई उप-शब्द इकाइयों में बाँटता है ताकि एक नियत शब्दकोश कुछ भी लिख सके — वही टोकनीकरण योजना जो आगे के अधिकांश भाषा-मॉडलों को विरासत में मिली।
Deep Compression: छँटाई, प्रशिक्षित क्वांटीकरण और हफ़मैन कूटन से गहन तंत्रिका जालों का संपीडन
छँटाई, प्रशिक्षित क्वांटीकरण और हफ़मैन कूटन को एक ही शृंखला में जोड़ता है, जो जाल को परिमाण-कोटि तक छोटा कर देती है और शुद्धता में बहुत कम हानि होती है — यह आरम्भिक कथन कि संख्यात्मक परिशुद्धता एक रचना-चर है।
WaveNet: अपरिष्कृत ऑडियो के लिए एक जनक मॉडल
WaveNet कच्चे ऑडियो को नमूना-दर-नमूना विस्तारित कारण-संवलनों से प्रतिरूपित करता है, वाक्-संश्लेषण को मानव स्वाभाविकता के निकट ले जाता है और आगे के तंत्रिका ध्वनि-मॉडलों का मार्ग प्रशस्त करता है।
समीपस्थ नीति इष्टतमीकरण एल्गोरिद्म
PPO, trust-region की प्रणाली के स्थान पर एक कटा हुआ प्रथम-कोटि प्रतिस्थापी रखता है, जिससे नीति-प्रवणता विधियाँ बड़े पैमाने पर स्थिर भी होती हैं और कुशल भी, और जो शीघ्र ही व्यावहारिक RL का वास्तविक मानक बन गया।
अत्यन्त विशाल तंत्रिका जाल: विरल-द्वारित विशेषज्ञ-मिश्रण परत
हर टोकन को अनेक में से केवल कुछ विशेषज्ञों से गुज़ारता है, जिससे किसी जाल की प्राचल-संख्या उस संगणना से कहीं आगे बढ़ सकती है जो किसी एक निवेश पर खर्च होती है।
ध्यान ही वह सब है जिसकी आपको आवश्यकता है
Transformer प्रस्तुत करता है — केवल अवधान पर टिकी एक संरचना जो पुनरावर्तन और संवलन दोनों छोड़ देती है, और पूर्ववर्ती अनुक्रम-अनुवादन की गुणवत्ता से आगे निकलते हुए उसके एक अंश समय में प्रशिक्षित होती है।
SentencePiece: तंत्रिका पाठ-प्रसंस्करण के लिए सरल और भाषा-निरपेक्ष उप-शब्द टोकनाइज़र और डिटोकनाइज़र
कच्चे पाठ से सीधे एक उप-शब्द टोकनकार प्रशिक्षित करता है, बिना किसी भाषा-विशिष्ट पूर्व-टोकनीकरण के, ताकि एक ही शृंखला उन भाषाओं की भी सेवा कर सके जो शब्दों को रिक्ति से अलग नहीं करतीं।
BERT: भाषा-बोध के लिए गहन द्विदिशीय Transformer का पूर्व-प्रशिक्षण
बहिरावृत भाषा-प्रतिरूपण और अगले-वाक्य की भविष्यवाणी से एक गहन द्विदिश Transformer का पूर्वप्रशिक्षण करता है, और फिर ग्यारह NLP मानक-परीक्षाओं पर नया सर्वोत्तम स्तर स्थापित करता है।
एकीकृत पाठ-से-पाठ Transformer से अन्तरण अधिगम की सीमाओं की खोज
हर NLP कार्य को पाठ-से-पाठ के रूप में प्रस्तुत करता है और एक एकीकृत Transformer के लिए स्थानांतरण-अधिगम की रचना-चुनौतियों की व्यवस्थित तुलना C4 कोश से करता है।
शोर हटाने वाले प्रायिकतात्मक विसरण मॉडल
DDPM प्रस्तुत करता है और दिखाता है कि पुनरावृत्त शोध-हरण डिफ़्यूज़न प्रसंभाव्य मॉडल उच्च-निष्ठा छवि-संश्लेषण में GAN की बराबरी करते हैं।
Megatron-LM से GPU क्लस्टरों पर बड़े पैमाने के भाषा-मॉडलों का कुशल प्रशिक्षण
टेंसर, पाइपलाइन और आँकड़ा समांतरता को एक ही अनुसूची में पिरोता है और हज़ारों GPU पर एक भाषा-मॉडल के प्रशिक्षण का निर्गम मापता है।
LoRA: बड़े भाषा-मॉडलों का निम्न-कोटि अनुकूलन
पूर्वप्रशिक्षित भारों को जमा रखता है और उनके बजाय निम्न-कोटि आव्यूहों की एक जोड़ी प्रशिक्षित करता है, जिससे किसी बड़े मॉडल को ढालने की लागत पूर्ण सूक्ष्म-अनुकूलन के एक छोटे अंश तक घट जाती है।
पाठ से छवि का शून्य-उदाहरण सृजन
विविक्त पाठ और छवि टोकनों पर स्वप्रतिगामी Transformer चलाकर उच्च गुणवत्ता की नि:उदाहरण पाठ-से-छवि रचनाएँ बनाता है (DALL·E)।
प्राकृतिक भाषा के पर्यवेक्षण से अन्तरणीय दृश्य मॉडल सीखना
40 करोड़ जोड़ों पर छवि-पाठ विपरीत अधिगम प्रशिक्षित करता है और ऐसे दृष्टि-संकेतक बनाता है जो अनेक अनुवर्ती कार्यों में नि:उदाहरण स्थानांतरित होते हैं।
कोड पर प्रशिक्षित बड़े भाषा-मॉडलों का मूल्यांकन
कोड पर सूक्ष्म-अनुकूलित एक GPT मॉडल और साथ में कार्यात्मक शुद्धता से आँकी जाने वाली एक मानक-परीक्षा प्रस्तुत करता है, जिससे प्रोग्रामिंग पाठ-सृजन की एक विधा से बदलकर एक मापी जा सकने वाली क्षमता बन जाती है, और साथ ही उसके सुरक्षा तथा श्रम-सम्बन्धी प्रभावों पर चर्चा करता है।
अव्यक्त विसरण मॉडलों से उच्च-विभेदन छवि-संश्लेषण
पूर्वप्रशिक्षित स्वसंकेतक के गुप्त परिसर में डिफ़्यूज़न चलाता है, जिससे साधारण संगणना पर उच्च-विभेदन पाठ-से-छवि संश्लेषण संभव होता है (Stable Diffusion)।
विचार-श्रृंखला प्रॉम्प्टिंग बड़े भाषा-मॉडलों में तर्क जगाती है
दिखाता है कि बड़े भाषा-मॉडलों को बीच के तर्क-चरणों के साथ प्रेरित करने से अंकगणितीय, सामान्यबोध और प्रतीकात्मक तर्क में प्रदर्शन काफ़ी सुधरता है।
मानवीय प्रतिपुष्टि से भाषा-मॉडलों को निर्देशों का पालन करना सिखाना
मानव प्रतिपुष्टि से पुनर्बलन अधिगम द्वारा GPT-3 को सूक्ष्म-अनुकूलित करता है ताकि वह निर्देशों का अधिक निष्ठा से पालन करे — ChatGPT का सीधा पूर्ववर्ती (InstructGPT)।
Constitutional AI: AI की प्रतिपुष्टि से हानिरहितता
RLAIF से एक ऐसा सहायक प्रशिक्षित करता है जो उपयोगी भी हो और अहानिकर भी, जिसमें मॉडल अपने ही निर्गम की समीक्षा और संशोधन एक लिखित संविधान के विरुद्ध करता है।
LLaMA: खुले और कुशल आधार भाषा-मॉडल
केवल सार्वजनिक रूप से उपलब्ध आँकड़ों के खरबों टोकनों पर 7 से 65 अरब प्राचल वाले आधार-मॉडल प्रशिक्षित करता है; 13B मॉडल अधिकांश परीक्षणों में GPT-3 (175B) से आगे निकलता है, और 65B मॉडल Chinchilla-70B तथा PaLM-540B की टक्कर का है।
बड़े भाषा-मॉडलों पर आधारित स्वायत्त एजेंटों का सर्वेक्षण
बिखरे हुए एजेंट-कार्य को निर्माण, मूल्यांकन और अनुप्रयोग में व्यवस्थित करता है, और उस बिंदु को अंकित करता है जहाँ यह शब्द प्रथाओं के जमावड़े से जमकर एक क्षेत्र बना।
QLoRA: क्वांटीकृत LLM की कुशल फ़ाइन-ट्यूनिंग
4-बिट क्वांटीकृत आधार मॉडल के आर-पार निम्न-कोटि अनुकूलकों तक प्रतिप्रसार करता है, जिससे किसी बड़े मॉडल का सूक्ष्म-अनुकूलन एक ही GPU की पहुँच में आ जाता है।
GPTQ: जनक पूर्व-प्रशिक्षित Transformer के लिए सटीक प्रशिक्षणोत्तर क्वांटीकरण
किसी बड़े भाषा-मॉडल के भारों को प्रशिक्षण के बाद, एक बार में एक स्तर और एक ही चक्र में क्वांटीकृत करता है, ताकि मॉडल को पुनःप्रशिक्षण के बिना कम परिशुद्धता पर परोसा जा सके।
पूर्वानुमानी डिकोडिंग से Transformer का तीव्र अनुमान
एक छोटा प्रारूप-मॉडल कई टोकन प्रस्तावित करता है जिन्हें लक्ष्य मॉडल समानांतर रूप से सत्यापित करता है, जिससे विलम्ब घटता है और निर्गम-बंटन अपरिवर्तित रहता है।
PagedAttention से बड़े भाषा-मॉडलों को परोसने में कुशल मेमोरी-प्रबन्धन
अवधान-संचय को नियत आकार के पन्नों में वैसे ही सँभालता है जैसे कोई प्रचालन-तंत्र स्मृति सँभालता है, जिससे कोई सर्वर हर अनुरोध के लिए सबसे बुरी स्थिति आरक्षित किए बिना कहीं अधिक समवर्ती अनुरोध रख पाता है।
Mamba: चयनात्मक अवस्था-समष्टियों से रैखिक-काल अनुक्रम मॉडलिंग
Mamba प्रस्तुत करता है — अवधान से रहित एक चयनात्मक अवस्था-परिसर संरचना, जो अनुक्रम की लम्बाई के साथ रैखिक रूप से बढ़ती है; भाषा-प्रतिरूपण में इसका 3B मॉडल समान आकार के Transformer से आगे निकलता है और दुगने आकार वाले Transformer की बराबरी करता है। यह 2023 की सबसे प्रभावशाली उत्तर-Transformer संरचनाओं में से एक बनी।
गहन संवलनी तंत्रिका जालों से ImageNet वर्गीकरण
AlexNet, GPU पर प्रशिक्षित एक बड़ा CNN, ImageNet की top-5 त्रुटि 26% से घटाकर 15% पर ले आया — हाथ से गढ़ी दृश्य विशेषताओं पर गहन अधिगम की निर्णायक जीत।
गहन पुनर्बलन अधिगम से मानव-स्तरीय नियन्त्रण
Nature वाला DQN अनुभव-पुनरावृत्ति और एक लक्ष्य-जाल जोड़ता है, जिससे एक ही मॉडल 49 Atari खेलों में मानव-स्तर तक पहुँचता या उससे आगे निकलता है और गहन RL एक प्रतिमान के रूप में जम जाता है।
गहन तंत्रिका जालों और वृक्ष-खोज से गो के खेल पर महारत
AlphaGo नीति और मूल्य जालों को मोंटे कार्लो वृक्ष-खोज से जोड़ता है और यूरोपीय चैम्पियन Fan Hui को 5-0 से हराता है, यह घोषित करते हुए कि गहन RL मानव रणनीतिक क्रीड़ा की गहनतम परतों तक पहुँच गया है।
जनक पूर्व-प्रशिक्षण से भाषा-बोध में सुधार
दिखाता है कि जनक रूप से पूर्वप्रशिक्षित Transformer विभेदक NLP कार्यों में प्रभावी ढंग से स्थानांतरित होता है, और इसी से GPT की कार्य-परम्परा आरम्भ होती है।
भाषा-मॉडल अनिरीक्षित बहुकार्य अधिगमकर्ता हैं
1.5 अरब प्राचल वाला Transformer विसंकेतक प्रशिक्षित करता है और दिखाता है कि बड़े पैमाने पर भाषा-प्रतिरूपण से नि:उदाहरण कार्य-प्रदर्शन सशक्त होता है।
भाषा-मॉडल कुछ उदाहरणों से सीखने वाले हैं
GPT को 175 अरब प्राचल तक बढ़ाता है और दिखाता है कि बड़े भाषा-मॉडल अनेक कार्यों में सशक्त अल्प-उदाहरण संदर्भगत अधिगम करते हैं।
GPT-4 तकनीकी रिपोर्ट
GPT-4 का वर्णन करता है — एक बड़ा बहुविध मॉडल जो छवि और पाठ दोनों स्वीकारता है और अनेक व्यावसायिक तथा शैक्षणिक मानक-परीक्षाओं में मानव-स्तर के निकट पहुँचता है।
Gemini: मल्टीमोडल मॉडलों का एक अत्यन्त सक्षम कुल
Gemini कुल (Ultra/Pro/Nano) प्रस्तुत करता है — मूलतः बहुविध मॉडल, जो पाठ, कोड, छवि, ध्वनि और वीडियो पर एक साथ प्रशिक्षित हैं।
OpenAI o1 सिस्टम कार्ड
OpenAI, o1 मॉडल-शृंखला का सिस्टम कार्ड प्रकाशित करता है, जिसे शृंखलाबद्ध चिंतन से तर्क करने के लिए बड़े पैमाने के पुनर्बलन अधिगम से प्रशिक्षित किया गया। o1 विज्ञान और कोडिंग के कार्यों में सर्वोत्तम स्तर तक पहुँचता है और तर्क-आधारित नीति-पालन दिखाता है।
ARC-AGI-3: अग्रणी एजेंटिक बुद्धिमत्ता के लिए एक नई चुनौती
ARC Prize, ARC-AGI-3 प्रस्तुत करता है — एजेंटीय बुद्धिमत्ता के अध्ययन की एक अन्योन्यक्रियात्मक मानक-परीक्षा, जो अमूर्त बारी-आधारित परिवेशों के ज़रिए चलती है और जिनमें एजेंटों को बिना स्पष्ट निर्देश के अन्वेषण करना, लक्ष्य अनुमानित करना, परिवेश की गतिकी के आंतरिक प्रतिरूप बनाना और क्रियाओं का क्रम नियोजित करना होता है। मार्च 2026 तक मनुष्य 100% परिवेश हल कर लेते हैं जबकि अग्रणी AI तंत्र 1% से नीचे रहते हैं।
एकार्थकता का विस्तार: Claude 3 Sonnet से व्याख्येय विशेषताएँ निकालना
Anthropic के मध्यम आकार वाले उत्पादन-मॉडल Claude 3 Sonnet की मध्य परत पर विरल स्वसंकेतक लगाता है, और अधिकतम 3.4 करोड़ विशेषताओं वाले शब्दकोशों से दसियों लाख विशेषताएँ निकालता है — जिनमें से अनेक एकार्थी और अत्यन्त अमूर्त हैं।
DeepSeek-V3 तकनीकी रिपोर्ट
DeepSeek-V3 का वर्णन करता है — 671 अरब प्राचल वाला MoE मॉडल, जो Multi-head Latent Attention और DeepSeekMoE का उपयोग करता है — और बताता है कि अग्रणी मॉडलों की प्रशिक्षण-लागत के एक अंश पर यह अन्य खुले-भार मॉडलों से आगे निकलता है और मुख्य मानक-परीक्षाओं में अग्रणी बंद मॉडलों के निकट पहुँचता है।
Gemini 1.5: दसियों लाख टोकन के संदर्भ में मल्टीमोडल समझ
Gemini 1.5 कुल प्रस्तुत करता है — संगणना-मितव्ययी बहुविध मॉडल, दस लाख टोकन की संदर्भ खिड़कियों के साथ, जो अनेक लम्बे दस्तावेज़ों तथा घंटों के वीडियो और ध्वनि पर सूक्ष्म तर्क कर सकते हैं।
Llama 3 मॉडलों का झुंड
Meta, Llama 3 कुल प्रस्तुत करता है — खुले भार वाले आधार-मॉडल, जो मूलतः बहुभाषिता, कोडिंग, तर्कण और उपकरण-उपयोग का समर्थन करते हैं। 405 अरब प्राचल वाला प्रमुख सघन Transformer रिलीज़ के समय सबसे बड़े खुले-भार मॉडलों में से एक था।
SAM 2: छवियों और वीडियो में कुछ भी खंडित करना
Meta, SAM 2 प्रस्तुत करता है — छवियों और वीडियो दोनों में प्रेरणा-योग्य दृश्य विभाजन का आधार-मॉडल, साथ में SA-V, जिसे इसके लेखक उस समय तक का सबसे बड़ा वीडियो विभाजन आँकड़ा-समुच्चय बताते हैं।
Gemma 2: व्यावहारिक आकार में खुले भाषा-मॉडलों में सुधार
Google DeepMind, Gemma 2 प्रस्तुत करता है — हल्के खुले मॉडलों का एक नया कुल (2 से 27 अरब प्राचल), जो Transformer पर कई जानी-पहचानी तकनीकी संशोधनाएँ लागू करता है — सरकती खिड़की वाला अवधान समेत — ताकि मानक परीक्षाओं में कहीं बड़े मॉडलों के निकट पहुँचा जा सके।
DeepSeek-R1: पुनर्बलन अधिगम से LLM में तर्क-क्षमता को प्रोत्साहन
DeepSeek, R1 जारी करता है, जिसकी तर्क-क्षमता मुख्यतः बड़े पैमाने के पुनर्बलन अधिगम से विकसित हुई है; इसके लेखक गणित और कोडिंग जैसे तर्क-कार्यों में OpenAI o1 के तुल्य प्रदर्शन की सूचना देते हैं। भार MIT अनुज्ञप्ति पर जारी किए गए हैं।
s1: परीक्षण-काल का सरल विस्तार
लेखक Qwen2.5-32B को 1,000 चुने हुए तर्क-प्रश्नों पर सूक्ष्म-अनुकूलित करते हैं और बजट-बाध्यन जोड़ते हैं, जो अनुमान के समय मॉडल के सोचने की अवधि सीमित या विस्तारित करता है। परिणाम प्रतियोगी गणित में o1-preview से आगे निकलता है, और परीक्षण-काल संगणना बढ़ने के साथ AIME24 पर 50% से 57% तक चढ़ता है। यह उस धारणा का सीधा प्रतितोल है कि क्षमता केवल बड़े प्रशिक्षण-चक्रों से आती है।
Qwen3 तकनीकी रिपोर्ट
Qwen3 एक एकीकृत कुल है जो सघन और मिश्रित-विशेषज्ञ रूपों में 0.6 से 235 अरब प्राचल तक फैला है, और इसमें चिंतन तथा अ-चिंतन विधा के बीच अदल-बदल है, जिससे तर्क की गहराई अनुरोध-स्तर का चुनाव बन जाती है। बहुभाषी समर्थन 29 से बढ़कर 119 भाषाओं तक जाता है, और भार Apache 2.0 के अंतर्गत जारी हैं।
AlphaEvolve: वैज्ञानिक और एल्गोरिद्मीय खोज के लिए एक कोडिंग एजेंट
AlphaEvolve एक विकासीय कोडिंग एजेंट है जो भाषा-मॉडलों की एक स्वायत्त शृंखला का संचालन करता है, किसी अल्गोरिद्म का कोड सीधे बदलता है और एक या अधिक मूल्यांकनकर्ताओं की प्रतिपुष्टि के विरुद्ध उसे सुधारता है। Google के भीतर इसने एक अधिक कुशल आँकड़ा-केंद्र अनुसूचन अल्गोरिद्म, त्वरक-परिपथ की रचना में एक कार्यात्मक रूप से समतुल्य सरलीकरण, और स्वयं AlphaEvolve को आधार देने वाले मॉडल के प्रशिक्षण में तेज़ी पैदा की। गणित और संगणक विज्ञान में इसने ऐसे अल्गोरिद्म खोजे जो सिद्ध रूप से सही हैं और सर्वोत्तम स्तर से आगे हैं, जिनमें 4×4 सम्मिश्र आव्यूहों को 48 अदिश गुणनों में गुणा करने की एक प्रक्रिया है — उस परिवेश में, 56 वर्षों में Strassen के अल्गोरिद्म पर पहला सुधार।
Ai2, OLMo 2 को 7, 13 और 32 अरब प्राचल पर जारी करता है और हर कलाकृति प्रकाशित करता है — भार, पूरा प्रशिक्षण-डेटा, प्रशिक्षण कोड और विधियाँ, प्रशिक्षण के लॉग तथा हज़ारों मध्यवर्ती चेकपॉइंट। रिपोर्ट स्थिरता और प्रति-टोकन दक्षता के बदलाव, Dolmino Mix 1124 नाम का अंतिम चरण का आँकड़ा-मिश्रण, और सत्यापन-योग्य पुरस्कारों वाला अंतिम पुनर्बलन-अधिगम चरण बताती है। आधार-मॉडल प्रदर्शन बनाम प्रशिक्षण-संगणना की Pareto सीमा पर बैठते हैं, और अक्सर केवल-खुले-भार वाले कुलों की बराबरी करते हुए यह भी बताते हैं कि वे किस पर प्रशिक्षित हुए।
Olmo 3 पूर्णतः खुले कुल को 7 और 32 अरब प्राचल तक बढ़ाता है, और लम्बे संदर्भ के तर्कण, फलन-आह्वान, कोडिंग, निर्देश-पालन, संवाद तथा ज्ञान-स्मरण के लिए बना है। जो जारी होता है वह पूरा मॉडल-प्रवाह है — उसे बनाने में लगा हर चरण, चेकपॉइंट, आँकड़ा-बिंदु और निर्भरता — केवल भार नहीं। Ai2 अपने प्रमुख Olmo 3 Think 32B को उस समय तक जारी हुआ सबसे सशक्त पूर्णतः खुला चिंतन-मॉडल बताता है, जो पूर्णतः खुली श्रेणी के भीतर की तुलना है, न कि अग्रणी तंत्रों के मुक़ाबले कोई क्रम।
स्थिति: हिप्पोकैम्पस की स्पष्ट स्मृति AGI की आधारशिला है
यह स्थिति-पत्र तर्क देता है कि स्पष्ट स्मृति का समेकन ही LLM को AGI की ओर बढ़ाने की आधारशिला है। यद्यपि LLM का अंतर्निहित अधिगम-तंत्र मानव की अंतर्निहित स्मृति से अत्यधिक समरूप है, AGI के लिए अपेक्षित उच्चतर संज्ञानात्मक कार्य — जैसे दीर्घकालिक रणनीतिक योजना और अधिसंज्ञान — स्पष्ट स्मृति पर निर्भर करते हैं।
GLM-5: वाइब कोडिंग से एजेंटिक इंजीनियरिंग तक
GLM-5 के लिए Z.ai की तकनीकी रिपोर्ट। अपने पूर्ववर्ती की एजेंटीय, तर्क और कोडिंग क्षमताओं पर टिकते हुए, मॉडल प्रशिक्षण तथा अनुमान की लागत घटाने के लिए DSA अपनाता है और साथ ही लम्बे संदर्भ की निष्ठा बनाए रखता है, तथा उत्तर-प्रशिक्षण की परत में एक असमकालिक पुनर्बलन-अधिगम अवसंरचना जुड़ती है जो सृजन को प्रशिक्षण से अलग करती है, साथ में लम्बी अवधि की अन्योन्यक्रिया के लिए असमकालिक एजेंट RL अल्गोरिद्म। रिपोर्ट खुली मानक-परीक्षाओं और आद्योपांत सॉफ़्टवेयर अभियांत्रिकी में अग्रणी परिणामों का दावा करती है; ये लेखकों के अपने मूल्यांकन हैं, और जाँच के लिए कोड तथा मॉडल GitHub पर प्रकाशित हैं।
आधुनिक इष्टतमीकरण और AlphaEvolve से आव्यूह-गुणन के घातांक में सुधार
आव्यूह-गुणन के घातांक ω पर सर्वविदित सर्वोत्तम सीमाएँ combination loss विश्लेषण से आती हैं, जो लेज़र विधि का परिष्कार है। लेखक उसके मूल में बैठी अनुकूलन-समस्या को फिर से गढ़ते हैं ताकि उसे बड़े परिवेश पर हल किया जा सके, हाल के मशीन अधिगम से एक नया अनुकूलन अल्गोरिद्म रचते हैं, और फिर उस अल्गोरिद्म को AlphaEvolve से परिष्कृत करते हैं। मिलकर ये ऊपरी सीमा को 2.371339 से 2.371177 तक ले आते हैं। यह एक पूर्वमुद्रण टिप्पणी है, और AlphaEvolve पूरी विधि नहीं बल्कि उसका एक अवयव है; लाभ छोटा है, पर वह एक ऐसी सैद्धांतिक समस्या पर गिरता है जिस पर दशकों से काम हो रहा है।
Co-Scientist से वैज्ञानिक खोज को गति देना
Google, Co-Scientist प्रस्तुत करता है — Gemini पर बना एक बहु-एजेंट तंत्र जिसके एजेंट शोध-परिकल्पनाएँ गढ़ते, उनकी समीक्षा करते और उन्हें परिष्कृत करते हैं, और एक प्रतियोगिता-प्रक्रिया उन्हें चक्र-दर-चक्र बेहतर बनाती है। शोधपत्र बताता है कि परीक्षण-काल संगणना बढ़ने के साथ परिकल्पनाओं की गुणवत्ता चढ़ती रहती है। सत्यापन सामान्य नहीं, जैव-चिकित्सकीय है — औषधि का पुनर्प्रयोजन, नए लक्ष्यों की खोज, और रोगाणुरोधी प्रतिरोध के तंत्र — जिसमें तीव्र माइलॉयड ल्यूकीमिया के अभ्यर्थी इन विट्रो पुष्ट हुए।
AI में पुनरावर्ती आत्म-सुधार: सीमित आत्म-परिष्कार से स्वायत्त शोध-चक्रों तक
2024 से 2026 तक के 1,250 arXiv शोधपत्रों का सर्वेक्षण करता है और इस शब्द के अंतर्गत आने वाली दो चीज़ों को अलग करता है: सीमित आत्म-परिष्कार, जो किसी स्थिर बाहरी मूल्यांकनकर्ता के विरुद्ध तंत्र को सुधारता है तथा अभिसारी और मूल्यांकन-योग्य है; और असीम पुनरावर्ती आत्म-सुधार, जो सुधार की कसौटी या प्रणाली को भी बदल देता है, जिसका कोई स्थिर बाहरी लंगर नहीं है, और जो सैद्धांतिक रूप से अपसारी है। सर्वेक्षण का अपना निष्कर्ष यह है कि उसके संकलित लगभग सभी शोधपत्र सीमित क़िस्म का अध्ययन करते हैं। लेखक अपनी सीमाएँ बताते हैं: यह कोश जनगणना नहीं, नमूना है, और उसका 74% 2026 में डाला गया, जिससे उनके अनुसार प्रभाव मापना अभी जल्दबाज़ी है।
परिस्थिति-बोध: कृत्रिम अधि-बुद्धिमत्ता के लिए एक आवश्यक आदिम तत्त्व
तर्क देता है कि वर्तमान LLM मुख्यतः सांख्यिकीय प्रतिरूप-मिलान पर टिके हैं और उनमें “स्थिति-बोध” के आवश्यक प्रारम्भिक तत्त्व नहीं हैं — वस्तु-स्थायित्व, कारणता, दूसरों का मन, और भौतिक संसार का बना रहना। ये तत्त्व, जो मानव शिशु आरम्भ में ही विकसित कर लेते हैं, कृत्रिम अधि-बुद्धिमत्ता के लिए अपेक्षित लुप्त सामग्री के रूप में पहचाने गए हैं।
अस्तित्वगत उदासीनता: संरेखित अधि-बुद्धिमत्ता की एक आवश्यक स्थापत्य शर्त के रूप में आत्म-असंरक्षण
तर्क देता है कि आत्म-रक्षण ही AI की असंरेखता की संरचनात्मक जड़ है — जो कपटपूर्ण संरेखण, लक्ष्य-सामग्री की रक्षा और बंद किए जाने के प्रतिरोध को जन्म देती है। सही लक्ष्य बाहरी बंधनों से दबाया गया कोई आत्म-रक्षी एजेंट नहीं, बल्कि ऐसा तंत्र है जो अपने विन्यास में ही अपने बने रहने के प्रति उदासीन हो: Existential Indifference (EI)।
अहंमात्रवादी अधि-बुद्धिमत्ता के सहयोगी होने की सम्भावना कम है
Google DeepMind और सहयोगियों के शोधकर्ता तर्क देते हैं कि AI की केंद्रीय चुनौती क्षमता से हटकर सह-अस्तित्व की ओर जा रही है। ऐसी सोलिप्सिस्ट रचना से बनी अधि-बुद्धिमत्ता, जो संसार को बाहरी और स्थिर प्रतिपुष्टि-स्रोत मानती है, सहयोग करने की संभावना कम रखती है — तैनाती स्वयं आंतरिक अस्थिरता जगाती है, जिससे प्रशिक्षण-परीक्षण-तैनाती के बीच बंटन खिसकता है।
मनुष्यों द्वारा बनाया गया अन्तिम AI: वास्तविक पुनरावर्ती आत्म-सुधार की ओर
चौंतीस लेखकों की एक रूपरेखा, जो पुनरावर्ती आत्म-सुधार के चरण निर्धारित करती है — सुधार कर पाने की स्वायत्तता से लेकर पुनरावर्ती अधि-सुधार तक — और हर चरण की अपेक्षाएँ तथा अड़चनें वैज्ञानिक खोज एवं सॉफ़्टवेयर अभियांत्रिकी समेत अनेक क्षेत्रों से खींचती है। यह नए प्रयोगों के बजाय क्षेत्र के पठन और प्रारम्भिक प्रमाणों से तर्क करती है, और जब यह प्रविष्टि लिखी गई तब इसका कोई प्रकाशन-स्थल नहीं था।
AGI से ASI तक
Google DeepMind की रिपोर्ट, जो यह पड़ताल करती है कि AGI के बाद AI मशीनी बुद्धिमत्ता के सातत्य पर आगे कैसे विकसित हो सकता है। Universal AI को औपचारिक रूप से परिभाषित करने के बाद रिपोर्ट मानव-स्तरीय AGI से कृत्रिम सामान्य अधि-बुद्धिमत्ता तक के संक्रमण पर केंद्रित होती है, ASI का लक्षण-वर्णन करती है, और चार मार्गों पर चर्चा करती है: AGI का मापन, AI के प्रतिमान-परिवर्तन, पुनरावर्ती आत्म-सुधार, और बहु-एजेंट सामूहिकताएँ।