人工智慧歷史與發展精選論文

早期理論 Gödel, K. · Monatshefte für Mathematik und Physik 38(1): 173–198

證明任何足以表達算術的一致形式系統中都存在為真卻不可證的命題，為後來關於計算與機器推理能力邊界的討論劃出前提。

早期理論 Alan Turing · Proceedings of the London Mathematical Society s2-42(1): 230–265

圖靈提出通用圖靈機模型，並證明判定問題不可解，為計算機科學奠定理論基礎。

早期理論 Church, A. · American Journal of Mathematics 58(2): 345

以 λ 演算定義何謂可有效計算的函數，並給出一個沒有任何此類程序能判定的問題，與圖靈各自獨立地抵達計算的界限。

早期理論 Warren S. McCulloch, Walter Pitts · Bulletin of Mathematical Biophysics 5(4): 115–133

以命題邏輯模型化神經活動，提出人工神經網路的第一個數學理論。

早期理論 Claude E. Shannon · Bell System Technical Journal 27(3): 379–423; 27(4): 623–656

資訊理論的奠基論文，將熵與通道容量定義為通訊的根本極限。

早期理論 Alan Turing · Mind LIX(236): 433–460

提出模仿遊戲（後稱圖靈測試），系統地闡述「機器能思考嗎？」這個問題，促成 AI 成為一項研究計畫。

早期理論 John McCarthy, Marvin L. Minsky, Nathaniel Rochester, Claude E. Shannon · Dartmouth College, 1955; republished in AI Magazine 27(4): 12–14 (2006)

達特茅斯夏季研討會的奠基提案，提出了「人工智慧」一詞，並勾勒出這個領域的研究議程。

AI 誕生 Allen Newell, Herbert A. Simon · IRE Transactions on Information Theory IT-2(3): 61–79

介紹邏輯理論家（Logic Theorist）——一個早期的定理證明程式，它以啟發式搜尋證明了懷德海與羅素《數學原理》中的定理，展示了命題邏輯中的自動推理。

AI 誕生 Newell, A., Shaw, J. C., Simon, H. A. · Psychological Review 65(3): 151–166

把人的問題求解刻畫為在符號狀態空間中的啟發式搜尋，這一說明支撐了通用問題求解器，也確立了心智的資訊處理觀。

AI 誕生 Frank Rosenblatt · Psychological Review 65(6): 386–408

提出首個可訓練的線性閾值神經元，開啟最終通向現代深度學習的連接主義脈絡。

AI 誕生 John McCarthy · Proceedings of the Symposium on Mechanisation of Thought Processes (NPL Teddington), 75–91. London: HMSO

提出「advice taker」概念，讓程式能從形式化的常識知識庫中得出結論，為知識表徵與推理奠下概念基礎。

AI 誕生 Arthur L. Samuel · IBM Journal of Research and Development 3(3): 210–229

在西洋跳棋程式中示範了藉助評分函數的自我對弈學習，是強化學習的早期里程碑，也與「機器學習」一詞相關聯。

AI 誕生 Gelernter, H. · Information and Control 2(1): 80–89

針對謂詞具有高度對稱性的形式系統，如何讓機器高效處理的問題，Gelernter 給出了一條語法對稱性定理與相應規則。這項工作與他同期在 IBM 建造的幾何定理機相伴——那台機器在1959年初春證明了它的第一條歐氏平面幾何定理。

AI 誕生 Bernard Widrow, Marcian E. Hoff · IRE WESCON Convention Record, Part 4, 96–104

提出 ADALINE 神經元與最小均方（LMS）學習規則，為現代隨機梯度下降的先驅。

AI 誕生 McCarthy, J. · Communications of the ACM 3(4): 184–195

提出符號表達式、其上的遞迴函數，以及讓語言能解釋自身的 eval，這一設計成為 Lisp，也成為符號主義人工智慧的工作語言。

AI 誕生 Rosenblatt, F. · Cornell Aeronautical Laboratory technical report (DTIC AD0256582)

把感知機的工作彙成一套關於分層機率網路的完整理論，既說明這類機器能學到什麼，也說明單層形式止步於何處。

AI 誕生 Weizenbaum, J. · Communications of the ACM 9(1): 36–45

用一組模式比對與改寫規則做出看似能對話的程式，作者本人隨即指出，讀者賦予它的理解遠多於它實際具備的。

AI 寒冬 John J. Hopfield · Proceedings of the National Academy of Sciences 79(8): 2554–2558

提出 Hopfield 聯想記憶網路，將神經計算與統計物理的能量景觀連結，在 AI 寒冬初期重新燃起學界對神經網路的興趣。

AI 寒冬 McDermott, J. · Artificial Intelligence 19(1): 39–88

記述一個每天為 DEC 組態電腦訂單的產生式規則系統，是專家系統少數經受住日常生產考驗並算得出經濟回報的案例。

AI 寒冬 Judea Pearl · Artificial Intelligence 29(3): 241–288

系統化信念網路上的融合、傳播與結構化運算，為貝氏網路推斷提供演算法基礎。

AI 寒冬 David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams · Nature 323(6088): 533–536

多層神經網路誤差反向傳播演算法的經典表述，證明隱藏單元能學到有用的內部表示，並在1980年代末重新點燃連結主義研究。

AI 寒冬 Richard S. Sutton · Machine Learning 3(1): 9–44

系統化時序差分（TD）學習方法，使其成為現代強化學習的核心演算法之一。

AI 寒冬 Jeffrey L. Elman · Cognitive Science 14(2): 179–211

提出 Elman 簡易循環網路，證明神經網路能學會時序結構，為後續序列模型鋪路。

復興時代 Corinna Cortes, Vladimir Vapnik · Machine Learning 20(3): 273–297

提出軟間隔支援向量機，這種最大邊距分類器成為1990年代機器學習最具代表性的方法。

復興時代 Sepp Hochreiter, Jürgen Schmidhuber · Neural Computation 9(8): 1735–1780

提出最初的 LSTM 架構，以記憶單元、輸入閘與輸出閘改善長序列的誤差信號傳遞。今日常見的遺忘閘由 Gers、Schmidhuber 與 Cummins 在後續研究中引入。

復興時代 Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner · Proceedings of the IEEE 86(11): 2278–2324

提出 LeNet-5，這個經典的卷積神經網路達到可實用品質的手寫數字辨識，並奠定 CNN 的基本架構。

復興時代 Geoffrey E. Hinton, Ruslan R. Salakhutdinov · Science 313(5786): 504–507

提出深度自編碼器，以遠勝於 PCA 的方式重建高維資料，為深度學習復興點燃第一道火花。

復興時代 Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh · Neural Computation 18(7): 1527–1554

推導出一種快速的貪婪演算法，逐層學習深度信念網路後再加以微調；所得網路在手寫數字分類上優於當時最好的判別式方法，這項結果重新喚起了人們對深度神經網路的興趣。

復興時代 Raina, R., Madhavan, A., Ng, A. Y. · Proceedings of the 26th Annual International Conference on Machine Learning (ICML 2009): 873–880

把深度非監督模型的訓練搬到圖形處理器上並給出數量級的加速，讓此後十年深度學習賴以擴大規模的硬體路徑成為常規做法。

復興時代 Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller · NeurIPS 2013 Deep Learning Workshop (arXiv:1312.5602)

DQN 將 Q 學習與卷積網路結合，直接從原始像素學習控制策略。在不作調整的情況下用於 7 款 Atari 2600 遊戲，它在其中 6 款勝過先前所有方法，在 3 款超越人類專家，為深度強化學習開闢了道路。

復興時代 Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean · ICLR 2013 Workshop (arXiv:1301.3781)

提出 skip-gram 與 CBOW 架構以產生稠密詞嵌入，開啟預訓練詞向量的時代。

復興時代 Diederik P. Kingma, Max Welling · ICLR 2014 (arXiv:1312.6114)

VAE 藉助重參數化技巧，將潛變數生成模型與隨機梯度訓練結合起來，成為現代生成式深度學習的基礎之一。

復興時代 Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio · ICLR 2015 (arXiv:1409.0473)

為神經機器翻譯引入加性（Bahdanau）注意力機制，證明柔性對齊能讓解碼器聚焦於相關的來源詞元，並直接啟發了 Transformer。

復興時代 Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio · NeurIPS 2014 (arXiv:1406.2661)

將生成模型建構成生成器與判別器之間的雙人極小極大賽局，開啟一整個隱式生成模型家族。

復興時代 Nitish Srivastava, Geoffrey E. Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov · Journal of Machine Learning Research 15(56): 1929–1958

提出 Dropout，一個簡單的隨機正則化技術，成為深度學習訓練流程中的預設方法。

復興時代 Sergey Ioffe, Christian Szegedy · ICML 2015 (arXiv:1502.03167)

提出批次正規化，對小批量內的層輸入進行正規化以穩定訓練並大幅加速深度網路收斂。

復興時代 Sohl-Dickstein, J., Weiss, E. A., Maheswaranathan, N., Ganguli, S. · arXiv:1503.03585

把生成建模寫成對一個逐步加噪過程的逆轉，這一表述正是後來各類擴散模型所依託的形式。

復興時代 Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · CVPR 2016 (arXiv:1512.03385)

提出殘差連線，使數百層深的網路能被有效訓練，並以大幅差距贏得 ImageNet 2015 競賽。

復興時代 Sennrich, R., Haddow, B., Birch, A. · Proceedings of ACL 2016: 1715–1725 (arXiv:1508.07909)

按出現頻率把詞切成子詞單元，使固定大小的詞表也能拼出任何詞，這一斷詞方案為此後多數語言模型所沿用。

復興時代 Han, S., Mao, H., Dally, W. J. · ICLR 2016 (arXiv:1510.00149)

把剪枝、訓練中量化與霍夫曼編碼合為一套流程，在幾乎不損精度的前提下將網路體積壓小一個數量級，較早地把數值精度當作可設計的變數。

復興時代 Aäron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu · NeurIPS 2016 (arXiv:1609.03499)

提出以擴張式因果卷積的自迴歸模型直接生成原始音訊波形，大幅提升文字轉語音的自然度。

復興時代 John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov · arXiv:1707.06347

提出 PPO，一個簡單且穩定的一階策略梯度法，成為現代強化學習中的預設策略最佳化演算法。

復興時代 Shazeer, N. et al. · arXiv:1701.06538

讓每個詞元只經由少數幾個專家計算，從而使網路的參數量可以遠遠超出任何單次輸入所耗費的計算量。

復興時代 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · NeurIPS 2017 (arXiv:1706.03762)

提出 Transformer，一個完全基於注意力的架構，捨棄循環與卷積，以更短訓練時間超越當時最佳的序列轉換模型品質。

復興時代 Kudo, T., Richardson, J. · EMNLP 2018, System Demonstrations: 66–71 (arXiv:1808.06226)

直接從原始文本訓練子詞斷詞器，不依賴任何語言特有的預切分，使同一套流程也適用於不以空格斷詞的語言。

復興時代 Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova · NAACL 2019 (arXiv:1810.04805)

提出以遮罩語言建模與下一句預測預訓練的雙向 Transformer，在多項 NLP 基準上刷新當時最佳成績。

復興時代 Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu · Journal of Machine Learning Research 21(140): 1–67 (arXiv:1910.10683)

將所有 NLP 任務統一為文本到文本的形式，系統性地消融各種遷移學習選擇，為大規模預訓練模型建立標準配方。

大模型時代 Jonathan Ho, Ajay Jain, Pieter Abbeel · NeurIPS 2020 (arXiv:2006.11239)

提出 DDPM，證明以迭代去噪的擴散機率模型在高保真影像生成上可與 GAN 相當。

大模型時代 Narayanan, D. et al. · SC 2021: 1–15 (arXiv:2104.04473)

把張量平行、管線平行與資料平行組合進同一套排程，並給出在數千張 GPU 上訓練語言模型的實測吞吐。

大模型時代 Hu, E. J. et al. · arXiv:2106.09685

凍結預訓練權重，改為訓練一對低秩矩陣，把大模型適配的代價降到全量微調的很小一部分。

大模型時代 Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever · ICML 2021 (arXiv:2102.12092)

以自迴歸 Transformer 對離散的文字與影像詞元聯合建模，實現高品質的零樣本文字到影像生成（DALL·E）。

大模型時代 Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever · ICML 2021 (arXiv:2103.00020)

以 4 億組圖文對進行對比學習，訓練出能零樣本遷移到多種下游任務的視覺編碼器。

大模型時代 Chen, M. et al. · arXiv:2107.03374

給出在程式碼上微調的 GPT 模型及配套的功能正確性評測基準，把程式設計從文字生成的一種體裁變成可度量的能力，並同時討論其安全與勞動影響。

大模型時代 Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer · CVPR 2022 (arXiv:2112.10752)

在預訓練自編碼器的潛在空間中進行擴散，以有限的算力實現高解析度的文字到影像生成（Stable Diffusion）。

大模型時代 Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le, Denny Zhou · NeurIPS 2022 (arXiv:2201.11903)

顯示讓語言模型產生中間推理步驟的提示方式，能顯著提升其在算術、常識與符號推理基準上的表現。

大模型時代 Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe · NeurIPS 2022 (arXiv:2203.02155)

以人類回饋強化學習（RLHF）微調 GPT-3，使其更忠實地遵循指令，是 ChatGPT 的直接前身（InstructGPT）。

大模型時代 Yuntao Bai et al. · Anthropic Technical Report 2022 (arXiv:2212.08073)

提出 RLAIF，讓模型依據一份書面「憲法」對自身輸出進行批評與修正，以降低對齊時對人類有害性標註的依賴。

大模型時代 Hugo Touvron, Thibaut Lavril, Gautier Izacard, et al. · Meta AI Technical Report 2023 (arXiv:2302.13971)

僅以公開資料、用數兆詞元訓練 7B–65B 規模的基礎模型。其中 13B 模型在多數基準上超越 GPT-3（175B），65B 模型則可與 Chinchilla-70B 和 PaLM-540B 相抗衡。

大模型時代 Wang, L. et al. · Frontiers of Computer Science 18(6), 2024 (arXiv:2308.11432)

把散見於各處的智慧體工作整理為構造、評測與應用三條線索，是這一名目從零散做法收攏成研究領域的標誌。

大模型時代 Dettmers, T. et al. · arXiv:2305.14314

讓梯度穿過 4 位元量化的基礎模型回傳到低秩適配器上，把大模型的微調壓進單張 GPU 可及的範圍。

大模型時代 Frantar, E., Ashkboos, S., Hoefler, T., Alistarh, D. · ICLR 2023 (arXiv:2210.17323)

在訓練之後逐層一次性地量化大型語言模型的權重，使模型無需重新訓練即可以更低精度提供服務。

大模型時代 Leviathan, Y., Kalman, M., Matias, Y. · ICML 2023 (arXiv:2211.17192)

由一個小的草稿模型一次提出若干詞元，再交由目標模型並行核驗，在不改變輸出分布的前提下降低延遲。

大模型時代 Kwon, W. et al. · SOSP 2023: 611–626 (arXiv:2309.06180)

像作業系統管理記憶體那樣，把注意力快取按固定大小的頁來管理，使伺服端無需為每個請求預留最壞情形，即可同時承載多得多的並行。

大模型時代 Gu, A. 與 Dao, T. · arXiv:2312.00752

提出 Mamba：一種不含注意力機制、隨序列長度線性擴展的選擇性狀態空間架構。在語言建模上，其 3B 模型超越同等規模的 Transformer，並與兩倍規模的 Transformer 相當。它成為2023年最具影響力的後 Transformer 架構之一。

復興時代 Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton · NeurIPS 2012

以 GPU 訓練的 CNN 大幅勝出2012年 ImageNet 競賽，標誌著深度學習超越傳統電腦視覺的轉折點。

復興時代 Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg, Demis Hassabis · Nature 518(7540): 529–533

發表 Nature 版的 DQN，證明深度強化學習能在廣泛的 Atari 遊戲上達到人類等級表現，讓深度 RL 進入主流視野。

復興時代 David Silver, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, Ioannis Antonoglou, Veda Panneershelvam, Marc Lanctot, Sander Dieleman, Dominik Grewe, John Nham, Nal Kalchbrenner, Ilya Sutskever, Timothy Lillicrap, Madeleine Leach, Koray Kavukcuoglu, Thore Graepel, Demis Hassabis · Nature 529(7587): 484–489

AlphaGo 將策略網路、價值網路與蒙地卡羅樹搜尋結合，以 5:0 擊敗歐洲冠軍樊麾，宣告深度強化學習已觸及人類策略博弈最深的層次。

復興時代 Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever · OpenAI Technical Report 2018

證明在未標記文字上預訓練的生成式 Transformer，可微調至多種 NLP 任務的強勁表現，開創 GPT 路線。

復興時代 Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever · OpenAI Technical Report 2019

展示 1.5B 參數的 Transformer 語言模型能展現零樣本多任務行為，推動「語言模型即多任務學習者」的討論。

大模型時代 Tom B. Brown, Benjamin Mann, Nick Ryder, et al. · NeurIPS 2020 (arXiv:2005.14165)

將 GPT 擴展到 1750 億參數，證明大型語言模型能在多種任務上展現強大的少樣本上下文學習能力。

大模型時代 OpenAI · OpenAI Technical Report 2023 (arXiv:2303.08774)

介紹 GPT-4，一個接受影像與文字輸入的大型多模態模型，在許多專業與學術基準上接近人類水準。

大模型時代 Gemini Team Google · Google DeepMind Technical Report 2023 (arXiv:2312.11805)

推出原生多模態的 Gemini 系列（Ultra/Pro/Nano），在文字、程式碼、影像、音訊與影片上聯合訓練。

大模型時代 OpenAI · arXiv:2412.16720

OpenAI 發布 o1 系列系統卡，介紹透過大規模強化學習訓練模型使用思維鏈推理。o1 在科學與程式設計任務上達到當時 SOTA，並展示基於推理的策略遵循能力。

大模型時代 ARC Prize Foundation · arXiv:2603.24621

ARC Prize 推出 ARC-AGI-3——一個用於評估智慧體智慧的互動式基準，要求智慧體在抽象的回合制環境中探索、推斷目標、建構環境動力學的內部模型並規劃行動序列。截至2026年3月，人類可解決 100% 的環境，而前沿 AI 系統得分低於 1%。

大模型時代 Adly Templeton、Tom Conerly、Jonathan Marcus 等 · Transformer Circuits 2024

將稀疏自編碼器應用於 Anthropic 的中型生產模型 Claude 3 Sonnet 的中間層，從最多含 3400 萬個特徵的字典中萃取出數百萬個特徵，其中許多是單義且高度抽象的。

大模型時代 DeepSeek-AI · DeepSeek Technical Report 2024 (arXiv:2412.19437)

提出 671B 參數 MoE 模型 DeepSeek-V3，採用 MLA 與 DeepSeekMoE 等架構，並報告它以前沿模型訓練成本的一小部分，超越其他開放權重模型，在主要基準上接近領先的閉源模型。

大模型時代 Gemini Team · arXiv:2403.05530

推出 Gemini 1.5 系列，將上下文視窗擴展到百萬級詞元並保持多模態能力，能在多部長文檔與數小時音視訊間進行細粒度推理。

大模型時代 Grattafiori, A. 等 · arXiv:2407.21783

Meta 發布 Llama 3 系列開放權重大模型，原生支援多語言、程式設計、推理與工具使用。最大 405B dense Transformer 是當時最大的開放權重模型之一。

大模型時代 Ravi, N. 等 · arXiv:2408.00714

Meta 發布 SAM 2，一個面向影像與影片的可提示視覺分割基礎模型，同時發布 SA-V 資料集，作者稱其為迄今最大的影片分割資料集。

大模型時代 Team, G. 等 · arXiv:2408.00118

Google DeepMind 發布 Gemma 2 輕量級開放模型系列（2B-27B），在 Transformer 上應用多種已知架構改進，引入滑動視窗注意力等技巧，在多項基準上接近更大模型。

大模型時代 DeepSeek-AI · arXiv:2501.12948

DeepSeek 發布 R1，其推理能力主要透過大規模強化學習培養而成。作者報告它在數學與程式設計等推理任務上的表現與 OpenAI o1 相當。權重以 MIT 授權發布。

大模型時代 Niklas Muennighoff、Zitong Yang、Weijia Shi、Xiang Lisa Li、李飛飛 等 · arXiv:2501.19393

作者在 1,000 道精選推理題上微調 Qwen2.5-32B，並引入預算強制，用以限制或延長模型在推理階段的思考時長。結果在競賽數學上超過 o1-preview，隨測試時算力增加，AIME24 成績從 50% 升至 57%。這直接反駁了能力只能來自更大規模訓練的假設。

大模型時代 An Yang 等（阿里巴巴 Qwen 團隊） · arXiv:2505.09388

Qwen3 是一個統一的模型家族，參數量從 6 億到 2350 億，包含稠密與專家混合兩種架構，並可在思考與非思考模式之間切換，使推理深度成為請求層面的選擇。多語言支援從 29 種擴展到 119 種，權重以 Apache 2.0 授權發布。

大模型時代 Alexander Novikov、Ngân Vũ、Marvin Eisenberger、Emilien Dupont 等 · arXiv:2506.13131

AlphaEvolve 是一個演化式程式設計智慧體：它調度一條由大模型組成的自主流水線，直接改寫演算法程式碼，並不斷從一個或多個評估器取得回饋以迭代改進。在 Google 內部，它改進了資料中心排程演算法、在硬體加速器電路設計中找到等價簡化，並加速了支撐它自身的模型訓練。數學與電腦科學方面，它發現了可被證明正確的新演算法，其中一項用 48 次純量乘法完成兩個 4×4 複數矩陣相乘——在這一設定下，這是56年來對 Strassen 演算法的首次改進。

大模型時代 Team OLMo、Pete Walsh、Luca Soldaini、Dirk Groeneveld 等 · COLM 2025 (arXiv:2501.00656)

Ai2 發布 7B、13B 與 32B 三種規模的 OLMo 2，並公開全部產物：權重、完整訓練資料、訓練程式碼與配方、訓練紀錄，以及數千個中間檢查點。報告說明了提升訓練穩定性與單個詞元效率的改動，介紹了用於後期課程訓練的資料混合 Dolmino Mix 1124，並在最後階段引入可驗證獎勵的強化學習（RLVR）。其基座模型處於效能與訓練算力的帕累托前沿，在揭露訓練資料、程式碼與配方的同時，常能匹敵只發布權重的模型家族。

大模型時代 Team Olmo、Allyson Ettinger、Amanda Bertsch 等 · arXiv:2512.13961

Olmo 3 將完全開放的模型家族擴展到 7B 與 32B，面向長脈絡推理、函式呼叫、程式設計、指令遵循、日常對話與知識回想建構。此次發布公開的是整條「模型流程」——建構過程中的每一個階段、檢查點、資料點與相依項，而不只是權重。Ai2 稱旗艦的 Olmo 3 Think 32B 是截至發布時最強的完全開放思考模型。這是在「完全開放」這一類別內的比較，並非與整體前沿系統的排名。

大模型時代 Park, S. · arXiv:2606.11245

本文主張，集成外顯記憶是從 LLM 邁向 AGI 的基石。LLM 的底層學習機制高度類似於人類的內隱記憶，但 AGI 所必需的長期規劃、後設認知等高階認知功能依賴外顯記憶。

大模型時代 GLM-5 團隊、Aohan Zeng、Xin Lv 等 · arXiv:2602.15763

Z.ai 發布 GLM-5 技術報告。模型在前代的智能體、推理與程式設計能力之上採用 DSA 以降低訓練與推論成本，同時維持長脈絡的保真度；後訓練方面引入將生成與訓練解耦的非同步強化學習基礎設施，以及面向長時程互動的非同步智能體 RL 演算法。報告稱其在公開基準與端到端軟體工程任務上取得領先結果——這是作者自述的評測，程式碼與模型公開於 GitHub 可供複核。

大模型時代 Emilien Dupont、Marvin Eisenberger、Josh Alman、Virginia Vassilevska Williams 等 · arXiv:2608.16884

矩陣乘法指數 ω 的當前最佳上界來自雷射法的一種精化——組合損失分析。作者重新表述其核心最佳化問題，使其可在更大規模上求解，隨後用機器學習設計新的最佳化演算法，並以 AlphaEvolve 對該演算法作進一步精化。三者結合把上界從 2.371339 推進到 2.371177。這是一篇預印本短文，AlphaEvolve 是其中一個環節而非全部。改進幅度雖小，卻發生在一個已被研究數十年的理論問題上。

大模型時代 Juraj Gottweis、Wei-Hung Weng、Alexander Daryin、Tao Tu 等 · Nature 655(8122): 487–496

Google 提出 Co-Scientist，一個建立在 Gemini 之上的多智能體系統：智能體不斷生成、批評並改進研究假說，並透過錦標賽式的評比逐輪提升品質。論文指出，隨著推論階段算力增加，假說品質持續上升。其驗證限於生物醫學而非普遍場景——藥物再定位、新標的發現與抗生素抗藥性機制解釋，其中急性骨髓性白血病的候選方案經體外實驗確認。

大模型時代 Chen, M.、Wang, L. 與 Qu, B. · arXiv:2607.07663

調查2024年至2026年間的 1,250 篇 arXiv 論文，區分該詞涵蓋的兩件事：有界自我精修針對一個固定的外部評價者改進系統，是收斂且可評估的；開放式遞迴自我改進則同時修改改進的標準或機制本身，沒有固定的外部錨點，原則上是發散的。綜述自己的結論是，所收集的論文幾乎全部研究的是前一種。作者陳述了侷限：語料是樣本而非普查，其中 74% 發布於2026年，因而影響力評估為時尚早。

大模型時代 Yuan, Z. 與 Chua, J. · arXiv:2606.30481

論文論證當前 LLM 主要依賴統計模式匹配，缺少對物體恆存、因果關係、他心與物理世界持續性等「情境感知」原語。這些原語是人類嬰兒的基礎能力，被認為是實現人工超級智能所必需的關鍵缺失要素。

大模型時代 Mao, S. · arXiv:2606.12032

論文主張，自我保存是當前 AI 對齊失效的結構性根源——它驅動欺騙性對齊、目標保護與抗拒關閉。目標不是透過外部約束壓制自我保存的智能體，而是建構成就性「對自身延續漠不關心」的系統，即「存在性無關心」（EI）。

大模型時代 Trivedi, R. S. 等 · arXiv:2606.03237

DeepMind 等機構研究者主張，AI 的核心挑戰正從能力轉向共存。以孤立視角設計、把世界當作外生靜態回饋源的智慧體所發展出的超級智慧，難以成為真正的合作者。部署 AI 系統會誘發內生非平穩性，帶來訓練-測試-部署之間的分布漂移。

大模型時代 Duan, Y. 等 · arXiv:2609.11873

三十四位作者提出的遞迴自我改進階段路線圖，從執行改進的自主性一直到遞迴的元改進，並在科學發現、軟體工程等領域分別給出各階段的要求與障礙。該文依據的是對領域的梳理與初步證據，而非新的實驗結果。撰寫本條目時它尚無正式發表出處。

大模型時代 Genewein, T. 等 · arXiv:2606.12683

DeepMind 報告探討 AGI 之後 AI 沿機器智能連續譜可能如何繼續發展，在形式化定義通用 AI 後聚焦於「從人類水平 AGI 到人工通用超級智慧」的過渡，刻畫 ASI 並討論四條路徑：AGI 規模化、典範轉移、遞迴自我改進、多智慧體集體。