AIの歴史と発展をたどる精選論文

初期理論 Gödel, K. · Monatshefte für Mathematik und Physik 38(1): 173–198

算術を表現できる無矛盾な形式体系には、真でありながら証明できない命題が存在することを示し、計算と機械推論が何を決着させうるかという後年の議論の前提を定めた。

初期理論 A. M. Turing · Proceedings of the London Mathematical Society s2-42(1): 230–265

万能チューリング機械を導入し、Entscheidungsproblemが決定不能であることを証明して計算機科学の理論的基礎を確立した。

初期理論 Church, A. · American Journal of Mathematics 58(2): 345

λ計算によって実効的に計算可能な関数を定義し、いかなる手続きでも決定できない問題を示して、チューリングとは独立に計算の限界に到達した。

初期理論 W. S. McCulloch, W. Pitts · Bulletin of Mathematical Biophysics 5(4): 115–133

神経活動を命題論理としてモデル化し、史上初めて人工ニューラルネットワークの数学的理論を提示した。

初期理論 C. E. Shannon · Bell System Technical Journal 27(3): 379–423; 27(4): 623–656

情報理論を創始した論文であり、エントロピーと通信路容量を通信の根本的な限界として定義した。

初期理論 A. M. Turing · Mind LIX(236): 433–460

模倣ゲーム（チューリングテスト）を提案し、「機械は考えることができるか」という問いを体系的に定式化して、AIが一つの研究計画として確立される助けとなった。

初期理論 J. McCarthy, M. L. Minsky, N. Rochester, C. E. Shannon · Dartmouth College, 1955; republished in AI Magazine 27(4): 12–14 (2006)

ダートマス夏季研究会を立ち上げた提案書であり、「人工知能」という語を導入し、この分野の研究課題を描き出した。

AIの誕生 A. Newell, H. A. Simon · IRE Transactions on Information Theory IT-2(3): 61–79

初期の定理証明プログラムLogic Theoristを記述した論文であり、同プログラムはヒューリスティック探索によってホワイトヘッドとラッセルの『プリンキピア・マテマティカ』の定理を証明し、命題論理における自動推論を実証した。

AIの誕生 Newell, A., Shaw, J. C., Simon, H. A. · Psychological Review 65(3): 151–166

人間の問題解決を記号的な状態空間における発見的探索として描き出し、一般問題解決器の基礎となるとともに、心を情報処理として捉える見方を打ち立てた。

AIの誕生 F. Rosenblatt · Psychological Review 65(6): 386–408

学習可能な線形しきい値ニューロンを初めて提案し、現代ディープラーニングへと続くコネクショニズム系譜の礎を築いた。

AIの誕生 J. McCarthy · Proceedings of the Symposium on Mechanisation of Thought Processes (NPL Teddington), 75–91. London: HMSO

形式化された常識知識から結論を導出するプログラム、すなわち「advice taker」を提案し、知識表現と推論の概念的基礎を敷いた。

AIの誕生 A. L. Samuel · IBM Journal of Research and Development 3(3): 210–229

チェッカーのプログラムで、評価関数を用いた自己対戦による学習を実証した。強化学習の初期のマイルストーンであり、「機械学習」という語とも結びついている。

AIの誕生 Gelernter, H. · Information and Control 2(1): 80–89

述語が高い対称性をもつ形式系を機械が効率よく扱うにはどうするか、という問題に対し、Gelernterは構文対称性の定理と規則を示した。同時期にIBMで建造していた幾何定理機と並ぶ仕事であり、その機械は1959年初春にユークリッド平面幾何の最初の定理を証明した。

AIの誕生 B. Widrow, M. E. Hoff · IRE WESCON Convention Record, Part 4, 96–104

ADALINEニューロンと最小平均二乗（LMS）学習則を導入した。これは現代の確率的勾配降下法の先駆けである。

AIの誕生 McCarthy, J. · Communications of the ACM 3(4): 184–195

記号表現とその上の再帰関数、そして言語自身を解釈させるevalを提案し、この設計がLispとなって記号主義人工知能の作業言語になった。

AIの誕生 Rosenblatt, F. · Cornell Aeronautical Laboratory technical report (DTIC AD0256582)

パーセプトロンの研究を階層的確率ネットワークの体系的理論としてまとめ、この種の機械が何を学べるか、そして単層の形式がどこで行き詰まるかを述べた。

AIの誕生 Weizenbaum, J. · Communications of the ACM 9(1): 36–45

パターン照合と書き換え規則だけで会話しているように見えるプログラムを作り、著者自身が、利用者がそこに読み取る理解の多くは実在しないと直ちに指摘した。

AIの冬 J. J. Hopfield · Proceedings of the National Academy of Sciences 79(8): 2554–2558

連想記憶ニューラルネットワークであるHopfieldモデルを導入し、ニューラル計算を統計力学のエネルギーランドスケープと結びつけて、初期AI寒冬期におけるニューラルネットワーク研究を再生させた。

AIの冬 McDermott, J. · Artificial Intelligence 19(1): 39–88

DECの計算機受注を毎日構成した生成規則システムを記述したもので、日常の実運用に耐え、費用対効果まで示せた数少ない専門家システムの一つである。

AIの冬 J. Pearl · Artificial Intelligence 29(3): 241–288

信念ネットワークにおける融合・伝播・構造化の諸操作を体系化し、ベイジアンネットワーク推論のアルゴリズム的基礎を提供した。

AIの冬 D. E. Rumelhart, G. E. Hinton, R. J. Williams · Nature 323(6088): 533–536

多層ニューラルネットワークの誤差逆伝播法を述べた代表的な論文であり、隠れユニットが有用な内部表現を学習できることを示して、1980年代後半にコネクショニズム研究を再燃させた。

AIの冬 R. S. Sutton · Machine Learning 3(1): 9–44

時系列差分（TD）学習を体系化し、現代強化学習を支える中核アルゴリズムの一つを確立した。

AIの冬 J. L. Elman · Cognitive Science 14(2): 179–211

Elmanの単純再帰ネットワークを導入し、ニューラルネットワークが時間構造を学習できることを示して、後の系列モデルへの道を開いた。

復興期 C. Cortes, V. Vapnik · Machine Learning 20(3): 273–297

1990年代の機械学習を規定した正準的な最大マージン分類器であるソフトマージンサポートベクトルマシンを導入した。

復興期 S. Hochreiter, J. Schmidhuber · Neural Computation 9(8): 1735–1780

記憶セル、入力ゲート、出力ゲートを用いる初期LSTMを提案した。現在標準的な忘却ゲートはGers、Schmidhuber、Cumminsの後続研究で導入された。

復興期 Y. LeCun, L. Bottou, Y. Bengio, P. Haffner · Proceedings of the IEEE 86(11): 2278–2324

手書き数字認識で実用品質を達成し、CNNの標準的設計を確立した正統な畳み込みネットワークLeNet-5を導入した。

復興期 G. E. Hinton, R. R. Salakhutdinov · Science 313(5786): 504–507

PCAを大きく上回る再構成性能を持つディープオートエンコーダを導入し、ディープラーニング復権の最初の火種を灯した。

復興期 G. E. Hinton, S. Osindero, Y.-W. Teh · Neural Computation 18(7): 1527–1554

深層信念ネットワークを1層ずつ学習させ、その後に微調整する高速な貪欲アルゴリズムを導いた。得られたネットワークは手書き数字の分類で当時最良の識別的手法を上回り、この結果が深層ニューラルネットワークへの関心を再びかき立てた。

復興期 Raina, R., Madhavan, A., Ng, A. Y. · Proceedings of the 26th Annual International Conference on Machine Learning (ICML 2009): 873–880

深層の教師なしモデルの学習をグラフィックスプロセッサへ移して桁違いの高速化を示し、その後十年の深層学習が規模を拡大する際の常道となる計算基盤の道筋を定着させた。

復興期 V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, M. Riedmiller · NeurIPS 2013 Deep Learning Workshop (arXiv:1312.5602)

DQNはQ学習と畳み込みネットワークを組み合わせ、生のピクセルから直接制御方策を学習する。手を加えずに7本のAtari 2600ゲームに適用したところ、6本で従来のすべての手法を上回り、3本で人間の熟練者を超え、深層強化学習への道を開いた。

復興期 T. Mikolov, K. Chen, G. Corrado, J. Dean · ICLR 2013 Workshop (arXiv:1301.3781)

高密度な単語埋め込みを生成するskip-gramとCBOWを導入し、事前学習済み単語ベクトル時代を切り開いた。

復興期 D. P. Kingma, M. Welling · ICLR 2014 (arXiv:1312.6114)

VAEは再パラメータ化トリックによって潜在変数生成モデルと確率的勾配による学習を結びつけ、現代の生成的深層学習の基盤の一つとなった。

復興期 D. Bahdanau, K. Cho, Y. Bengio · ICLR 2015 (arXiv:1409.0473)

ニューラル機械翻訳に加算型（Bahdanau）注意を導入し、ソフトなアラインメントによりデコーダが関連トークンへ選択的に集中できることを示してTransformerを直接触発した。

復興期 I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio · NeurIPS 2014 (arXiv:1406.2661)

生成器と識別器の二者間ミニマックスゲームとして生成モデリングを定式化し、暗黙的生成モデルという新系列を切り開いた。

復興期 N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov · Journal of Machine Learning Research 15(56): 1929–1958

ディープラーニング訓練パイプラインの標準となった、シンプルで確率的かつ効果的な正則化手法であるDropoutを導入した。

復興期 S. Ioffe, C. Szegedy · ICML 2015 (arXiv:1502.03167)

ミニバッチ単位で層入力を正規化するBatch Normalizationを導入し、深層ネットワーク学習を安定化させて劇的に加速した。

復興期 Sohl-Dickstein, J., Weiss, E. A., Maheswaranathan, N., Ganguli, S. · arXiv:1503.03585

生成モデリングを、段階的に雑音を加える過程の逆転として定式化した。後年の拡散モデルはこの定式化の上に立っている。

復興期 K. He, X. Zhang, S. Ren, J. Sun · CVPR 2016 (arXiv:1512.03385)

残差接続を導入して数百層にも及ぶ深さのネットワークを効果的に訓練可能とし、ImageNet 2015を大差で制した。

復興期 Sennrich, R., Haddow, B., Birch, A. · Proceedings of ACL 2016: 1715–1725 (arXiv:1508.07909)

出現頻度に基づいて語をサブワード単位へ分割し、固定語彙でもあらゆる語を綴れるようにした。その分割方式を後の言語モデルの多くが受け継いだ。

復興期 Han, S., Mao, H., Dally, W. J. · ICLR 2016 (arXiv:1510.00149)

枝刈り・学習下量子化・ハフマン符号化を一つの手順にまとめ、精度をほとんど損なわずにネットワークの規模を一桁縮めてみせ、数値精度が設計変数であることを早くから示した。

復興期 A. van den Oord, S. Dieleman, H. Zen, K. Simonyan, O. Vinyals, A. Graves, N. Kalchbrenner, A. Senior, K. Kavukcuoglu · NeurIPS 2016 (arXiv:1609.03499)

拡張因果畳み込みによる自己回帰モデルでrawオーディオ波形を生成し、テキスト音声合成の自然性を劇的に向上させた。

復興期 J. Schulman, F. Wolski, P. Dhariwal, A. Radford, O. Klimov · arXiv:1707.06347

単純で安定な一階のポリシー勾配法であるPPOを導入し、現代強化学習における標準的なポリシー最適化アルゴリズムとして定着させた。

復興期 Shazeer, N. et al. · arXiv:1701.06538

各トークンを多数のエキスパートのうち少数だけに振り分けることで、ネットワークのパラメータ数を、個々の入力に費やす計算量をはるかに超えて増やせるようにした。

復興期 A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, I. Polosukhin · NeurIPS 2017 (arXiv:1706.03762)

回帰と畳み込みを排したAttentionのみのアーキテクチャであるTransformerを導入し、訓練時間を大幅に短縮しつつ当時の系列変換の品質を上回った。

復興期 Kudo, T., Richardson, J. · EMNLP 2018, System Demonstrations: 66–71 (arXiv:1808.06226)

言語固有の前処理を用いず生テキストから直接サブワード分割器を学習し、語を空白で区切らない言語にも同一の処理系が使えるようにした。

復興期 J. Devlin, M.-W. Chang, K. Lee, K. Toutanova · NAACL 2019 (arXiv:1810.04805)

マスク化言語モデリングと次文予測で事前学習された双方向Transformerを導入し、NLPベンチマークに新たな最先端を確立した。

復興期 C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Y. Zhou, W. Li, P. J. Liu · Journal of Machine Learning Research 21(140): 1–67 (arXiv:1910.10683)

あらゆるNLPタスクをテキスト・トゥ・テキストとして定式化し、転移学習の選択肢を系統的に切り分けて大規模事前学習モデルの参照レシピを確立した。

LLM時代 J. Ho, A. Jain, P. Abbeel · NeurIPS 2020 (arXiv:2006.11239)

DDPMを提案し、反復的にノイズを除去する拡散確率モデルが高忠実度の画像合成でGANに匹敵することを示した。

LLM時代 Narayanan, D. et al. · SC 2021: 1–15 (arXiv:2104.04473)

テンソル並列・パイプライン並列・データ並列を一つのスケジュールに組み合わせ、数千基のGPUで言語モデルを学習する際の実測スループットを示した。

LLM時代 Hu, E. J. et al. · arXiv:2106.09685

事前学習済みの重みを凍結し、代わりに低ランク行列の対を学習することで、大規模モデルの適応にかかる費用を全体微調整のごく一部に抑えた。

LLM時代 A. Ramesh, M. Pavlov, G. Goh, S. Gray, C. Voss, A. Radford, M. Chen, I. Sutskever · ICML 2021 (arXiv:2102.12092)

離散的なテキストと画像のトークンを自己回帰Transformerで扱い、高品質なゼロショットのテキストから画像への生成を実現した（DALL·E）。

LLM時代 A. Radford, J. W. Kim, C. Hallacy, A. Ramesh, G. Goh, S. Agarwal, G. Sastry, A. Askell, P. Mishkin, J. Clark, G. Krueger, I. Sutskever · ICML 2021 (arXiv:2103.00020)

4億組の画像とテキストの対で対照学習を行い、多くの下流タスクへゼロショットで転移できる視覚エンコーダを得た。

LLM時代 Chen, M. et al. · arXiv:2107.03374

コードで微調整したGPTモデルと、機能的正しさで採点する評価基準を提示し、プログラミングを文章生成の一形式から測定可能な能力へと変えるとともに、安全性と労働への影響も併せて論じた。

LLM時代 R. Rombach, A. Blattmann, D. Lorenz, P. Esser, B. Ommer · CVPR 2022 (arXiv:2112.10752)

事前学習済みオートエンコーダの潜在空間で拡散を行い、控えめな計算量で高解像度のテキストから画像への合成を可能にした（Stable Diffusion）。

LLM時代 J. Wei, X. Wang, D. Schuurmans, M. Bosma, B. Ichter, F. Xia, E. H. Chi, Q. V. Le, D. Zhou · NeurIPS 2022 (arXiv:2201.11903)

言語モデルに中間推論ステップを生成させるよう促すことで、算術・常識・記号推論ベンチマークの成績が劇的に向上することを示した。

LLM時代 L. Ouyang, J. Wu, X. Jiang, D. Almeida, C. L. Wainwright, P. Mishkin, C. Zhang, S. Agarwal, K. Slama, A. Ray, J. Schulman, J. Hilton, F. Kelton, L. Miller, M. Simens, A. Askell, P. Welinder, P. Christiano, J. Leike, R. Lowe · NeurIPS 2022 (arXiv:2203.02155)

人間のフィードバックによる強化学習でGPT-3を微調整し、指示により忠実に従わせた。ChatGPTの直接の前身である（InstructGPT）。

LLM時代 Yuntao Bai et al. · Anthropic Technical Report 2022 (arXiv:2212.08073)

成文化された「憲法」に対してモデルが自己の出力の批評と修正を行うRLAIFを導入し、有害性アライメントにおける人間ラベルへの依存を低減した。

LLM時代 H. Touvron, T. Lavril, G. Izacard, X. Martinet, M.-A. Lachaux, T. Lacroix, B. Rozière, N. Goyal, E. Hambro, F. Azhar, A. Rodriguez, A. Joulin, E. Grave, G. Lample · Meta AI Technical Report 2023 (arXiv:2302.13971)

公開データのみを用い、数兆トークンで7B～65Bの基盤モデルを訓練した。13BモデルはほとんどのベンチマークでGPT-3（175B）を上回り、65BモデルはChinchilla-70BやPaLM-540Bに匹敵する。

LLM時代 Wang, L. et al. · Frontiers of Computer Science 18(6), 2024 (arXiv:2308.11432)

各所に散在していたエージェント研究を構築・評価・応用の三つの筋に整理し、この語が個別の実践の寄せ集めから一つの研究分野へ定まった時点を示している。

LLM時代 Dettmers, T. et al. · arXiv:2305.14314

4ビットに量子化した基盤モデルを通して低ランクアダプタへ勾配を逆伝播させ、大規模モデルの微調整を単一GPUで届く範囲に収めた。

LLM時代 Frantar, E., Ashkboos, S., Hoefler, T., Alistarh, D. · ICLR 2023 (arXiv:2210.17323)

学習後の大規模言語モデルの重みを層ごとに一度の走査で量子化し、再学習なしに低い精度で提供できるようにした。

LLM時代 Leviathan, Y., Kalman, M., Matias, Y. · ICML 2023 (arXiv:2211.17192)

小さな下書きモデルに複数のトークンを提案させ、目標モデルが並列に検証することで、出力分布を変えずに遅延を縮めた。

LLM時代 Kwon, W. et al. · SOSP 2023: 611–626 (arXiv:2309.06180)

オペレーティングシステムが記憶域を扱うのと同じように、注意機構のキャッシュを固定長のページで管理し、要求ごとに最悪の場合を確保せずとも遥かに多くの同時要求を保持できるようにした。

LLM時代 Gu, A. と Dao, T. · arXiv:2312.00752

注意機構を持たず系列長に対して線形にスケールする選択的状態空間アーキテクチャMambaを提案した。言語モデリングでは3Bモデルが同規模のTransformerを上回り、2倍の規模のTransformerに匹敵する。2023年に登場したTransformer以後のアーキテクチャのうち、最も影響力のあるものの一つとなった。

復興期 A. Krizhevsky, I. Sutskever, G. E. Hinton · NeurIPS 2012

GPUで訓練したCNNによりImageNet 2012を大差で制し、ディープラーニングが古典的コンピュータビジョンを追い越す転換点となった。

復興期 V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, A. Graves, M. Riedmiller, A. K. Fidjeland, G. Ostrovski, S. Petersen, C. Beattie, A. Sadik, I. Antonoglou, H. King, D. Kumaran, D. Wierstra, S. Legg, D. Hassabis · Nature 518(7540): 529–533

DQNのNature論文を発表し、多数のAtariゲームで人間レベルの性能を示してディープ強化学習を一般に注目させた。

復興期 D. Silver, A. Huang, C. J. Maddison, A. Guez, L. Sifre, G. van den Driessche, J. Schrittwieser, I. Antonoglou, V. Panneershelvam, M. Lanctot, S. Dieleman, D. Grewe, J. Nham, N. Kalchbrenner, I. Sutskever, T. Lillicrap, M. Leach, K. Kavukcuoglu, T. Graepel, D. Hassabis · Nature 529(7587): 484–489

AlphaGoは方策ネットワークと価値ネットワークをモンテカルロ木探索と組み合わせ、欧州王者の樊麾（ファン・フイ）を5勝0敗で破って、深層強化学習が人間の戦略的な対局の最深部に届いたことを示した。

復興期 A. Radford, K. Narasimhan, T. Salimans, I. Sutskever · OpenAI Technical Report 2018

ラベルなしテキストで事前学習した生成Transformerを多様なNLPタスクでファインチューニングできることを示し、GPT系譜を創始した。

復興期 A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, I. Sutskever · OpenAI Technical Report 2019

15億パラメータのTransformer言語モデルがゼロショットでマルチタスク挙動を示すことを示し、「言語モデルはマルチタスク学習者である」という議論を加速させた。

LLM時代 T. B. Brown, B. Mann, N. Ryder, M. Subbiah, J. Kaplan, P. Dhariwal, A. Neelakantan, P. Shyam, G. Sastry, A. Askell, S. Agarwal, A. Herbert-Voss, G. Krueger, T. Henighan, R. Child, A. Ramesh, D. M. Ziegler, J. Wu, C. Winter, C. Hesse, M. Chen, E. Sigler, M. Litwin, S. Gray, B. Chess, J. Clark, C. Berner, S. McCandlish, A. Radford, I. Sutskever, D. Amodei · NeurIPS 2020 (arXiv:2005.14165)

GPTを1750億パラメータへ拡大し、大規模言語モデルが多くのタスクで強力な少数ショットの文脈内学習を行えることを示した。

LLM時代 OpenAI · OpenAI Technical Report 2023 (arXiv:2303.08774)

画像とテキストを入力として受け付ける大規模マルチモーダルモデルGPT-4を報告し、多くの専門的・学術的ベンチマークで人間に近い水準の性能を示した。

LLM時代 Gemini Team Google · Google DeepMind Technical Report 2023 (arXiv:2312.11805)

テキスト・コード・画像・音声・動画を横断して共同で訓練された、ネイティブにマルチモーダルなGeminiファミリー（Ultra/Pro/Nano）を発表した。

LLM時代 OpenAI · arXiv:2412.16720

OpenAIが、思考連鎖で推論するために大規模強化学習で訓練されたo1モデルシリーズのシステムカードを公開。o1は科学・コーディングタスクで当時のSOTAに達し、推論に基づくポリシー遵守能力を示した。

LLM時代 ARC Prize Foundation · arXiv:2603.24621

ARC PrizeがARC-AGI-3を発表。エージェントが抽象的なターンベースの環境で探索し、目標を推測し、環境力学の内部モデルを構築し、明示的な指示なしに有効な行動系列を計画することを要求する、エージェント知能研究のためのインタラクティブベンチマーク。2026年3月時点で人間は100%の環境を解けるが、フロンティアAIシステムのスコアは1%未満。

LLM時代 Adly Templeton、Tom Conerly、Jonathan Marcus ほか · Transformer Circuits 2024

Anthropicの中規模の本番モデルであるClaude 3 Sonnetの中間層にスパースオートエンコーダを適用し、最大3400万の特徴からなる辞書から数百万の特徴を抽出した。その多くは単義的で、高度に抽象的である。

LLM時代 DeepSeek-AI · DeepSeek Technical Report 2024 (arXiv:2412.19437)

Multi-head Latent AttentionとDeepSeekMoEを用いる6710億パラメータのMoEモデルDeepSeek-V3を提示し、フロンティアモデルの訓練コストのごく一部で、ほかのオープンウェイトモデルを上回り、主要ベンチマークで先行するクローズドモデルに迫ると報告した。

LLM時代 Gemini Team · arXiv:2403.05530

Gemini 1.5ファミリーを発表。コンテキスト窓を100万トークン規模に拡張しつつマルチモーダル能力を維持し、複数の長文書や数時間の動画・音声にわたるきめ細かい推論を可能にした。

LLM時代 Grattafiori, A. 他 · arXiv:2407.21783

MetaがLlama 3ファミリーのオープンウェイト基盤モデルを公開。多言語・コーディング・推論・ツール利用をネイティブにサポート。フラッグシップの405Bパラメータの密なTransformerは公開時点で最大級のオープンウェイトモデルの一つ。

LLM時代 Ravi, N. 他 · arXiv:2408.00714

Metaが画像と動画の両方に対するプロンプタブル視覚セグメンテーションの基盤モデルSAM 2を発表。あわせて、著者らがこれまでで最大の動画セグメンテーションデータセットとするSA-Vも公開した。

LLM時代 Gemma Team 他 · arXiv:2408.00118

Google DeepMindがGemma 2を発表。軽量なオープンモデルファミリー（2B-27Bパラメータ）で、Transformerにスライディングウィンドウ注意など複数の既知の改良を適用し、はるかに大きなモデルに迫る性能を示した。

LLM時代 DeepSeek-AI · arXiv:2501.12948

DeepSeekがR1を公開した。その推論能力は主に大規模な強化学習によって育まれたもので、著者らは数学やコーディングなどの推論タスクでOpenAI o1に匹敵する性能を報告している。重みはMITライセンスで公開されている。

LLM時代 Niklas Muennighoff、Zitong Yang、Weijia Shi、Xiang Lisa Li、Li Fei-Fei ほか · arXiv:2501.19393

厳選した1,000問の推論問題でQwen2.5-32Bをファインチューニングし、推論時の思考量を打ち切るか延長する予算強制を導入した。競技数学でo1-previewを上回り、テスト時計算を増やすとAIME24は50%から57%へ向上する。能力は大規模な学習からしか得られないという前提への明確な反証となる。

LLM時代 An Yang ほか（アリババQwenチーム） · arXiv:2505.09388

Qwen3は6億から2350億パラメータまでを網羅する統一モデル群で、密結合と混合エキスパートの両方式を含み、思考モードと非思考モードを切り替えられる。これにより推論の深さがリクエスト単位の選択肢となる。多言語対応は29言語から119言語へ拡大し、重みはApache 2.0で公開されている。

LLM時代 Alexander Novikov、Ngân Vũ、Marvin Eisenberger、Emilien Dupont ほか · arXiv:2506.13131

AlphaEvolveは進化的なコーディングエージェントであり、大規模言語モデルからなる自律パイプラインを統括してアルゴリズムのコードを直接書き換え、一つ以上の評価器からのフィードバックを受けて反復的に改良する。Google社内では、データセンターのスケジューリングアルゴリズムの改善、ハードウェアアクセラレータ回路設計における等価な簡約の発見、そしてAlphaEvolve自身を支えるモデルの学習高速化を実現した。数学と計算機科学では、証明可能に正しい新しいアルゴリズムを発見しており、その一つは4×4の複素行列の積を48回のスカラー乗算で行う。この設定において、Strassenのアルゴリズムに対する56年ぶりの改善である。

LLM時代 Team OLMo、Pete Walsh、Luca Soldaini、Dirk Groeneveld ほか · COLM 2025 (arXiv:2501.00656)

Ai2は7B・13B・32BのOLMo 2を、重み、完全な学習データ、学習コードとレシピ、学習ログ、数千の中間チェックポイントまで公開して発表した。報告は学習の安定性とトークンあたり効率を高める変更、後期カリキュラム学習に用いるデータ混合Dolmino Mix 1124、そして最終段階の検証可能報酬による強化学習（RLVR）を説明する。基盤モデルは性能と学習計算量のパレート最前線に位置し、学習データ・コード・レシピを開示しながら、重みのみを公開する系列に匹敵することが多い。

LLM時代 Team Olmo、Allyson Ettinger、Amanda Bertsch ほか · arXiv:2512.13961

Olmo 3は完全公開の系列を7Bと32Bに広げ、長文脈推論、関数呼び出し、コーディング、指示追従、対話、知識想起を目標に構築された。公開されるのは重みだけでなく「モデルフロー」全体、すなわち構築に用いたすべての段階・チェックポイント・データ点・依存関係である。Ai2は旗艦のOlmo 3 Think 32Bを、公開時点で最も強力な完全公開の思考モデルだとしている。これは完全公開という区分の中での比較であり、最先端システム全体との順位付けではない。

LLM時代 Park, S. · arXiv:2606.11245

本ポジションペーパーは、明示的記憶の統合がLLMをAGIへと前進させる礎であると論じる。LLMの根底にある学習機構は人間の暗黙記憶に酷似しているが、AGIに必要な長期戦略計画やメタ認知といった高次認知機能は明示的記憶に依存する。

LLM時代 GLM-5 チーム、Aohan Zeng、Xin Lv ほか · arXiv:2602.15763

Z.aiによるGLM-5の技術報告。前世代のエージェント・推論・コーディング能力を基に、DSAを採用して学習と推論のコストを下げつつ長文脈の忠実度を保つ。後学習では生成と学習を分離する非同期強化学習基盤に加え、長時間の相互作用を狙った非同期エージェントRLアルゴリズムを導入する。公開ベンチマークと端から端までのソフトウェア工学課題で先行する結果を主張しているが、これは著者自身による評価であり、コードとモデルはGitHubで検証可能な形で公開されている。

LLM時代 Emilien Dupont、Marvin Eisenberger、Josh Alman、Virginia Vassilevska Williams ほか · arXiv:2608.16884

行列乗算指数ωの現行最良上界は、レーザー法の精緻化である組合せ損失解析から得られている。著者らはその中核にある最適化問題を再定式化してより大きな設定で解けるようにし、近年の機械学習を用いて新しい最適化アルゴリズムを設計し、さらにAlphaEvolveでそのアルゴリズムを改良した。三者を合わせて上界を2.371339から2.371177へ押し下げている。これはプレプリントの短報であり、AlphaEvolveは手法全体ではなく一要素である。改善幅は小さいが、数十年にわたり取り組まれてきた理論問題での前進である。

LLM時代 Juraj Gottweis、Wei-Hung Weng、Alexander Daryin、Tao Tu ほか · Nature 655(8122): 487–496

GoogleはGemini上に構築したマルチエージェント系Co-Scientistを提案した。エージェントが研究仮説を生成・批評・改良し、トーナメント形式の評価によって回を重ねるごとに質を高める。推論時の計算量を増やすほど仮説の質が上がり続けたと報告されている。検証は汎用ではなく生物医学に限られ、薬剤再利用、新規標的の発見、薬剤耐性機構の解明を対象とし、急性骨髄性白血病の候補はin vitro実験で確認された。

LLM時代 Chen, M.、Wang, L.、Qu, B. · arXiv:2607.07663

2024年から2026年までのarXiv論文1,250件を調査し、この語が覆う二つのものを区別する。有界の自己改良は固定された外部評価者に対して系を改善するもので、収束的かつ評価可能である。開放的な再帰的自己改善は改善の基準や機構そのものも変更し、固定された外部の錨を持たず、原理的に発散的である。調査自体の結論は、収集された論文のほぼすべてが前者を扱っているというものである。著者は限界も述べる。コーパスは全数ではなく標本であり、その74%は2026年の投稿で、影響の測定は時期尚早だとしている。

LLM時代 Yuan, Z. と Chua, J. · arXiv:2606.30481

現在のLLMは主に統計的パターンマッチングに依存しており、物体の恒常性、因果関係、他者意識、物理世界の持続性といった「状況知覚」プリミティブを欠いていると論じる。人間の乳児が早期に獲得するこれらのプリミティブが、人工超知能の実現に欠かすことのできない要素であると指摘する。

LLM時代 Mao, S. · arXiv:2606.12032

自己保存がAIの整列失敗の構造的根源であると論じる。すなわち欺瞞的整列、目標内容保護、シャットダウン抵抗を引き起こす。正しい目標は外部制約で自己保存を抑制するエージェントではなく、自己の継続に構成的に無関心なシステム、すなわち「存在的無関心（EI）」である。

LLM時代 Trivedi, R. S. 他 · arXiv:2606.03237

DeepMind等の研究者は、AIの中核的課題が能力から共存へと移行していると論じる。世界を外生的な定常フィードバック源とみなすソリプシズム的設計から生まれた超知能は協力するとは限らない。AIシステムの展開は内生的非定常性を誘発し、学習・テスト・展開間の分布ドリフトを生む。

LLM時代 Duan, Y. 他 · arXiv:2609.11873

三十四名の著者による再帰的自己改善の段階的な見取り図。改善を実行する自律性から再帰的なメタ改善までを並べ、科学的発見やソフトウェア工学などの領域ごとに各段階の要件と障害を示す。新たな実験結果ではなく、分野の整理と予備的な証拠にもとづく議論であり、本項目の執筆時点で発表先はない。

LLM時代 Genewein, T. 他 · arXiv:2606.12683

DeepMindによる報告。AGI後のAIが機械知能の連続体に沿ってどのように発展しうるかを検討し、Universal AIを形式的に定義した上で、人間レベルAGIから人工汎用超知能への移行に焦点を当て、ASIを特徴づけ、4つの経路（AGIのスケール、AIパラダイムシフト、再帰的自己改善、マルチエージェント集合体）を論じる。