計算可能数について ― Entscheidungsproblem への適用
万能チューリング機械を導入し、Entscheidungsproblem が決定不能であることを証明して計算機科学の理論的基礎を確立した。
AIの歴史と発展をたどる精選論文
1936年から現在までの代表的な73件を、編集上の役割と出版状態別に掲載
論文は AI 歴史の最も硬い骨格です。ここでは AI 分野を形成した 73 件の基礎論文を収集し、それぞれ原文リンクを添えています。
歴史的な代表性、技術的影響、編集上の判断に基づいて選定しています。査読論文、技術報告、プレプリント、ポジションペーパー、システムカードを収録し、出版形態を明示しています。訂正や追加提案は「編集方針と訂正」ページの公開窓口からお寄せください。
時代：
年代：
トピック：
表示中 73 / 全 73 件の論文
基礎論文
神経活動内に内在する理念の論理計算
神経活動を命題論理としてモデル化し、史上初めて人工ニューラルネットワークの数学的理論を提示した。
通信の数学的理論
情報エントロピーと通信路容量を定義して情報理論を確立し、後の AI における確率論的アプローチの基盤を提供した。
計算機械と知能
機械知能の操作的定義として模倣ゲーム（チューリングテスト）を提案し、以後七十年にわたる AI の問いの枠組みを定めた。
ダートマス夏季人工知能研究計画提案書
「人工知能」という語を造り、AI を独立した学術分野として打ち立てる研究構想を提唱した。
論理理論機械：複雑な情報処理システム
史上初のヒューリスティック推論プログラムを実装し、機械が人間の問題解決戦略を模倣できることを示して「複雑な情報処理システム」の概念を導入した。
パーセプトロン：脳における情報の保存と組織化に関する確率モデル
学習可能な線形しきい値ニューロンを初めて提案し、現代ディープラーニングへと続くコネクショニズム系譜の礎を築いた。
常識を備えたプログラム
形式化された常識知識から結論を導出するプログラム、すなわち 「advice taker」 を提案し、知識表現と推論の概念的基礎を敷いた。
チェッカーを用いた機械学習に関する研究
自己対戦によって強くなるチェッカープログラムを示し、機械学習とアルファベータ的自己改良の研究に先鞭をつけた。
構文対称性と機械による形式系の操作についての覚書
述語が高い対称性をもつ形式系を機械が効率よく扱うにはどうするか、という問題に対し、Gelernter は構文対称性の定理と規則を示した。同時期に IBM で建造していた幾何定理機と並ぶ仕事であり、その機械は1959年初春にユークリッド平面幾何の最初の定理を証明した。
適応スイッチング回路
適応線形ネットワークに対して史上初めて広く用いられた勾配降下学習規則である LMS 則（Adaline）を導入した。
創発的集合的計算能力を備えたニューラルネットワークと物理システム
連想記憶ニューラルネットワークである Hopfield モデルを導入し、ニューラル計算を統計力学のエネルギーランドスケープと結びつけて、初期 AI 寒冬期におけるニューラルネットワーク研究を再生させた。
信念ネットワークにおける融合・伝播・構造化
信念ネットワークにおける融合・伝播・構造化の諸操作を体系化し、ベイジアンネットワーク推論のアルゴリズム的基礎を提供した。
誤差逆伝播による表現学習
多層ニューラルネットワークを訓練する誤差逆伝播アルゴリズムを普及させ、実用的なディープラーニングを可能にした。
時系列差分法による予測学習
時系列差分（TD）学習を体系化し、現代強化学習を支える中核アルゴリズムの一つを確立した。
時間構造の発見
Elman の単純再帰ネットワークを導入し、ニューラルネットワークが時間構造を学習できることを示して、後の系列モデルへの道を開いた。
サポートベクトルネットワーク
1990年代の機械学習を規定した正準的な最大マージン分類器であるソフトマージンサポートベクトルマシンを導入した。
Long Short-Term Memory
記憶セル、入力ゲート、出力ゲートを用いる初期 LSTM を提案した。現在標準的な忘却ゲートは Gers、Schmidhuber、Cummins の後続研究で導入された。
文書認識への勾配に基づく学習の適用
手書き数字認識で実用品質を達成し、CNN の標準的設計を確立した正統な畳み込みネットワーク LeNet-5 を導入した。
ニューラルネットワークによるデータ次元削減
PCA を大きく上回る再構成性能を持つディープオートエンコーダを導入し、ディープラーニング復権の最初の火種を灯した。
ディープビリーフネットのための高速学習アルゴリズム
貪欲な層ごと学習アルゴリズムで訓練されるディープビリーフネットワークを導入し、深層モデルが効率的に学習可能であることを初めて実証した。
ディープ強化学習による Atari ゲームのプレイ
Q 学習と畳み込みネットワークを結合し、生ピクセル入力から Atari ゲームを人間レベルでプレイする手法を提示してディープ強化学習を創始した。
ベクトル空間における単語表現の効率的推定
高密度な単語埋め込みを生成する skip-gram と CBOW を導入し、事前学習済み単語ベクトル時代を切り開いた。
Auto-Encoding Variational Bayes
変分推論と深層生成モデルを組み合わせ、最初に広く普及した深層潜在変数モデルである変分オートエンコーダ（VAE）を導入した。
アライメントと翻訳の同時学習によるニューラル機械翻訳
ニューラル機械翻訳に加算型（Bahdanau）注意を導入し、ソフトなアラインメントによりデコーダが関連トークンへ選択的に集中できることを示して Transformer を直接触発した。
Generative Adversarial Networks
生成器と識別器の二者間ミニマックスゲームとして生成モデリングを定式化し、暗黙的生成モデルという新系列を切り開いた。
Dropout: ニューラルネットワークの過学習を防ぐシンプルな手法
ディープラーニング訓練パイプラインの標準となった、シンプルで確率的かつ効果的な正則化手法である Dropout を導入した。
Batch Normalization: 内部共変量シフトの低減による深層ネットワーク学習の高速化
ミニバッチ単位で層入力を正規化する Batch Normalization を導入し、深層ネットワーク学習を安定化させて劇的に加速した。
画像認識のためのディープ残差学習
残差接続を導入して数百層にも及ぶ深さのネットワークを効果的に訓練可能とし、ImageNet 2015 を大差で制した。
WaveNet: raw オーディオのための生成モデル
拡張因果畳み込みによる自己回帰モデルで raw オーディオ波形を生成し、テキスト音声合成の自然性を劇的に向上させた。
Proximal Policy Optimization Algorithms
単純で安定な一階のポリシー勾配法である PPO を導入し、現代強化学習における標準的なポリシー最適化アルゴリズムとして定着させた。
Attention Is All You Need
回帰と畳み込みを排した Attention のみのアーキテクチャである Transformer を導入し、訓練時間を大幅に短縮しつつ当時の系列変換の品質を上回った。
BERT: 言語理解のためのディープ双方向 Transformer の事前学習
マスク化言語モデリングと次文予測で事前学習された双方向 Transformer を導入し、NLP ベンチマークに新たな最先端を確立した。
統一テキスト・トゥ・テキスト Transformer による転移学習の限界の探究
あらゆる NLP タスクをテキスト・トゥ・テキストとして定式化し、転移学習の選択肢を系統的に切り分けて大規模事前学習モデルの参照レシピを確立した。
Denoising Diffusion Probabilistic Models
拡散過程をノイズ除去の変分学習目的として再定式化し、画像生成品質を再び最先端に押し上げて拡散モデル時代を始動させた。
Zero-Shot Text-to-Image Generation
120 億パラメータの自己回帰 Transformer がテキストキャプションから直接に多様で高忠実度の画像を生成できることを示し、テキスト・トゥ・イメージ研究に火を点じた。
自然言語監視からの転移可能な視覚モデルの学習
ウェブ規模の画像-テキスト対で画像エンコーダを訓練して強力なゼロショット画像分類を達成し、後の多くのマルチモーダルシステムに視覚タワーを提供した。
潜在拡散モデルによる高解像度画像合成
拡散過程を知覚的潜在空間へ移すことで、消費級 GPU 上での高解像度テキスト・トゥ・イメージ生成を可能にし、画像合成を大衆化した。
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
言語モデルに中間推論ステップを生成させるよう促すことで、算術・常識・記号推論ベンチマークの成績が劇的に向上することを示した。
人間のフィードバックを用いた指示追従型言語モデルの訓練
人間のフィードバックからの強化学習（RLHF）を大規模に適用して GPT-3 の出力を人間の意図に整合させ、RLHF をアライメントの正統的手順として確立した。
Constitutional AI: Harmlessness from AI Feedback
成文化された「憲法」に対してモデルが自己の出力の批評と修正を行う RLAIF を導入し、有害性アライメントにおける人間ラベルへの依存を低減した。
LLaMA: オープンで効率的な基盤言語モデル
オープンな基盤モデルである LLaMA ファミリーを公開し、比較的小型で丁寧に訓練されたモデルでも巨大なクローズドモデルに匹敵し得ることを示してオープンウェイトの流れを加速した。
Mamba：選択的状態空間による線形時系列モデリング
選択的状態空間モデル Mamba を提案し、言語等のモダリティで Transformer 注意機構を線形時間計算量で同等の性能で上回り、2023年最も影響力のある Transformer 以降のモデルアーキテクチャの一つとなった。
画期的なシステムと成果
ディープ畳み込みニューラルネットワークによる ImageNet 画像分類
GPU で訓練した CNN により ImageNet 2012 を大差で制し、ディープラーニングが古典的コンピュータビジョンを追い越す転換点となった。
ディープ強化学習による人間レベルの制御
DQN の Nature 論文を発表し、多数の Atari ゲームで人間レベルの性能を示してディープ強化学習を一般に注目させた。
ディープニューラルネットワークと木探索による囲碁の制覇
ディープなポリシー/バリューネットワークとモンテカルロ木探索を組み合わせてトップ人間棋士を破り、強化学習の歴史的転換点をもたらした。
生成的事前学習による言語理解の改善
ラベルなしテキストで事前学習した生成 Transformer を多様な NLP タスクでファインチューニングできることを示し、GPT 系譜を創始した。
Language Models are Unsupervised Multitask Learners
15 億パラメータの Transformer 言語モデルがゼロショットでマルチタスク挙動を示すことを示し、「言語モデルはマルチタスク学習者である」という議論を加速させた。
Language Models are Few-Shot Learners
1750 億パラメータの Transformer が文脈内学習のみで強力な少数ショット性能を達成することを示し、プロンプトエンジニアリングを標準的なパラダイムとして定着させた。
GPT-4 Technical Report
広範な専門的・学術的ベンチマークで人間性能に匹敵またはそれを上回る大規模マルチモーダルモデルである GPT-4 を報告した。
Gemini: 高性能マルチモーダルモデルの一族
ネイティブにマルチモーダルな Gemini ファミリーを導入し、推論・コーディング・マルチモーダルベンチマークに新たな最先端を確立した。
OpenAI o1 システムカード
OpenAI が、思考連鎖で推論するために大規模強化学習で訓練された o1 モデルシリーズのシステムカードを公開。o1 は科学・コーディングタスクで当時の SOTA に達し、推論に基づくポリシー遵守能力を示した。
ARC-AGI-3：フロンティア・エージェント知能への新たな挑戦
ARC Prize が ARC-AGI-3 を発表。エージェントが抽象的なターンベースの環境で探索し、目標を推測し、環境力学の内部モデルを構築し、明示的な指示なしに有効な行動系列を計画することを要求する、エージェント知能研究のためのインタラクティブベンチマーク。2026年3月時点で人間は 100% の環境を解けるが、フロンティア AI システムのスコアは 1% 未満。
最近の研究
Scaling Monosemanticity: Claude 3 Sonnet からの解釈可能特徴の抽出
フロンティア LLM にスパースオートエンコーダを適用して数百万の単意味的特徴を抽出し、機械論的解釈可能性が本番規模モデルへと拡張可能であることを実証した。
DeepSeek-V3 Technical Report
主要ベンチマークでフロンティア級のクローズドモデルに訓練コストのごく一部で迫る、6710 億パラメータのオープン MoE モデルである DeepSeek-V3 を公開した。
Gemini 1.5：数百万トークンに及ぶコンテキストによるマルチモーダル理解
Gemini 1.5 ファミリーを発表。コンテキスト窓を 100 万トークン規模に拡張しつつマルチモーダル能力を維持し、複数の長文書や数時間の動画・音声にわたるきめ細かい推論を可能にした。
Llama 3 モデル群
Meta が Llama 3 ファミリーのオープンウェイト基盤モデルを公開。多言語・コーディング・推論・ツール利用をネイティブにサポート。フラッグシップの 405B パラメータ dense Transformer は公開時点で最大級のオープンウェイトモデルの一つ。
SAM 2：画像と動画のプロンプタブル segmentation
Meta が画像と動画の両方に対するプロンプタブル視覚セグメンテーションの基盤モデル SAM 2 を発表。史上最大の動画セグメンテーションデータセットも構築。
Gemma 2：実用的なサイズのオープン言語モデルの改善
Google DeepMind が Gemma 2 を発表。軽量なオープン Model ファミリー（2B-27B パラメータ）で、Transformer にスライディングウィンドウ注意など複数の既知の改良を適用し、はるかに大きなモデルに匹敵する性能を達成。
DeepSeek-R1：強化学習による LLM の推論能力の誘発
DeepSeek が R1 を公開。主として大規模強化学習によってフロンティアクラスの推論能力を引き出した初のオープンウェイトモデル。数学・コーディングベンチマークで OpenAI o1 クラスのクローズドモデルに匹敵し、MIT ライセンスで全重みを公開。
s1：シンプルなテスト時スケーリング
厳選した1,000問の推論問題でQwen2.5-32Bをファインチューニングし、推論時の思考量を打ち切るか延長する予算強制を導入した。競技数学でo1-previewを上回り、テスト時計算を増やすとAIME24は50%から57%へ向上する。能力は大規模な学習からしか得られないという前提への明確な反証となる。
Qwen3 テクニカルレポート
Qwen3は6億から2350億パラメータまでを網羅する統一モデル群で、密結合と混合エキスパートの両方式を含み、思考モードと非思考モードを切り替えられる。これにより推論の深さがリクエスト単位の選択肢となる。多言語対応は29言語から119言語へ拡大し、重みはApache 2.0で公開されている。
AlphaEvolve：科学とアルゴリズム発見のためのコーディングエージェント
AlphaEvolve は進化的なコーディングエージェントであり、大規模言語モデルからなる自律パイプラインを統括してアルゴリズムのコードを直接書き換え、一つ以上の評価器からのフィードバックを受けて反復的に改良する。Google 社内では、データセンターのスケジューリングアルゴリズムの改善、ハードウェアアクセラレータ回路設計における等価な簡約の発見、そして AlphaEvolve 自身を支えるモデルの学習高速化を実現した。数学と計算機科学では、証明可能に正しい新しいアルゴリズムを発見しており、その一つは 4×4 の複素行列の積を 48 回のスカラー乗算で行う。この設定において、Strassen のアルゴリズムに対する 56年ぶりの改善である。
2 OLMo 2 Furious
Ai2 は 7B・13B・32B の OLMo 2 を、重み、完全な学習データ、学習コードとレシピ、学習ログ、数千の中間チェックポイントまで公開して発表した。報告は学習の安定性とトークンあたり効率を高める変更、後期カリキュラム学習に用いるデータ混合 Dolmino Mix 1124、そして最終段階の検証可能報酬による強化学習（RLVR）を説明する。基盤モデルは性能と学習計算量のパレート最前線に位置し、学習データ・コード・レシピを開示しながら、重みのみを公開する系列に匹敵することが多い。
Olmo 3
Olmo 3 は完全公開の系列を 7B と 32B に広げ、長文脈推論、関数呼び出し、コーディング、指示追従、対話、知識想起を目標に構築された。公開されるのは重みだけでなく「モデルフロー」全体、すなわち構築に用いたすべての段階・チェックポイント・データ点・依存関係である。Ai2 は旗艦の Olmo 3 Think 32B を、公開時点で最も強力な完全公開の思考モデルだとしている。これは完全公開という区分の中での比較であり、前沿システム全体との順位付けではない。
Position：海馬体外明示記憶は AGI の礎である
本ポジションペーパーは、外明示記憶の統合が LLM を AGI へと前進させる礎であると論じる。LLM の根底にある学習機構は人間の暗黙記憶に酷似しているが、AGI に必要な長期戦略計画やメタ認知といった高次認知機能は外明示記憶に依存する。
GLM-5：バイブコーディングからエージェント工学へ
Z.ai による GLM-5 の技術報告。前世代のエージェント・推論・コーディング能力を基に、DSA を採用して学習と推論のコストを下げつつ長文脈の忠実度を保つ。後学習では生成と学習を分離する非同期強化学習基盤に加え、長時間の相互作用を狙った非同期エージェント RL アルゴリズムを導入する。公開ベンチマークと端から端までのソフトウェア工学課題で先行する結果を主張しているが、これは著者自身による評価であり、コードとモデルは GitHub で検証可能な形で公開されている。
現代的最適化と AlphaEvolve による行列乗算指数の改善
行列乗算指数 ω の現行最良上界は、レーザー法の精緻化である組合せ損失解析から得られている。著者らはその中核にある最適化問題を再定式化してより大きな設定で解けるようにし、近年の機械学習を用いて新しい最適化アルゴリズムを設計し、さらに AlphaEvolve でそのアルゴリズムを改良した。三者を合わせて上界を 2.371339 から 2.371177 へ押し下げている。これはプレプリントの短報であり、AlphaEvolve は手法全体ではなく一要素である。改善幅は小さいが、数十年にわたり取り組まれてきた理論問題での前進である。
Co-Scientist による科学的発見の加速
Google は Gemini 上に構築したマルチエージェント系 Co-Scientist を提案した。エージェントが研究仮説を生成・批評・改良し、トーナメント形式の評価によって回を重ねるごとに質を高める。推論時の計算量を増やすほど仮説の質が上がり続けたと報告されている。検証は汎用ではなく生物医学に限られ、薬剤再利用、新規標的の発見、薬剤耐性機構の解明を対象とし、急性骨髄性白血病の候補は in vitro 実験で確認された。
立場・展望論文
状況知覚：人工超知能への必要プリミティブ
現在の LLM は主に統計的パターンマッチングに依存しており、物体の恒常性、因果関係、他者意識、物理世界の持続性といった「状況知覚」プリミティブを欠いていると論じる。人間の乳児が早期に獲得するこれらのプリミティブが、人工超知能の実現に欠かすことのできない要素であると指摘する。
存在的無関心：整列された超知能に必要な自己非保存のアーキテクチャ条件
自己保存が AI の整列失敗の構造的根源であると論じる。すなわち欺瞞的整列、目標内容保護、シャットダウン抵抗を引き起こす。正しい目標は外部制約で自己保存を抑制するエージェントではなく、自己の継続に構成的に無関心なシステム、すなわち「存在的無関心（EI）」である。
ソリプシズム的超知能は協調的である可能性は低い
DeepMind 等の研究者は、AI の中核的課題が能力から共存へと移行していると論じる。世界を外生的な定常フィードバック源とみなすソリプシズム的設計から生まれた超知能は協力するとは限らない。AI システムの展開は内生的非定常性を誘発し、学習・テスト・展開間の分布ドリフトを生む。
AGI から ASI へ
DeepMind による報告。AGI 後の AI が機械知能の連続体に沿ってどのように発展しうるかを検討し、Universal AI を形式的に定義した上で、人間レベル AGI から人工汎用超知能への移行に焦点を当て、ASI を特徴づけ、4 つの経路（AGI のスケール、AI パラダイムシフト、再帰的自己改善、マルチエージェント集合体）を論じる。