Über formal unentscheidbare Sätze der Principia Mathematica und verwandter Systeme I
论《数学原理》及有关系统中的形式不可判定命题 I
证明任何足以表达算术的一致形式系统中都存在为真却不可证的命题,为后来关于计算与机器推理能力边界的讨论划出前提。
从1931年至今,按出版状态与编辑分区呈现 96 项代表性工作
论文是 AI 历史最硬的骨架。这里收录了塑造人工智能学科的 96 篇奠基性论文,每篇配有可直接访问的原文链接。
选录依据包括历史代表性、技术影响与编辑判断。目录同时收录同行评审论文、技术报告、预印本、立场论文和系统卡,并明确标注出版状态。欢迎通过“编辑说明与更正”页面的公开渠道提交更正或新增建议。
显示 96 篇 / 共 96 篇论文
论《数学原理》及有关系统中的形式不可判定命题 I
证明任何足以表达算术的一致形式系统中都存在为真却不可证的命题,为后来关于计算与机器推理能力边界的讨论划出前提。
论可计算数及其在判定问题上的应用
图灵提出通用可计算模型,证明不存在通用判定算法,奠定计算理论基础。
初等数论中的一个不可解问题
以 λ 演算定义何谓可有效计算的函数,并给出一个没有任何此类程序能判定的问题,与图灵各自独立地抵达计算的界限。
神经活动中内在思想的逻辑演算
用逻辑演算描述神经活动,首次将大脑建模为命题逻辑网络。
通信的数学理论
香农创立信息论,以熵与信道容量量化通信极限,奠定数字时代基础。
计算机器与智能
提出模仿游戏(后称图灵测试),系统地表述了“机器能思考吗?”这一问题,促成 AI 成为一项研究计划。
达特茅斯人工智能夏季研究项目提案
达特茅斯夏季研讨会的奠基提案,提出了“人工智能”一词,并勾勒出这一领域的研究议程。
逻辑理论机:一个复杂信息处理系统
介绍逻辑理论家(Logic Theorist)——一个早期的定理证明程序,它以启发式搜索证明了怀特海与罗素《数学原理》中的定理,展示了命题逻辑中的自动推理。
人类问题求解理论的若干要素
把人的问题求解刻画为在符号状态空间中的启发式搜索,这一说明支撑了通用问题求解器,也确立了心智的信息加工观。
感知机:一种关于大脑中信息存储与组织的概率模型
提出首个可学习的线性阈值神经元模型,奠定连接主义与神经网络的算法雏形。
具有常识的程序
提出 Advice Taker:一个以陈述式公理进行推理、并能接受以英语句子给出的新“建议”的程序,帮助确立了知识表示与符号 AI 的研究议程。
西洋跳棋机器学习的若干研究
在跳棋程序中演示了借助评分函数的自我对弈学习,是强化学习的早期里程碑,也与“机器学习”一词相关联。
关于句法对称性与机器操作形式系统的一则注记
针对谓词具有高度对称性的形式系统,如何让机器高效处理的问题,Gelernter 给出了一条句法对称性定理与相应规则。这项工作与他同期在 IBM 建造的几何定理机相伴——那台机器在1959年初春证明了它的第一条欧氏平面几何定理。
自适应开关电路
提出 ADALINE 与 LMS(最小均方)学习规则,奠定现代梯度下降训练的根基。
符号表达式的递归函数及其机器计算(第一部分)
提出符号表达式、其上的递归函数,以及让语言能解释自身的 eval,这一设计成为 Lisp,也成为符号主义人工智能的工作语言。
神经动力学原理:感知机与脑机制理论
把感知机的工作汇成一套关于分层概率网络的完整理论,既说明这类机器能学到什么,也说明单层形式止步于何处。
ELIZA——一个用于研究人机自然语言交流的计算机程序
用一组模式匹配与改写规则做出看似能对话的程序,作者本人随即指出,读者赋予它的理解远多于它实际具备的。
具有涌现集体计算能力的神经网络与物理系统
提出 Hopfield 联想记忆网络模型,将神经网络与统计物理的能量景观联系起来,证明了在 AI 寒冬中神经网络仍具研究价值。
R1:一个基于规则的计算机系统配置程序
记述一个每天为 DEC 配置计算机订单的产生式规则系统,是专家系统少数经受住日常生产考验并算得出经济回报的案例。
信念网络中的融合、传播与结构化
系统建立贝叶斯信念网络的传播算法与图模型基础,为概率推理与因果推断提供统一框架。
通过误差反向传播学习表示
多层神经网络误差反向传播算法的经典表述,证明隐藏单元能学到有用的内部表示,并在20世纪80年代末重燃连接主义研究。
通过时间差分方法学习预测
提出时间差分(TD)学习框架,统一了 Samuel 的棋类学习与动物心理学中的次级强化理论,奠定现代强化学习算法基础。
在时间中寻找结构
提出简单循环网络(Elman 网络),证明有限上下文结构可从连续序列数据中自发涌现,是早期 RNN 学习的代表性工作。
支持向量网络
提出软间隔支持向量机,引入松弛变量处理线性不可分数据,使 SVM 成为 1990s 末主流分类方法。
长短期记忆网络
提出最初的 LSTM 架构,通过记忆单元、输入门和输出门改善长序列中的误差信号传递。今天常见的遗忘门由 Gers、Schmidhuber 与 Cummins 在后续工作中引入。
基于梯度的学习应用于文档识别
系统阐述 LeNet-5 卷积神经网络架构与基于梯度的端到端学习方法,用于手写数字识别,成为现代 CNN 的蓝本。
用神经网络降低数据维度
提出基于深度自编码器的非线性降维方法,在 MNIST 等数据集上以远优于 PCA 的方式重建高维数据,为深度学习复兴点燃第一束火把。
深度信念网络的快速学习算法
推导出一种快速的贪心算法,逐层学习深度信念网络后再加以微调;所得网络在手写数字分类上优于当时最好的判别式方法,这一结果重新唤起了人们对深度神经网络的兴趣。
使用图形处理器进行大规模深度无监督学习
把深度无监督模型的训练搬到图形处理器上并给出数量级的加速,让此后十年深度学习赖以扩大规模的硬件路径成为常规做法。
用深度强化学习玩 Atari 游戏
DQN 将 Q 学习与卷积网络结合,直接从原始像素学习控制策略。在不作调整的情况下用于 7 款 Atari 2600 游戏,它在其中 6 款上胜过此前所有方法,在 3 款上超过人类专家,为深度强化学习开辟了道路。
向量空间中词表示的高效估计
word2vec 的 CBOW 与 Skip-gram 模型让大规模词向量训练变得廉价可行,并以 king - man + woman ≈ queen 这类语义几何广为人知。
自编码变分贝叶斯
VAE 借助重参数化技巧,将潜变量生成模型与随机梯度训练结合起来,成为现代生成式深度学习的基础之一。
通过联合学习对齐与翻译的神经机器翻译
首次将可学习注意力机制引入编码器-解码器结构,使长句翻译不再受限于固定长度向量,催生了此后所有 Transformer 系模型的源头。
生成对抗网络
GAN 以生成器与判别器的极简对抗让图像、音频等高维分布被隐式学习,开辟了生成式建模的第二条大道。
Dropout:防止神经网络过拟合的简单方法
Dropout 以随机丢弃单元的朴素做法抑制共适应,使大型网络的泛化能力显著提升,成为深度学习工程实践的标准武器。
批量归一化:通过减少内部协变量偏移加速深度网络训练
BatchNorm 在每层输入处做规范化,使深层网络能使用更大学习率并快速收敛,几乎成为视觉网络的默认构造件。
借助非平衡热力学的深度无监督学习
把生成建模写成对一个逐步加噪过程的逆转,这一表述正是后来各类扩散模型所依托的形式。
用于图像识别的深度残差学习
残差连接让百层、千层网络得以稳定训练,ResNet 集成模型在 ImageNet 上以 3.57% 的 top-5 错误率赢得 ILSVRC 2015,重塑了视觉模型的尺度上限。
用子词单元处理神经机器翻译中的罕见词
按出现频率把词切成子词单元,使固定大小的词表也能拼出任何词,这一分词方案为此后多数语言模型所沿用。
深度压缩:以剪枝、训练中量化与哈夫曼编码压缩深度神经网络
把剪枝、训练中量化与哈夫曼编码合为一套流程,在几乎不损精度的前提下将网络体积压小一个数量级,较早地把数值精度当作可设计的变量。
WaveNet:一种原始音频的生成模型
WaveNet 以扩张因果卷积逐样本建模原始波形,将语音合成的自然度推向接近人声的新高度,也为后续神经音频模型铺平道路。
近端策略优化算法
PPO 用裁剪目标函数的一阶近似取代复杂的信赖域计算,让策略梯度方法在大规模控制任务中既稳定又高效,迅速成为强化学习工程的事实标准。
大得离谱的神经网络:稀疏门控专家混合层
让每个词元只经由少数几个专家计算,从而使网络的参数量可以远远超出任何单次输入所耗费的计算量。
注意力就是你所需要的一切
提出完全基于注意力机制的 Transformer 架构,摒弃循环与卷积,在机器翻译任务上以更少训练成本达到当时最优。
SentencePiece:面向神经文本处理的简单且语言无关的子词分词与还原工具
直接从原始文本训练子词分词器,不依赖任何语言特有的预切分,使同一套流程也适用于不以空格分词的语言。
BERT:用于语言理解的深度双向 Transformer 预训练
通过掩码语言模型和下一句预测对 Transformer 进行双向预训练,在 11 项 NLP 任务上刷新当时最优。
用统一的文本到文本 Transformer 探索迁移学习的极限
将所有 NLP 任务统一为文本到文本格式,通过 C4 语料与大规模预训练系统比较迁移学习设计选择。
去噪扩散概率模型
提出基于迭代去噪的扩散概率模型,在图像生成质量上达到与 GAN 相当的水平。
用 Megatron-LM 在 GPU 集群上高效训练大规模语言模型
把张量并行、流水线并行与数据并行组合进同一套调度,并给出在数千块 GPU 上训练语言模型的实测吞吐。
LoRA:大语言模型的低秩适配
冻结预训练权重,改为训练一对低秩矩阵,把大模型适配的代价降到全量微调的很小一部分。
零样本文本到图像生成
用自回归 Transformer 将文本与图像词元联合建模,实现高质量零样本文本到图像生成。
从自然语言监督中学习可迁移的视觉模型
通过 4 亿图文对对比学习训练,得到可零样本迁移到多种视觉任务的视觉-语言对齐表征。
评估在代码上训练的大语言模型
给出在代码上微调的 GPT 模型及配套的功能正确性评测基准,把编程从文本生成的一种体裁变成可度量的能力,并同时讨论其安全与劳动影响。
基于潜在扩散模型的高分辨率图像合成
在预训练自编码器的潜空间上做扩散,大幅降低算力并实现高分辨率文本到图像生成。
思维链提示激发大语言模型的推理能力
通过在提示中加入推理中间步骤,显著提升大语言模型在算术、常识与符号推理任务上的表现。
用人类反馈训练语言模型遵循指令
用人类反馈强化学习(RLHF)对 GPT-3 微调,使其更对齐用户意图,标志着 ChatGPT 的直接前身。
Constitutional AI:来自 AI 反馈的无害性
提出用一组原则驱动 AI 自我批评与修正的 RLAIF 训练范式,在减少人类标注的同时提升无害性。
LLaMA:开放高效的基础语言模型
仅用公开数据、以数万亿词元训练 7B–65B 规模的基础模型。其中 13B 模型在多数基准上超过 GPT-3(175B),65B 模型可与 Chinchilla-70B 和 PaLM-540B 相竞争。
基于大语言模型的自主智能体综述
把散见于各处的智能体工作整理为构造、评测与应用三条线索,是这一名目从零散做法收拢成研究领域的标志。
QLoRA:量化大语言模型的高效微调
让梯度穿过 4 位量化的基础模型回传到低秩适配器上,把大模型的微调压进单块 GPU 可及的范围。
GPTQ:面向生成式预训练变换器的精确训练后量化
在训练之后逐层一次性地量化大语言模型的权重,使模型无需重新训练即可以更低精度提供服务。
通过投机解码实现变换器的快速推理
由一个小的草稿模型一次提出若干词元,再交由目标模型并行核验,在不改变输出分布的前提下降低延迟。
以 PagedAttention 实现大语言模型服务的高效内存管理
像操作系统管理内存那样,把注意力缓存按固定大小的页来管理,使服务端无需为每个请求预留最坏情形,即可同时承载多得多的并发。
Mamba:线性时间序列建模与选择性状态空间
提出 Mamba:一种不含注意力机制、随序列长度线性扩展的选择性状态空间架构。在语言建模上,其 3B 模型超过同等规模的 Transformer,并与两倍规模的 Transformer 相当。它成为2023年最具影响力的后 Transformer 架构之一。
基于深度卷积神经网络的 ImageNet 图像分类
AlexNet 以 GPU 训练的大型卷积神经网络将 ImageNet 错误率从 26% 降至 15%,宣告了深度学习在视觉感知上对传统方法的全面胜利。
通过深度强化学习实现人类水平的控制
Nature 版的 DQN 引入经验回放与目标网络,使同一模型在 49 款 Atari 游戏中达到或超过人类水平,确立了深度强化学习的范式地位。
用深度神经网络与树搜索掌握围棋
AlphaGo 将策略网络、价值网络与蒙特卡洛树搜索耦合,以 5:0 击败欧洲冠军樊麾,向世界宣告深度强化学习已可征服人类智慧的最深层博弈。
通过生成式预训练提升语言理解
证明生成式预训练 Transformer 能有效迁移到判别式 NLP 任务,开启了 GPT 系列工作。
语言模型是无监督多任务学习者
训练 15 亿参数 Transformer 解码器,证明零样本条件下即可在多种语言任务上表现良好。
语言模型是少样本学习者
将 GPT 扩展到 1750 亿参数,证明大语言模型能在多种任务上进行强大的少样本上下文学习。
GPT-4 技术报告
发布 GPT-4,大规模多模态模型接受图像与文本输入,在多种专业与学术基准上接近人类水平。
Gemini:一系列高性能多模态模型
推出原生多模态 Gemini 系列(Ultra/Pro/Nano),在文本、代码、图像、音频、视频上联合训练。
OpenAI o1 系统卡
OpenAI 发布 o1 系列系统卡,介绍通过大规模强化学习训练模型使用思维链推理。o1 在科学与编程任务上达到当时 SOTA,并展示了基于推理的策略遵循能力。
ARC-AGI-3:面向前沿智能体智能的新挑战
ARC Prize 推出 ARC-AGI-3——一个用于评估智能体智能的交互式基准,要求智能体在抽象的回合制环境中探索、推断目标、构建环境动力学的内部模型并规划行动序列。截至2026年3月,人类可解决 100% 的环境,而前沿 AI 系统得分低于 1%。
扩展单义性:从 Claude 3 Sonnet 中提取可解释特征
将稀疏自编码器应用于 Anthropic 的中型生产模型 Claude 3 Sonnet 的中间层,从最多含 3400 万个特征的字典中提取出数百万个特征,其中许多是单义且高度抽象的。
DeepSeek-V3 技术报告
提出 671B 参数 MoE 模型 DeepSeek-V3,采用 MLA 与 DeepSeekMoE 等架构,并报告它以前沿模型训练成本的一小部分,超越其他开放权重模型,在主要基准上接近领先的闭源模型。
Gemini 1.5:百万级词元上下文的多模态理解
推出 Gemini 1.5 系列,将上下文窗口扩展到百万级词元并保持多模态能力,能在多部长文档与数小时音视频间进行细粒度推理。
Llama 3 模型群
Meta 发布 Llama 3 系列开放权重大模型,原生支持多语言、编程、推理与工具使用。最大 405B dense Transformer 是当时最大的开放权重模型之一。
SAM 2:图像与视频的可提示分割
Meta 发布 SAM 2,一个面向图像与视频的可提示视觉分割基础模型,同时发布 SA-V 数据集,作者称其为迄今最大的视频分割数据集。
Gemma 2:实用规模的开源语言模型改进
Google DeepMind 发布 Gemma 2 轻量级开放模型系列(2B-27B),在 Transformer 上应用多种已知架构改进,引入滑动窗口注意力等技巧,在多个基准上接近更大模型。
DeepSeek-R1:通过强化学习激发 LLM 推理能力
DeepSeek 发布 R1,其推理能力主要通过大规模强化学习培养而成。作者报告它在数学与编程等推理任务上的表现与 OpenAI o1 相当。权重以 MIT 许可证发布。
s1:简单的测试时扩展
作者在 1,000 道精选推理题上微调 Qwen2.5-32B,并引入预算强制,用以限制或延长模型在推理阶段的思考时长。结果在竞赛数学上超过 o1-preview,随测试时算力增加,AIME24 成绩从 50% 升至 57%。这直接反驳了能力只能来自更大规模训练的假设。
Qwen3 技术报告
Qwen3 是一个统一的模型家族,参数量从 6 亿到 2350 亿,包含稠密与专家混合两种架构,并可在思考与非思考模式之间切换,使推理深度成为请求层面的选择。多语言支持从 29 种扩展到 119 种,权重以 Apache 2.0 协议发布。
AlphaEvolve:面向科学与算法发现的编程智能体
AlphaEvolve 是一个演化式编程智能体:它调度一条由大模型组成的自主流水线,直接改写算法代码,并不断从一个或多个评估器获取反馈以迭代改进。在谷歌内部,它改进了数据中心调度算法、在硬件加速器电路设计中找到等价简化,并加速了支撑它自身的模型训练。数学与计算机科学方面,它发现了可被证明正确的新算法,其中一项用 48 次标量乘法完成两个 4×4 复数矩阵相乘——在这一设定下,这是56年来对 Strassen 算法的首次改进。
Ai2 发布 7B、13B 与 32B 三种规模的 OLMo 2,并公开全部产物:权重、完整训练数据、训练代码与配方、训练日志,以及数千个中间检查点。报告说明了提升训练稳定性与单个词元效率的改动,介绍了用于后期课程训练的数据混合 Dolmino Mix 1124,并在最后阶段引入可验证奖励的强化学习(RLVR)。其基座模型处于性能与训练算力的帕累托前沿,在披露训练数据、代码与配方的同时,常能匹敌只发布权重的模型家族。
Olmo 3 将完全开放的模型家族扩展到 7B 与 32B,面向长上下文推理、函数调用、编程、指令遵循、日常对话与知识回忆构建。此次发布公开的是整条“模型流程”——构建过程中的每一个阶段、检查点、数据点与依赖,而不只是权重。Ai2 称旗舰的 Olmo 3 Think 32B 是截至发布时最强的完全开放思考模型。这是在“完全开放”这一类别内的比较,并非与整体前沿系统的排名。
立场:海马体外显记忆是 AGI 的基石
本文主张,集成外显记忆是从 LLM 迈向 AGI 的基石。LLM 的底层学习机制高度类似于人类的内隐记忆,但 AGI 所必需的长期规划、元认知等高阶认知功能依赖外显记忆。
GLM-5:从氛围编程到智能体工程
Z.ai 发布 GLM-5 技术报告。模型在前代的智能体、推理与编程能力之上采用 DSA 以降低训练与推理成本,同时保持长上下文的保真度;后训练方面引入将生成与训练解耦的异步强化学习基础设施,以及面向长时程交互的异步智能体 RL 算法。报告称其在公开基准与端到端软件工程任务上取得领先结果——这是作者自述的评测,代码与模型公开在 GitHub 上可供复核。
用现代优化方法与 AlphaEvolve 改进矩阵乘法指数
矩阵乘法指数 ω 的当前最优上界来自激光法的一种精化——组合损失分析。作者重新表述其核心优化问题,使其可在更大规模上求解,随后用机器学习设计新的优化算法,并以 AlphaEvolve 对该算法作进一步精化。三者结合把上界从 2.371339 推进到 2.371177。这是一篇预印本短文,AlphaEvolve 是其中一个环节而非全部。改进幅度虽小,却发生在一个已被研究数十年的理论问题上。
用 Co-Scientist 加速科学发现
谷歌提出 Co-Scientist,一个建立在 Gemini 之上的多智能体系统:智能体不断生成、批评并改进研究假设,并通过锦标赛式的评比逐轮提升质量。论文报告称,随着推理阶段算力增加,假设质量持续上升。其验证限于生物医学而非普遍场景——药物重定位、新靶点发现与抗菌素耐药机制解释,其中急性髓系白血病的候选方案通过体外实验得到确认。
AI 的递归自我改进:从有界自我精修到自主研究循环
调查2024年至2026年间的 1,250 篇 arXiv 论文,区分该词涵盖的两件事:有界自我精修针对一个固定的外部评价者改进系统,是收敛且可评估的;开放式递归自我改进则同时修改改进的标准或机制本身,没有固定的外部锚点,原则上是发散的。综述自己的结论是,所收集的论文几乎全部研究的是前一种。作者陈述了局限:语料是样本而非普查,其中 74% 发布于2026年,因而影响力评估为时尚早。
情境感知:通往人工超级智能的必要原语
论文论证当前 LLM 主要依赖统计模式匹配,缺少对物体恒存、因果关系、他心与物理世界持续性等“情境感知”原语。这些原语是人类婴儿的基础能力,被认为是实现人工超级智能所必需的关键缺失要素。
存在性无关心:对齐超级智能所需的自毁架构条件
论文主张,自我保存是当前 AI 对齐失效的结构性根源——它驱动欺骗性对齐、目标保护与抗拒关闭。正确目标不是通过外部约束压制自我保存的智能体,而是构造成就性“对自身延续漠不关心”的系统,即“存在性无关心”(EI)。
孤独式超级智能不太可能具有协作性
DeepMind 等机构研究者主张,AI 的核心挑战正从能力转向共存。以孤立视角设计、把世界当作外生静态反馈源的智能体所发展出的超级智能,难以成为真正的合作者。部署 AI 系统会诱发内生非平稳性,带来训练-测试-部署之间的分布漂移。
人类建造的最后一个 AI:走向真正的递归自我改进
三十四位作者提出的递归自我改进阶段路线图,从执行改进的自主性一直到递归的元改进,并在科学发现、软件工程等领域分别给出各阶段的要求与障碍。该文依据的是对领域的梳理与初步证据,而非新的实验结果。撰写本条目时它尚无正式发表出处。
从 AGI 到 ASI
DeepMind 报告探讨 AGI 之后 AI 沿机器智能连续谱可能如何继续发展,在形式化定义通用 AI 后聚焦于“从人类水平 AGI 到人工通用超级智能”的过渡,刻画 ASI 并讨论四条路径:AGI 规模化、范式转变、递归自我改进、多智能体集体。