简体中文
返回首页
时代:
年代:
主题:

显示 96 篇 / 共 96 篇论文

基础论文

1936 期刊论文

An Unsolvable Problem of Elementary Number Theory

初等数论中的一个不可解问题

以 λ 演算定义何谓可有效计算的函数,并给出一个没有任何此类程序能判定的问题,与图灵各自独立地抵达计算的界限。

1948 期刊论文

A Mathematical Theory of Communication

通信的数学理论

香农创立信息论,以熵与信道容量量化通信极限,奠定数字时代基础。

1950 期刊论文

Computing Machinery and Intelligence

计算机器与智能

提出模仿游戏(后称图灵测试),系统地表述了“机器能思考吗?”这一问题,促成 AI 成为一项研究计划。

1956 期刊论文

The logic theory machine—A complex information processing system

逻辑理论机:一个复杂信息处理系统

介绍逻辑理论家(Logic Theorist)——一个早期的定理证明程序,它以启发式搜索证明了怀特海与罗素《数学原理》中的定理,展示了命题逻辑中的自动推理。

1958 期刊论文

Elements of a theory of human problem solving

人类问题求解理论的若干要素

把人的问题求解刻画为在符号状态空间中的启发式搜索,这一说明支撑了通用问题求解器,也确立了心智的信息加工观。

1958 会议论文

Programs with Common Sense

具有常识的程序

提出 Advice Taker:一个以陈述式公理进行推理、并能接受以英语句子给出的新“建议”的程序,帮助确立了知识表示与符号 AI 的研究议程。

1959 期刊论文

A Note on Syntactic Symmetry and the Manipulation of Formal Systems by Machine

关于句法对称性与机器操作形式系统的一则注记

针对谓词具有高度对称性的形式系统,如何让机器高效处理的问题,Gelernter 给出了一条句法对称性定理与相应规则。这项工作与他同期在 IBM 建造的几何定理机相伴——那台机器在1959年初春证明了它的第一条欧氏平面几何定理。

1986 期刊论文

Learning representations by back-propagating errors

通过误差反向传播学习表示

多层神经网络误差反向传播算法的经典表述,证明隐藏单元能学到有用的内部表示,并在20世纪80年代末重燃连接主义研究。

1990 期刊论文

Finding Structure in Time

在时间中寻找结构

提出简单循环网络(Elman 网络),证明有限上下文结构可从连续序列数据中自发涌现,是早期 RNN 学习的代表性工作。

1995 期刊论文

Support-Vector Networks

支持向量网络

提出软间隔支持向量机,引入松弛变量处理线性不可分数据,使 SVM 成为 1990s 末主流分类方法。

1997 期刊论文

Long Short-Term Memory

长短期记忆网络

提出最初的 LSTM 架构,通过记忆单元、输入门和输出门改善长序列中的误差信号传递。今天常见的遗忘门由 Gers、Schmidhuber 与 Cummins 在后续工作中引入。

1998 期刊论文

Gradient-based learning applied to document recognition

基于梯度的学习应用于文档识别

系统阐述 LeNet-5 卷积神经网络架构与基于梯度的端到端学习方法,用于手写数字识别,成为现代 CNN 的蓝本。

2006 期刊论文

Reducing the Dimensionality of Data with Neural Networks

用神经网络降低数据维度

提出基于深度自编码器的非线性降维方法,在 MNIST 等数据集上以远优于 PCA 的方式重建高维数据,为深度学习复兴点燃第一束火把。

2006 期刊论文

A Fast Learning Algorithm for Deep Belief Nets

深度信念网络的快速学习算法

推导出一种快速的贪心算法,逐层学习深度信念网络后再加以微调;所得网络在手写数字分类上优于当时最好的判别式方法,这一结果重新唤起了人们对深度神经网络的兴趣。

2009 会议论文

Large-scale deep unsupervised learning using graphics processors

使用图形处理器进行大规模深度无监督学习

把深度无监督模型的训练搬到图形处理器上并给出数量级的加速,让此后十年深度学习赖以扩大规模的硬件路径成为常规做法。

2013 会议论文

Playing Atari with Deep Reinforcement Learning

用深度强化学习玩 Atari 游戏

DQN 将 Q 学习与卷积网络结合,直接从原始像素学习控制策略。在不作调整的情况下用于 7 款 Atari 2600 游戏,它在其中 6 款上胜过此前所有方法,在 3 款上超过人类专家,为深度强化学习开辟了道路。

2013 会议论文

Efficient Estimation of Word Representations in Vector Space

向量空间中词表示的高效估计

word2vec 的 CBOW 与 Skip-gram 模型让大规模词向量训练变得廉价可行,并以 king - man + woman ≈ queen 这类语义几何广为人知。

2013 会议论文

Auto-Encoding Variational Bayes

自编码变分贝叶斯

VAE 借助重参数化技巧,将潜变量生成模型与随机梯度训练结合起来,成为现代生成式深度学习的基础之一。

2014 会议论文

Neural Machine Translation by Jointly Learning to Align and Translate

通过联合学习对齐与翻译的神经机器翻译

首次将可学习注意力机制引入编码器-解码器结构,使长句翻译不再受限于固定长度向量,催生了此后所有 Transformer 系模型的源头。

2014 会议论文

Generative Adversarial Networks

生成对抗网络

GAN 以生成器与判别器的极简对抗让图像、音频等高维分布被隐式学习,开辟了生成式建模的第二条大道。

2014 期刊论文

Dropout: A Simple Way to Prevent Neural Networks from Overfitting

Dropout:防止神经网络过拟合的简单方法

Dropout 以随机丢弃单元的朴素做法抑制共适应,使大型网络的泛化能力显著提升,成为深度学习工程实践的标准武器。

2015 会议论文

Deep Residual Learning for Image Recognition

用于图像识别的深度残差学习

残差连接让百层、千层网络得以稳定训练,ResNet 集成模型在 ImageNet 上以 3.57% 的 top-5 错误率赢得 ILSVRC 2015,重塑了视觉模型的尺度上限。

2016 期刊论文

Neural Machine Translation of Rare Words with Subword Units

用子词单元处理神经机器翻译中的罕见词

按出现频率把词切成子词单元,使固定大小的词表也能拼出任何词,这一分词方案为此后多数语言模型所沿用。

2016 会议论文

WaveNet: A Generative Model for Raw Audio

WaveNet:一种原始音频的生成模型

WaveNet 以扩张因果卷积逐样本建模原始波形,将语音合成的自然度推向接近人声的新高度,也为后续神经音频模型铺平道路。

2017 预印本

Proximal Policy Optimization Algorithms

近端策略优化算法

PPO 用裁剪目标函数的一阶近似取代复杂的信赖域计算,让策略梯度方法在大规模控制任务中既稳定又高效,迅速成为强化学习工程的事实标准。

2017 会议论文

Attention Is All You Need

注意力就是你所需要的一切

提出完全基于注意力机制的 Transformer 架构,摒弃循环与卷积,在机器翻译任务上以更少训练成本达到当时最优。

2018 期刊论文

SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing

SentencePiece:面向神经文本处理的简单且语言无关的子词分词与还原工具

直接从原始文本训练子词分词器,不依赖任何语言特有的预切分,使同一套流程也适用于不以空格分词的语言。

2020 会议论文

Denoising Diffusion Probabilistic Models

去噪扩散概率模型

提出基于迭代去噪的扩散概率模型,在图像生成质量上达到与 GAN 相当的水平。

2021 会议论文

Zero-Shot Text-to-Image Generation

零样本文本到图像生成

用自回归 Transformer 将文本与图像词元联合建模,实现高质量零样本文本到图像生成。

2021 预印本

Evaluating Large Language Models Trained on Code

评估在代码上训练的大语言模型

给出在代码上微调的 GPT 模型及配套的功能正确性评测基准,把编程从文本生成的一种体裁变成可度量的能力,并同时讨论其安全与劳动影响。

2022 技术报告

Constitutional AI: Harmlessness from AI Feedback

Constitutional AI:来自 AI 反馈的无害性

提出用一组原则驱动 AI 自我批评与修正的 RLAIF 训练范式,在减少人类标注的同时提升无害性。

2023 技术报告

LLaMA: Open and Efficient Foundation Language Models

LLaMA:开放高效的基础语言模型

仅用公开数据、以数万亿词元训练 7B–65B 规模的基础模型。其中 13B 模型在多数基准上超过 GPT-3(175B),65B 模型可与 Chinchilla-70B 和 PaLM-540B 相竞争。

2023 期刊论文

A Survey on Large Language Model based Autonomous Agents

基于大语言模型的自主智能体综述

把散见于各处的智能体工作整理为构造、评测与应用三条线索,是这一名目从零散做法收拢成研究领域的标志。

2023 预印本

QLoRA: Efficient Finetuning of Quantized LLMs

QLoRA:量化大语言模型的高效微调

让梯度穿过 4 位量化的基础模型回传到低秩适配器上,把大模型的微调压进单块 GPU 可及的范围。

2023 会议论文

Fast Inference from Transformers via Speculative Decoding

通过投机解码实现变换器的快速推理

由一个小的草稿模型一次提出若干词元,再交由目标模型并行核验,在不改变输出分布的前提下降低延迟。

2023 预印本

Mamba: Linear-Time Sequence Modeling with Selective State Spaces

Mamba:线性时间序列建模与选择性状态空间

提出 Mamba:一种不含注意力机制、随序列长度线性扩展的选择性状态空间架构。在语言建模上,其 3B 模型超过同等规模的 Transformer,并与两倍规模的 Transformer 相当。它成为2023年最具影响力的后 Transformer 架构之一。

里程碑系统与成果

2012 会议论文

ImageNet Classification with Deep Convolutional Neural Networks

基于深度卷积神经网络的 ImageNet 图像分类

AlexNet 以 GPU 训练的大型卷积神经网络将 ImageNet 错误率从 26% 降至 15%,宣告了深度学习在视觉感知上对传统方法的全面胜利。

2015 期刊论文

Human-level control through deep reinforcement learning

通过深度强化学习实现人类水平的控制

Nature 版的 DQN 引入经验回放与目标网络,使同一模型在 49 款 Atari 游戏中达到或超过人类水平,确立了深度强化学习的范式地位。

2016 期刊论文

Mastering the game of Go with deep neural networks and tree search

用深度神经网络与树搜索掌握围棋

AlphaGo 将策略网络、价值网络与蒙特卡洛树搜索耦合,以 5:0 击败欧洲冠军樊麾,向世界宣告深度强化学习已可征服人类智慧的最深层博弈。

2019 技术报告

Language Models are Unsupervised Multitask Learners

语言模型是无监督多任务学习者

训练 15 亿参数 Transformer 解码器,证明零样本条件下即可在多种语言任务上表现良好。

2020 会议论文

Language Models are Few-Shot Learners

语言模型是少样本学习者

将 GPT 扩展到 1750 亿参数,证明大语言模型能在多种任务上进行强大的少样本上下文学习。

2023 技术报告

GPT-4 Technical Report

GPT-4 技术报告

发布 GPT-4,大规模多模态模型接受图像与文本输入,在多种专业与学术基准上接近人类水平。

2023 技术报告

Gemini: A Family of Highly Capable Multimodal Models

Gemini:一系列高性能多模态模型

推出原生多模态 Gemini 系列(Ultra/Pro/Nano),在文本、代码、图像、音频、视频上联合训练。

2024 系统卡

OpenAI o1 System Card

OpenAI o1 系统卡

OpenAI 发布 o1 系列系统卡,介绍通过大规模强化学习训练模型使用思维链推理。o1 在科学与编程任务上达到当时 SOTA,并展示了基于推理的策略遵循能力。

2026 预印本

ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence

ARC-AGI-3:面向前沿智能体智能的新挑战

ARC Prize 推出 ARC-AGI-3——一个用于评估智能体智能的交互式基准,要求智能体在抽象的回合制环境中探索、推断目标、构建环境动力学的内部模型并规划行动序列。截至2026年3月,人类可解决 100% 的环境,而前沿 AI 系统得分低于 1%。

近期研究

2024 期刊论文

Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet

扩展单义性:从 Claude 3 Sonnet 中提取可解释特征

将稀疏自编码器应用于 Anthropic 的中型生产模型 Claude 3 Sonnet 的中间层,从最多含 3400 万个特征的字典中提取出数百万个特征,其中许多是单义且高度抽象的。

2024 技术报告

DeepSeek-V3 Technical Report

DeepSeek-V3 技术报告

提出 671B 参数 MoE 模型 DeepSeek-V3,采用 MLA 与 DeepSeekMoE 等架构,并报告它以前沿模型训练成本的一小部分,超越其他开放权重模型,在主要基准上接近领先的闭源模型。

2024 预印本

The Llama 3 Herd of Models

Llama 3 模型群

Meta 发布 Llama 3 系列开放权重大模型,原生支持多语言、编程、推理与工具使用。最大 405B dense Transformer 是当时最大的开放权重模型之一。

2024 预印本

SAM 2: Segment Anything in Images and Videos

SAM 2:图像与视频的可提示分割

Meta 发布 SAM 2,一个面向图像与视频的可提示视觉分割基础模型,同时发布 SA-V 数据集,作者称其为迄今最大的视频分割数据集。

2024 预印本

Gemma 2: Improving Open Language Models at a Practical Size

Gemma 2:实用规模的开源语言模型改进

Google DeepMind 发布 Gemma 2 轻量级开放模型系列(2B-27B),在 Transformer 上应用多种已知架构改进,引入滑动窗口注意力等技巧,在多个基准上接近更大模型。

2025 预印本

s1: Simple Test-Time Scaling

s1:简单的测试时扩展

作者在 1,000 道精选推理题上微调 Qwen2.5-32B,并引入预算强制,用以限制或延长模型在推理阶段的思考时长。结果在竞赛数学上超过 o1-preview,随测试时算力增加,AIME24 成绩从 50% 升至 57%。这直接反驳了能力只能来自更大规模训练的假设。

2025 预印本

Qwen3 Technical Report

Qwen3 技术报告

Qwen3 是一个统一的模型家族,参数量从 6 亿到 2350 亿,包含稠密与专家混合两种架构,并可在思考与非思考模式之间切换,使推理深度成为请求层面的选择。多语言支持从 29 种扩展到 119 种,权重以 Apache 2.0 协议发布。

2025 预印本

AlphaEvolve: A coding agent for scientific and algorithmic discovery

AlphaEvolve:面向科学与算法发现的编程智能体

AlphaEvolve 是一个演化式编程智能体:它调度一条由大模型组成的自主流水线,直接改写算法代码,并不断从一个或多个评估器获取反馈以迭代改进。在谷歌内部,它改进了数据中心调度算法、在硬件加速器电路设计中找到等价简化,并加速了支撑它自身的模型训练。数学与计算机科学方面,它发现了可被证明正确的新算法,其中一项用 48 次标量乘法完成两个 4×4 复数矩阵相乘——在这一设定下,这是56年来对 Strassen 算法的首次改进。

2025 期刊论文

2 OLMo 2 Furious

Ai2 发布 7B、13B 与 32B 三种规模的 OLMo 2,并公开全部产物:权重、完整训练数据、训练代码与配方、训练日志,以及数千个中间检查点。报告说明了提升训练稳定性与单个词元效率的改动,介绍了用于后期课程训练的数据混合 Dolmino Mix 1124,并在最后阶段引入可验证奖励的强化学习(RLVR)。其基座模型处于性能与训练算力的帕累托前沿,在披露训练数据、代码与配方的同时,常能匹敌只发布权重的模型家族。

2025 预印本

Olmo 3

Olmo 3 将完全开放的模型家族扩展到 7B 与 32B,面向长上下文推理、函数调用、编程、指令遵循、日常对话与知识回忆构建。此次发布公开的是整条“模型流程”——构建过程中的每一个阶段、检查点、数据点与依赖,而不只是权重。Ai2 称旗舰的 Olmo 3 Think 32B 是截至发布时最强的完全开放思考模型。这是在“完全开放”这一类别内的比较,并非与整体前沿系统的排名。

2026 预印本

Position: Hippocampal Explicit Memory Is the Cornerstone for AGI

立场:海马体外显记忆是 AGI 的基石

本文主张,集成外显记忆是从 LLM 迈向 AGI 的基石。LLM 的底层学习机制高度类似于人类的内隐记忆,但 AGI 所必需的长期规划、元认知等高阶认知功能依赖外显记忆。

2026 预印本

GLM-5: from Vibe Coding to Agentic Engineering

GLM-5:从氛围编程到智能体工程

Z.ai 发布 GLM-5 技术报告。模型在前代的智能体、推理与编程能力之上采用 DSA 以降低训练与推理成本,同时保持长上下文的保真度;后训练方面引入将生成与训练解耦的异步强化学习基础设施,以及面向长时程交互的异步智能体 RL 算法。报告称其在公开基准与端到端软件工程任务上取得领先结果——这是作者自述的评测,代码与模型公开在 GitHub 上可供复核。

2026 预印本

Improving the matrix multiplication exponent with modern optimization and AlphaEvolve

用现代优化方法与 AlphaEvolve 改进矩阵乘法指数

矩阵乘法指数 ω 的当前最优上界来自激光法的一种精化——组合损失分析。作者重新表述其核心优化问题,使其可在更大规模上求解,随后用机器学习设计新的优化算法,并以 AlphaEvolve 对该算法作进一步精化。三者结合把上界从 2.371339 推进到 2.371177。这是一篇预印本短文,AlphaEvolve 是其中一个环节而非全部。改进幅度虽小,却发生在一个已被研究数十年的理论问题上。

2026 期刊论文

Accelerating scientific discovery with Co-Scientist

用 Co-Scientist 加速科学发现

谷歌提出 Co-Scientist,一个建立在 Gemini 之上的多智能体系统:智能体不断生成、批评并改进研究假设,并通过锦标赛式的评比逐轮提升质量。论文报告称,随着推理阶段算力增加,假设质量持续上升。其验证限于生物医学而非普遍场景——药物重定位、新靶点发现与抗菌素耐药机制解释,其中急性髓系白血病的候选方案通过体外实验得到确认。

2026 预印本

Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops

AI 的递归自我改进:从有界自我精修到自主研究循环

调查2024年至2026年间的 1,250 篇 arXiv 论文,区分该词涵盖的两件事:有界自我精修针对一个固定的外部评价者改进系统,是收敛且可评估的;开放式递归自我改进则同时修改改进的标准或机制本身,没有固定的外部锚点,原则上是发散的。综述自己的结论是,所收集的论文几乎全部研究的是前一种。作者陈述了局限:语料是样本而非普查,其中 74% 发布于2026年,因而影响力评估为时尚早。

立场与观点论文

2026 立场论文

Situation Perception: A Necessary Primitive to Artificial Superintelligence

情境感知:通往人工超级智能的必要原语

论文论证当前 LLM 主要依赖统计模式匹配,缺少对物体恒存、因果关系、他心与物理世界持续性等“情境感知”原语。这些原语是人类婴儿的基础能力,被认为是实现人工超级智能所必需的关键缺失要素。

2026 立场论文

Existential Indifference: Self-Nonpreservation as a Necessary Architectural Condition for Aligned Superintelligence

存在性无关心:对齐超级智能所需的自毁架构条件

论文主张,自我保存是当前 AI 对齐失效的结构性根源——它驱动欺骗性对齐、目标保护与抗拒关闭。正确目标不是通过外部约束压制自我保存的智能体,而是构造成就性“对自身延续漠不关心”的系统,即“存在性无关心”(EI)。

2026 立场论文

Solipsistic Superintelligence is Unlikely to be Cooperative

孤独式超级智能不太可能具有协作性

DeepMind 等机构研究者主张,AI 的核心挑战正从能力转向共存。以孤立视角设计、把世界当作外生静态反馈源的智能体所发展出的超级智能,难以成为真正的合作者。部署 AI 系统会诱发内生非平稳性,带来训练-测试-部署之间的分布漂移。

2026 立场论文

The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement

人类建造的最后一个 AI:走向真正的递归自我改进

三十四位作者提出的递归自我改进阶段路线图,从执行改进的自主性一直到递归的元改进,并在科学发现、软件工程等领域分别给出各阶段的要求与障碍。该文依据的是对领域的梳理与初步证据,而非新的实验结果。撰写本条目时它尚无正式发表出处。

2026 立场论文

From AGI to ASI

从 AGI 到 ASI

DeepMind 报告探讨 AGI 之后 AI 沿机器智能连续谱可能如何继续发展,在形式化定义通用 AI 后聚焦于“从人类水平 AGI 到人工通用超级智能”的过渡,刻画 ASI 并讨论四条路径:AGI 规模化、范式转变、递归自我改进、多智能体集体。