简体中文
← 返回首页
🌅

复兴时代

1990年代—2010年代 · 深度学习的崛起

1990年代中期，随着计算能力的提升和互联网的普及，机器学习特别是深度学习开始崭露头角。这一时期的 AI 发展可以用“统计革命”来形容——从基于规则的系统转向基于概率和数据的模型。

2012年 ImageNet 竞赛中，深度学习以压倒性优势夺冠，标志着深度学习革命的开始。此后，AI 在图像识别、语音识别、自然语言处理等领域取得了前所未有的突破。2016年 AlphaGo 击败李世石，更是让 AI 进入了大众视野，掀开了人工智能新时代的序幕。

这一时期的特点是：大数据、强大计算资源、深度学习算法的结合。互联网的普及使得收集海量数据成为可能，GPU 的发展则为训练大型神经网络提供了计算基础。

重要里程碑

统计方法崛起

1990年代，统计方法开始主导 AI 研究。隐马尔可夫模型（HMM）在语音识别中的应用，朴素贝叶斯和决策树在机器学习中的应用，都取得了很好的效果。

发展中 来源： ACL Anthology 来源复核日期：

万维网诞生

蒂姆·伯纳斯-李创建了万维网（World Wide Web）。互联网的普及不仅改变了人类的生活方式，也为 AI 提供了前所未有的数据资源。

已核验 来源： CERN 来源复核日期：

支持向量机

弗拉基米尔·瓦普尼克等人提出了支持向量机（SVM），这是一种强大的分类和回归方法。SVM 在文本分类、手写识别等任务上取得了优异性能。

弗拉基米尔·瓦普尼克

已核验 来源： Machine Learning / Springer 来源复核日期：

长短期记忆网络 (LSTM)

塞普·霍克赖特和于尔根·施密德胡伯提出了长短期记忆网络（LSTM），这是一种特殊的循环神经网络，能够学习长期依赖关系。LSTM 在语音识别、语言建模等任务上取得了巨大成功。

塞普·霍克赖特 & 于尔根·施密德胡伯

已核验 来源： Neural ComputationNeural Computation / PubMed 来源复核日期：

LeNet-5

杨立昆开发了 LeNet-5，这是一个用于手写数字识别的卷积神经网络。LeNet-5 是最早大规模商业部署的深度学习模型之一，1993年起被 AT&T/NCR 用于支票识别，自1990年代末起被美国邮政系统用于邮政编码识别。

杨立昆

已核验 来源： Proceedings of the IEEE 来源复核日期：

神经概率语言模型

Yoshua Bengio、Réjean Ducharme、Pascal Vincent 和 Christian Jauvin 提出神经概率语言模型，同时学习词的分布式表示与词序列概率，以连续表示缓解维数灾难。该模型使用前馈神经网络，并非 RNN。

约舒亚·本吉奥

已核验 来源： Journal of Machine Learning Research 来源复核日期：

CIFAR 神经计算项目

自2004年起，CIFAR 项目促成 Geoffrey Hinton、Yann LeCun、Yoshua Bengio 及合作者定期交流。该项目推动了后来深度学习复兴所依赖的研究协作，但并非唯一或确定的起点。

杰弗里·辛顿

发展中 来源： University of Toronto 来源复核日期：

深度信念网络

杰弗里·辛顿提出了深度信念网络（DBN），这是第一个成功训练的深度神经网络。辛顿提出了“逐层预训练”的方法，解决了深层网络训练困难的问题。

杰弗里·辛顿

已核验 来源： Neural Computation 来源复核日期：

GPU 用于深度学习

研究人员开始使用 GPU（图形处理器）来加速深度学习训练。GPU 的并行计算能力使得训练大型神经网络成为可能，大大加速了深度学习的发展。

发展中 来源： ICML / ACM 来源复核日期：

ImageNet 数据集

ImageNet 团队于2009年发表大型分层图像数据库论文，利用 WordNet 层级组织大规模标注图像。此后 ImageNet 及其视觉识别挑战成为计算机视觉规模化训练和评测的重要基础设施。

李飞飞

已核验 来源： CVPR 来源复核日期：

语音识别突破

Google 使用深度学习模型将语音识别错误率降低了25%。这是深度学习在语音识别领域的首次重大突破。

已核验 来源： Microsoft Research 来源复核日期：

ImageNet 突破

亚历克斯·克里泽夫斯基、伊利亚·萨特斯基弗和杰弗里·辛顿的团队在 ImageNet 图像分类竞赛中使用了深度卷积神经网络（AlexNet），以压倒性优势夺冠。错误率从26%降至15%，这一突破引发了深度学习革命。

AlexNet 团队

已核验 来源： NeurIPS 来源复核日期：

Word2Vec

托马斯·米科洛沃发布了 Word2Vec，这是一种用于学习词嵌入的神经网络模型。Word2Vec 使得计算机能够理解词语之间的语义关系。

托马斯·米科洛沃

已核验 来源： Google / arXiv 来源复核日期：

生成对抗网络 (GAN)

伊恩·古德费洛提出了生成对抗网络（GAN），这是深度学习领域最重要的创新之一。GAN 通过两个神经网络的对抗训练，能够生成极其逼真的图像。

伊恩·古德费洛

已核验 来源： arXiv 来源复核日期：

ResNet

何恺明等人提出了残差网络（ResNet），通过引入跳跃连接解决了深层网络训练困难的问题。ResNet 使得训练数百层的神经网络成为可能。

何恺明

已核验 来源： Microsoft Research / arXiv 来源复核日期：

AlphaGo 击败李世石

DeepMind 开发的 AlphaGo 在五番棋比赛中以4比1击败了世界围棋冠军李世石。围棋被认为是 AI 最难攻克的棋类游戏之一，AlphaGo 的胜利被认为是 AI 历史上的里程碑。

DeepMind AlphaGo

已核验 来源： Nature 来源复核日期：

Transformer 架构

Google 提出了 Transformer 架构，这是自然语言处理领域的一次革命性突破。Transformer 摒弃了传统的循环结构，完全基于注意力机制，成为现代大语言模型的基础。

Google Brain

已核验 来源： Google / arXiv 来源复核日期：

重要人物

杰弗里·辛顿

深度学习之父

辛顿在2018年与杨立昆和约书亚·本吉奥共同获得图灵奖，被誉为“深度学习三巨头”。他对神经网络和深度学习的坚持和创新，彻底改变了 AI 的面貌。

杨立昆

卷积神经网络之父

杨立昆是 Facebook AI 研究院的首席科学家，他的 LeNet-5 是最早大规模商业部署的深度学习模型之一。他在卷积神经网络领域的贡献奠定了现代计算机视觉的基础。

约舒亚·本吉奥

深度学习先驱

本吉奥是蒙特利尔大学的教授，也是深度学习领域的另一位重要人物。他在循环神经网络和自然语言处理方面的贡献同样重要。

伊恩·古德费洛

GAN 之父

古德费洛在2014年提出了 GAN，这一创新方法在生成 AI 领域产生了革命性影响。从 Deepfake 到艺术创作，GAN 的应用无处不在。

李飞飞

ImageNet 之母

李飞飞是斯坦福大学教授，她创建的 ImageNet 数据集对计算机视觉的发展产生了深远影响。她还共同创立了 AI4ALL 组织，致力于 AI 教育的多元化。

经典语录

深度学习允许由多个处理层组成的计算模型学习具有多个抽象层次的数据表示。

— 杰弗里·辛顿

如果智能是一个蛋糕，无监督学习将是蛋糕本身，监督学习将是蛋糕上的糖衣，而强化学习则是蛋糕上的樱桃。我们知道如何制作糖衣和樱桃，但不知道如何制作蛋糕本身。

— 杨立昆

我们的目标是通用人工智能。

— 戴密斯·哈萨比斯

查看完整时间线 →