繁體中文
← 返回首頁
🌅

復興時代

1990年代—2010年代 · 深度學習的崛起

1990年代中期，隨著計算能力的提升和網際網路的普及，機器學習特別是深度學習開始嶄露頭角。這一時期的 AI 發展可以用「統計革命」來形容——從基於規則的系統轉向基於概率和資料的模型。

2012年 ImageNet 競賽中，深度學習以壓倒性優勢奪冠，標誌著深度學習革命的開始。此後，AI 在圖像識別、語音識別、自然語言處理等領域取得了前所未有的突破。2016年 AlphaGo 擊敗李世石，更是讓 AI 進入了大眾視野，掀開了人工智慧新時代的序幕。

這一時期的特點是：大資料、強大計算資源、深度學習演算法的結合。網際網路的普及使得收集海量資料成為可能，GPU 的發展則為訓練大型神經網絡提供了計算基礎。

重要里程碑

統計方法崛起

1990年代，統計方法開始主導 AI 研究。隱馬爾可夫模型（HMM）在語音識別中的應用，朴素貝葉斯和決策樹在機器學習中的應用，都取得了很好的效果。

發展中 來源： ACL Anthology 來源複核日期：

全球資訊網誕生

蒂姆·伯納斯-李建立了全球資訊網（World Wide Web）。網際網路的普及不僅改變了人類的生活方式，也為 AI 提供了前所未有的資料資源。

已核驗 來源： CERN 來源複核日期：

支援向量機

弗拉基米爾·瓦普尼克等人提出了支援向量機（SVM），這是一種強大的分類和回歸方法。SVM 在文本分類、手寫識別等任務上取得了優異性能。

弗拉基米爾·瓦普尼克

已核驗 來源： Machine Learning / Springer 來源複核日期：

長短期記憶網絡 (LSTM)

塞普·霍克賴特和于爾根·施密德胡伯提出了長短期記憶網絡（LSTM），這是一種特殊的循環神經網絡，能夠學習長期依賴關係。LSTM 在語音識別、語言建模等任務上取得了巨大成功。

塞普·霍克賴特 & 于爾根·施密德胡伯

已核驗 來源： Neural ComputationNeural Computation / PubMed 來源複核日期：

LeNet-5

楊立昆開發了 LeNet-5，這是一個用於手寫數字識別的卷積神經網絡。LeNet-5 是最早大規模商業部署的深度學習模型之一，1993年起被 AT&T/NCR 用於支票識別，自1990年代末起被美國郵政系統用於郵政編碼識別。

楊立昆

已核驗 來源： Proceedings of the IEEE 來源複核日期：

神經機率語言模型

Yoshua Bengio、Réjean Ducharme、Pascal Vincent 和 Christian Jauvin 提出神經機率語言模型，同時學習詞的分散式表示與詞序列機率，以連續表示緩解維度災難。該模型使用前饋神經網路，並非 RNN。

約舒亞·本吉奧

已核驗 來源： Journal of Machine Learning Research 來源複核日期：

CIFAR 神經計算專案

自2004年起，CIFAR 專案促成 Geoffrey Hinton、Yann LeCun、Yoshua Bengio 與合作者定期交流。該專案推動了後來深度學習復興所依賴的研究協作，但並非唯一或確定的起點。

傑弗里·辛頓

發展中 來源： University of Toronto 來源複核日期：

深度信念網絡

傑弗里·辛頓提出了深度信念網絡（DBN），這是第一個成功訓練的深度神經網絡。辛頓提出了「逐層預訓練」的方法，解決了深層網絡訓練困難的問題。

傑弗里·辛頓

已核驗 來源： Neural Computation 來源複核日期：

GPU 用於深度學習

研究人員開始使用 GPU（圖形處理器）來加速深度學習訓練。GPU 的並行計算能力使得訓練大型神經網絡成為可能，大大加速了深度學習的發展。

發展中 來源： ICML / ACM 來源複核日期：

ImageNet 資料集

ImageNet 團隊於2009年發表大型階層式影像資料庫論文，以 WordNet 階層組織大規模標註影像。其後 ImageNet 與視覺辨識挑戰成為電腦視覺規模化訓練與評測的重要基礎設施。

李飛飛

已核驗 來源： CVPR 來源複核日期：

語音識別突破

Google 使用深度學習模型將語音識別錯誤率降低了25%。這是深度學習在語音識別領域的首次重大突破。

已核驗 來源： Microsoft Research 來源複核日期：

ImageNet 突破

亞歷克斯·克里澤夫斯基、伊利亞·蘇茨克維和傑弗里·辛頓的團隊在 ImageNet 圖像分類競賽中使用深度卷積神經網路（AlexNet），以明顯優勢奪冠。錯誤率從 26% 降至 15%，這項突破推動了深度學習的快速發展。

AlexNet 團隊

已核驗 來源： NeurIPS 來源複核日期：

Word2Vec

托馬斯·米科洛夫發布 Word2Vec，這是一種用於學習詞嵌入的神經網路模型。Word2Vec 讓電腦能表示詞語之間的語義關係。

托馬斯·米科洛夫

已核驗 來源： Google / arXiv 來源複核日期：

生成對抗網絡 (GAN)

伊恩·古德費洛提出了生成對抗網絡（GAN），這是深度學習領域最重要的創新之一。GAN 透過兩個神經網絡的對抗訓練，能夠生成極其逼真的圖像。

伊恩·古德費洛

已核驗 來源： arXiv 來源複核日期：

ResNet

何愷明等人提出了殘差網絡（ResNet），透過引入跳躍連接解決了深層網絡訓練困難的問題。ResNet 使得訓練數百層的神經網絡成為可能。

何愷明

已核驗 來源： Microsoft Research / arXiv 來源複核日期：

AlphaGo 擊敗李世石

DeepMind 開發的 AlphaGo 在五番棋比賽中以4比1擊敗了世界圍棋冠軍李世石。圍棋被認為是 AI 最難攻克的棋類遊戲之一，AlphaGo 的勝利被認為是 AI 歷史上的里程碑。

DeepMind AlphaGo

已核驗 來源： Nature 來源複核日期：

Transformer 架構

Google 提出了 Transformer 架構，這是自然語言處理領域的一次革命性突破。Transformer 摒棄了傳統的循環結構，完全基於注意力機制，成為現代大型語言模型的基礎。

Google Brain

已核驗 來源： Google / arXiv 來源複核日期：

重要人物

傑弗里·辛頓

深度學習之父

辛頓在2018年與楊立昆和約書亞·本吉奧共同獲得圖靈獎，被譽為「深度學習三巨頭」。他對神經網絡和深度學習的堅持和創新，徹底改變了 AI 的面貌。

楊立昆

卷積神經網絡之父

楊立昆是 Facebook AI 研究院的首席科學家，他的 LeNet-5 是最早大規模商業部署的深度學習模型之一。他在卷積神經網絡領域的貢獻奠定了現代電腦視覺的基礎。

約舒亞·本吉奧

深度學習先驅

本吉奧是蒙特利爾大學的教授，也是深度學習領域的另一位重要人物。他在循環神經網絡和自然語言處理方面的貢獻同樣重要。

伊恩·古德費洛

GAN 之父

古德費洛在2014年提出了 GAN，這一創新方法在生成 AI 領域產生了革命性影響。從 Deepfake 到藝術創作，GAN 的應用無處不在。

李飛飛

ImageNet 之母

李飛飛是史丹佛大學教授，她建立的 ImageNet 資料集對電腦視覺的發展產生了深遠影響。她還共同創立了 AI4ALL 組織，致力於 AI 教育的多元化。

經典語錄

深度學習允許由多個處理層組成的計算模型學習具有多個抽象層次的資料表示。

— 傑弗里·辛頓

如果智慧是一個蛋糕，非監督式學習將是蛋糕本身，監督式學習將是蛋糕上的糖衣，而強化學習則是蛋糕上的櫻桃。我們知道如何製作糖衣和櫻桃，但不知道如何製作蛋糕本身。

— 楊立昆

我們的目標是通用人工智慧。

— 戴密斯·哈薩比斯

查看完整時間線 →