ยุคฟื้นตัว

การเพิ่มขึ้นของวิธีการทางสถิติ

ในทศวรรษ 1990 วิธีการทางสถิติเริ่มครอบงำการวิจัย AI Hidden Markov Models (HMMs) ในการรู้จำเสียง Naive Bayes และต้นไม้ตัดสินใจในการเรียนรู้ของเครื่อง ล้วนประสบความสำเร็จอย่างดี

กำเนิดเวิลด์ไวด์เว็บ

Tim Berners-Lee สร้างเวิลด์ไวด์เว็บ การแพร่หลายของอินเทอร์เน็ตเปลี่ยนวิถีชีวิตของมนุษย์และให้ทรัพยากรข้อมูลที่ไม่เคยมีมาก่อนแก่ AI

Support Vector Machine

Vladimir Vapnik และคณะ เสนอ Support Vector Machine (SVM) ซึ่งเป็นวิธีการจำแนกและถดถอยอันทรงพลัง SVM ทำผลงานได้ดีเยี่ยมในการจำแนกข้อความและการรู้จำลายมือ

Vladimir Vapnik

Long Short-Term Memory (LSTM)

Sepp Hochreiter และ Jürgen Schmidhuber เสนอ LSTM ซึ่งเป็น RNN ชนิดพิเศษที่สามารถเรียนรู้การพึ่งพาระยะยาว LSTM ประสบความสำเร็จอย่างมากในการรู้จำเสียงและการสร้างแบบจำลองภาษา

Sepp Hochreiter และ Jürgen Schmidhuber

LeNet-5

Yann LeCun พัฒนา LeNet-5 ซึ่งเป็น CNN สำหรับการรู้จำตัวเลขลายมือ LeNet-5 เป็นหนึ่งในแบบจำลองการเรียนรู้เชิงลึกแรก ๆ ที่ถูกนำไปใช้งานเชิงพาณิชย์ในวงกว้าง โดย AT&T/NCR ใช้อ่านเช็คตั้งแต่ปี 1993 และบริการไปรษณีย์สหรัฐฯ ใช้รู้จำรหัสไปรษณีย์ตั้งแต่ปลายทศวรรษ 1990

Yann LeCun

แบบจำลองภาษาเชิงความน่าจะเป็นด้วยโครงข่ายประสาท

Yoshua Bengio, Réjean Ducharme, Pascal Vincent และ Christian Jauvin เสนอแบบจำลองภาษาเชิงความน่าจะเป็นที่เรียนรู้ทั้งการแทนคำแบบกระจายและความน่าจะเป็นของลำดับคำร่วมกันเพื่อลดปัญหามิติสูง โมเดลนี้เป็นโครงข่ายแบบ feed-forward ไม่ใช่ RNN

Yoshua Bengio

โครงการคำนวณด้วยโครงข่ายประสาทของ CIFAR

ตั้งแต่ปี 2004 โครงการของ CIFAR สนับสนุนการแลกเปลี่ยนอย่างสม่ำเสมอระหว่าง Geoffrey Hinton, Yann LeCun, Yoshua Bengio และผู้ร่วมงาน โครงการช่วยประสานงานวิจัยที่มีส่วนต่อการฟื้นตัวของ deep learning แต่ไม่ใช่จุดเริ่มต้นสากลเพียงจุดเดียว

Geoffrey Hinton

Deep Belief Networks

Geoffrey Hinton และคณะเสนอ Deep Belief Networks (DBN) พร้อมอัลกอริทึมแบบละโมบที่รวดเร็วซึ่งฝึกโครงข่ายทีละชั้น การฝึกก่อนทีละชั้นนี้ช่วยปลุกความสนใจในโครงข่ายประสาทเทียมแบบลึกขึ้นอีกครั้ง

Geoffrey Hinton

GPU สำหรับการเรียนรู้เชิงลึก

นักวิจัยเริ่มใช้ GPU เพื่อเร่งการฝึกการเรียนรู้เชิงลึก การคำนวณแบบขนานของ GPU ทำให้การฝึกโครงข่ายประสาทเทียมขนาดใหญ่เป็นไปได้

ชุดข้อมูล ImageNet

ทีม ImageNet เผยแพร่บทความฐานข้อมูลภาพแบบลำดับชั้นขนาดใหญ่ในปี 2009 โดยใช้ลำดับชั้น WordNet จัดระเบียบภาพที่มีป้ายกำกับ ต่อมา ImageNet และการแข่งขันการรู้จำกลายเป็นโครงสร้างพื้นฐานสำคัญของการฝึกและประเมินผลคอมพิวเตอร์วิทัศน์ขนาดใหญ่

Fei-Fei Li

ความก้าวหน้าด้านการรู้จำเสียง

Microsoft Research และมหาวิทยาลัยโตรอนโตบุกเบิกความก้าวหน้าครั้งสำคัญครั้งแรกของการเรียนรู้เชิงลึกในการรู้จำเสียง (Dahl, Yu, Deng 2011; Mohamed, Dahl, Hinton 2012) โดยลดอัตราความผิดพลาดระดับคำลงได้อย่างมาก Google นำการรู้จำเสียงที่ใช้ DNN และ LSTM ไปใช้งานจริงในช่วงปี 2012–2015

ความก้าวหน้าของ ImageNet

ทีมของ Alex Krizhevsky, Ilya Sutskever และ Geoffrey Hinton ส่ง AlexNet เข้าแข่งขัน ImageNet ปี 2012 (ILSVRC) และชนะอย่างขาดลอย โดยมีอัตราความผิดพลาด top-5 ที่ 15.3% เทียบกับ 26.2% ของอันดับสอง

ทีม AlexNet

Word2Vec

Tomas Mikolov เผยแพร่ Word2Vec ซึ่งเป็นแบบจำลองโครงข่ายประสาทเทียมสำหรับการเรียนรู้การแทนความหมายของคำ Word2Vec ทำให้คอมพิวเตอร์สามารถเข้าใจความสัมพันธ์เชิงความหมายระหว่างคำได้

Tomas Mikolov

Generative Adversarial Networks (GAN)

Ian Goodfellow เสนอ GAN ซึ่งเป็นหนึ่งในนวัตกรรมที่สำคัญที่สุดในการเรียนรู้เชิงลึก GAN สร้างภาพที่สมจริงอย่างยิ่งผ่านการฝึกแบบปฏิปักษ์

Ian Goodfellow

ResNet

Kaiming He และคณะ เสนอ ResNet ซึ่งแก้ปัญหาความยากในการฝึกโครงข่ายเชิงลึกด้วยการเชื่อมต่อข้ามชั้น ResNet ทำให้สามารถฝึกโครงข่ายหลายร้อยชั้นได้

Kaiming He

AlphaGo เอาชนะ Lee Sedol

AlphaGo ของ DeepMind เอาชนะ Lee Sedol แชมป์โกะโลกด้วยคะแนน 4-1 โกะถือเป็นหนึ่งในเกมกระดานที่ยากที่สุดสำหรับ AI

DeepMind AlphaGo

สถาปัตยกรรม Transformer

Google เสนอสถาปัตยกรรม Transformer ซึ่งเป็นความก้าวหน้าที่ปฏิวัติวงการ NLP Transformer เป็นรากฐานของแบบจำลองภาษาขนาดใหญ่สมัยใหม่

Google Brain