النهضة

صعود الطرائق الإحصائية

في عقد ١٩٩٠ بدأت الطرائق الإحصائية تسود أبحاث الذكاء الاصطناعي. فنماذج ماركوف المخفية في التعرّف على الكلام، وبايز الساذج وأشجار القرار في تعلّم الآلة، حقّقت جميعها نتائج جيدة.

مولد الشبكة العنكبوتية العالمية

أنشأ تيم بيرنرز-لي الشبكة العنكبوتية العالمية. وقد غيّر انتشار الإنترنت نمط حياة البشر، ووفّر للذكاء الاصطناعي موارد بيانات غير مسبوقة.

آلة المتّجهات الداعمة

اقترح فلاديمير فابنيك وزملاؤه آلة المتّجهات الداعمة (SVM)، وهي طريقة قوية للتصنيف والانحدار. وقد حقّقت أداءً ممتازًا في تصنيف النصوص والتعرّف على الخط اليدوي.

فلاديمير فابنيك

الذاكرة الطويلة قصيرة المدى (LSTM)

اقترح زيب هوخرايتر ويورغن شميدهوبر بنية LSTM، وهي نوع خاص من الشبكات العصبية التكرارية قادر على تعلّم التبعيات بعيدة المدى. وقد حقّقت نجاحًا كبيرًا في التعرّف على الكلام ونمذجة اللغة.

زيب هوخرايتر ويورغن شميدهوبر

LeNet-5

طوّر يان لوكون شبكة LeNet-5، وهي شبكة عصبية التفافية للتعرّف على الأرقام المكتوبة يدويًا. وكانت من أوائل نماذج التعلّم العميق التي نُشرت تجاريًا على نطاق واسع — استعملتها AT&T/NCR لقراءة الشيكات ابتداءً من عام ١٩٩٣، واستعملتها هيئة البريد الأمريكية للتعرّف على الرموز البريدية منذ أواخر عقد ١٩٩٠.

يان لوكون

النموذج اللغوي الاحتمالي العصبي

اقترح Yoshua Bengio وRéjean Ducharme وPascal Vincent وChristian Jauvin نموذجًا لغويًا احتماليًا عصبيًا يتعلّم في آن واحد تمثيلات الكلمات الموزّعة واحتمالات تسلسل الكلمات، لمواجهة لعنة الأبعاد. والنموذج تغذية أمامية لا تكراري.

يوشوا بنجيو

برنامج CIFAR للحساب العصبي

ابتداءً من عام ٢٠٠٤ جمع برنامج تابع لـCIFAR بين Geoffrey Hinton وYann LeCun وYoshua Bengio ومتعاونيهم في تبادل منتظم. وقد أسهم في تنسيق أبحاث ساعدت على نهضة التعلّم العميق؛ ولم يكن نقطة انطلاق واحدة شاملة.

جيفري هينتون

شبكات المعتقد العميق

اقترح جيفري هينتون شبكات المعتقد العميق (DBN)، وهي أول شبكة عصبية عميقة تُدرَّب بنجاح. وقد قدّم هينتون «التدريب المسبق طبقةً طبقة» لحلّ صعوبات التدريب.

جيفري هينتون

وحدات معالجة الرسوميات في التعلّم العميق

بدأ الباحثون يستعملون وحدات معالجة الرسوميات لتسريع تدريب التعلّم العميق. وقد جعل حسابها المتوازي تدريب الشبكات العصبية الكبيرة ممكنًا.

مجموعة بيانات ImageNet

نشر فريق ImageNet عام ٢٠٠٩ ورقته عن قاعدة صور هرمية واسعة النطاق، ينظّم فيها الصور الموسومة وفق هرمية WordNet. وصارت ImageNet ومسابقة التعرّف اللاحقة بنية تحتية مهمة لتدريب الرؤية الحاسوبية وتقييمها على نطاق واسع.

فاي-فاي لي

اختراق في التعرّف على الكلام

قاد بحث Microsoft ومختبرات Bell أول اختراق كبير للتعلّم العميق في التعرّف على الكلام (Dahl وYu وDeng عام ٢٠١١؛ وMohamed وDahl وHinton عام ٢٠١٢)، فحقّقوا انخفاضات كبيرة في معدل خطأ الكلمات. ونشرت Google تعرّفًا على الكلام قائمًا على الشبكات العصبية العميقة وLSTM في الإنتاج بين عامي ٢٠١٢ و٢٠١٥.

اختراق ImageNet

استعمل فريق Alex Krizhevsky وIlya Sutskever وGeoffrey Hinton شبكة AlexNet في مسابقة ImageNet ففازوا فوزًا ساحقًا. وبلغ خطأ AlexNet في أفضل خمسة تصنيفات ١٥٫٣٪، متقدّمًا بفارق كبير على وصيف ILSVRC لعام ٢٠١٢ الذي بلغ ٢٦٫٢٪.

فريق AlexNet

Word2Vec

أصدر توماس ميكولوف نموذج Word2Vec، وهو نموذج شبكة عصبية لتعلّم تضمينات الكلمات. وقد مكّن الحواسيب من إدراك العلاقات الدلالية بين الكلمات.

توماس ميكولوف

الشبكات التوليدية التنافسية (GAN)

اقترح إيان غودفيلو الشبكات التوليدية التنافسية، وهي من أهم ابتكارات التعلّم العميق. وهي تولّد صورًا بالغة الواقعية عبر التدريب التنافسي.

إيان غودفيلو

ResNet

اقترح كايمينغ هي وزملاؤه شبكة ResNet، فحلّوا صعوبة تدريب الشبكات العميقة عبر الوصلات القافزة. وقد أتاحت ResNet تدريب مئات الطبقات.

كايمينغ هي

AlphaGo يهزم لي سي-دول

هزم برنامج AlphaGo من DeepMind بطل العالم في لعبة Go لي سي-دول بنتيجة ٤–١. وكانت Go تُعدّ من أصعب ألعاب اللوح على الذكاء الاصطناعي.

DeepMind AlphaGo

بنية المحوّل

اقترحت Google بنية المحوّل (Transformer)، وهي اختراق ثوري في معالجة اللغة الطبيعية. وعليها تقوم النماذج اللغوية الكبيرة الحديثة.

Google Brain