Renaissance
années 1990–années 2010 · Essor de l’apprentissage profond
Au milieu des années 1990, avec l’amélioration de la puissance de calcul et la prolifération d’Internet, l’apprentissage automatique, en particulier l’apprentissage profond, a commencé à émerger. Cette période du développement de l’IA peut être qualifiée de « révolution statistique » — un passage de systèmes basés sur des règles à des modèles probabilistes et axés sur les données.
En 2012, l’apprentissage profond a remporté la compétition ImageNet avec une avance écrasante, marquant le début de la révolution de l’apprentissage profond. Depuis, l’IA a réalisé des percées sans précédent en reconnaissance d’images, reconnaissance vocale et traitement du langage naturel. En 2016, la victoire d’AlphaGo contre Lee Sedol a porté l’IA à la conscience du grand public, levant le rideau d’une nouvelle ère de l’intelligence artificielle.
Cette ère se caractérise par la combinaison de mégadonnées, de ressources de calcul puissantes et d’algorithmes d’apprentissage profond. La prolifération d’Internet a rendu possible la collecte de quantités massives de données, tandis que le développement des GPU a fourni la base computationnelle pour l’entraînement de grands réseaux de neurones.
Jalons importants
Essor des méthodes statistiques
Dans les années 1990, les méthodes statistiques ont commencé à dominer la recherche en IA. Les modèles de Markov cachés (HMM) en reconnaissance vocale, le Naive Bayes et les arbres de décision en apprentissage automatique ont tous obtenu de bons résultats.
Naissance du World Wide Web
Tim Berners-Lee a créé le World Wide Web. La prolifération d’Internet a transformé le mode de vie humain et a fourni à l’IA des ressources de données sans précédent.
Machine à vecteurs de support
Vladimir Vapnik et al. ont proposé la machine à vecteurs de support (SVM), une méthode puissante de classification et de régression. La SVM a obtenu d’excellentes performances en classification de textes et en reconnaissance d’écriture manuscrite.
Vladimir Vapnik
Mémoire à long court terme (LSTM)
Sepp Hochreiter et Jürgen Schmidhuber ont proposé le LSTM, un type spécial de RNN capable d’apprendre des dépendances à long terme. Le LSTM a connu un grand succès en reconnaissance vocale et en modélisation du langage.
Sepp Hochreiter et Jürgen Schmidhuber
LeNet-5
Yann LeCun a développé LeNet-5, un CNN pour la reconnaissance de chiffres manuscrits. LeNet-5 fut l’un des premiers modèles d’apprentissage profond déployés commercialement à grande échelle, utilisé par AT&T/NCR pour la lecture des chèques à partir de 1993, puis par le service postal américain pour la reconnaissance des codes ZIP à partir de la fin des années 1990.
Yann LeCun
Modèle de langage neuronal probabiliste
Yoshua Bengio, Réjean Ducharme, Pascal Vincent et Christian Jauvin ont proposé un modèle neuronal probabiliste apprenant conjointement des représentations distribuées des mots et les probabilités des séquences afin d’atténuer le fléau de la dimension. Le réseau est à propagation avant, et non récurrent.
Yoshua Bengio
Programme CIFAR de calcul neuronal
À partir de 2004, un programme du CIFAR a réuni régulièrement Geoffrey Hinton, Yann LeCun, Yoshua Bengio et leurs collaborateurs. Il a favorisé les recherches qui ont contribué au renouveau de l’apprentissage profond, sans en constituer un point de départ unique.
Geoffrey Hinton
Réseaux de croyance profonds
Geoffrey Hinton et ses collègues ont proposé les réseaux de croyance profonds (DBN), avec un algorithme glouton rapide qui les entraîne couche par couche. Ce pré-entraînement couche par couche a contribué à raviver l’intérêt pour les réseaux de neurones profonds.
Geoffrey Hinton
GPU pour l’apprentissage profond
Les chercheurs ont commencé à utiliser les GPU pour accélérer l’entraînement de l’apprentissage profond. Le calcul parallèle des GPU a rendu possible l’entraînement de grands réseaux de neurones.
Jeu de données ImageNet
L’équipe ImageNet publia en 2009 son article sur une grande base d’images hiérarchique organisée avec WordNet. ImageNet et son défi de reconnaissance devinrent une infrastructure majeure pour l’entraînement et l’évaluation à grande échelle.
Fei-Fei Li
Percée en reconnaissance vocale
Microsoft Research et l’université de Toronto ont ouvert la voie à la première grande percée de l’apprentissage profond en reconnaissance vocale (Dahl, Yu, Deng 2011 ; Mohamed, Dahl, Hinton 2012), avec de nettes baisses du taux d’erreur sur les mots. Google a déployé en production une reconnaissance vocale fondée sur les DNN et les LSTM entre 2012 et 2015.
Percée ImageNet
L’équipe d’Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton a présenté AlexNet au concours ImageNet 2012 (ILSVRC) et l’a emporté avec une avance écrasante : une erreur top-5 de 15,3 %, contre 26,2 % pour le deuxième.
Équipe AlexNet
Word2Vec
Tomas Mikolov a publié Word2Vec, un modèle de réseau de neurones pour l’apprentissage de plongements lexicaux. Word2Vec a permis aux ordinateurs de comprendre les relations sémantiques entre les mots.
Tomas Mikolov
Réseaux antagonistes génératifs (GAN)
Ian Goodfellow a proposé les GAN, l’une des innovations les plus importantes de l’apprentissage profond. Les GAN génèrent des images extrêmement réalistes par entraînement antagoniste.
Ian Goodfellow
ResNet
Kaiming He et al. ont proposé ResNet, résolvant la difficulté d’entraînement des réseaux profonds grâce aux connexions résiduelles. ResNet a permis l’entraînement de centaines de couches.
Kaiming He
AlphaGo Vainc Lee Sedol
AlphaGo de DeepMind a vaincu le champion du monde de Go Lee Sedol 4-1. Le Go était considéré comme l’un des jeux de société les plus difficiles pour l’IA.
DeepMind AlphaGo
Architecture Transformer
Google a proposé l’architecture Transformer, une percée révolutionnaire en TALN. Le Transformer est le fondement des grands modèles de langage modernes.
Google Brain
Personnalités importantes
Geoffrey Hinton
Père de l’apprentissage profond
Hinton, avec Yann LeCun et Yoshua Bengio, a reçu le prix Turing en 2018, connu comme le « trio de l’apprentissage profond ». Sa persévérance et son innovation ont complètement transformé l’IA.
Yann LeCun
Père des CNN
LeCun a rejoint Facebook en 2013 comme directeur fondateur de son laboratoire de recherche en IA, FAIR, puis a été directeur scientifique de l’IA de Meta jusqu’à son départ fin 2025 pour fonder sa propre entreprise. Son LeNet-5 fut l’un des premiers modèles d’apprentissage profond déployés commercialement à grande échelle. Ses contributions aux CNN ont posé les fondations de la vision par ordinateur moderne.
Yoshua Bengio
Pionnier de l’apprentissage profond
Bengio est professeur à l’Université de Montréal et une figure importante de l’apprentissage profond. Ses contributions aux RNN et au TALN sont tout aussi essentielles.
Ian Goodfellow
Père des GAN
Goodfellow a proposé les GAN en 2014, une méthode révolutionnaire en IA générative. Des deepfakes à la création artistique, les applications des GAN sont omniprésentes.
Fei-Fei Li
Mère d’ImageNet
Li est professeure à l’Université Stanford. Son jeu de données ImageNet a eu un impact profond sur la vision par ordinateur. Elle a également cofondé AI4ALL, promouvant la diversité dans l’enseignement de l’IA.
Citations célèbres
L’apprentissage profond permet aux modèles informatiques composés de plusieurs couches de traitement d’apprendre des représentations de données avec plusieurs niveaux d’abstraction.
Deep learning · Nature 521 (7553), 2015, 436–444
Si l’intelligence est un gâteau, l’essentiel du gâteau est l’apprentissage non supervisé, le glaçage est l’apprentissage supervisé, et la cerise sur le gâteau est l’apprentissage par renforcement (RL).
Predictive Learning · NIPS 2016, Posner Lecture · Synced
Étape un : résoudre l’intelligence ; étape deux : s’en servir pour résoudre tout le reste. … Par résoudre l’intelligence, nous entendions construire l’AGI.
Demis Hassabis Thinks We’re in the ‘Foothills of the Singularity’ · Stanford Graduate School of Business, 2026