Le Renouveau
années 1990–années 2010 · Essor de l’Apprentissage Profond
Au milieu des années 1990, avec l’amélioration de la puissance de calcul et la prolifération d’Internet, l’apprentissage automatique, en particulier l’apprentissage profond, a commencé à émerger. Cette période du développement de l’IA peut être qualifiée de « révolution statistique » — un passage de systèmes basés sur des règles à des modèles probabilistes et axés sur les données.
En 2012, l’apprentissage profond a remporté la compétition ImageNet avec une avance écrasante, marquant le début de la révolution de l’apprentissage profond. Depuis, l’IA a réalisé des percées sans précédent en reconnaissance d’images, reconnaissance vocale et traitement du langage naturel. En 2016, la victoire d’AlphaGo contre Lee Sedol a porté l’IA à la conscience du grand public, levant le rideau d’une nouvelle ère de l’intelligence artificielle.
Cette ère se caractérise par la combinaison de mégadonnées, de ressources de calcul puissantes et d’algorithmes d’apprentissage profond. La prolifération d’Internet a rendu possible la collecte de quantités massives de données, tandis que le développement des GPU a fourni la base computationnelle pour l’entraînement de grands réseaux de neurones.
Jalons importants
Essor des Méthodes Statistiques
Dans les années 1990, les méthodes statistiques ont commencé à dominer la recherche en IA. Les modèles de Markov cachés (HMM) en reconnaissance vocale, le Naive Bayes et les arbres de décision en apprentissage automatique ont tous obtenu de bons résultats.
Naissance du World Wide Web
Tim Berners-Lee a créé le World Wide Web. La prolifération d’Internet a transformé le mode de vie humain et a fourni à l’IA des ressources de données sans précédent.
Machine à Vecteurs de Support
Vladimir Vapnik et al. ont proposé la Machine à Vecteurs de Support (SVM), une méthode puissante de classification et de régression. La SVM a obtenu d’excellentes performances en classification de textes et en reconnaissance d’écriture manuscrite.
Vladimir Vapnik
Mémoire à Court Terme Long (LSTM)
Sepp Hochreiter et Jürgen Schmidhuber ont proposé le LSTM, un type spécial de RNN capable d’apprendre des dépendances à long terme. Le LSTM a connu un grand succès en reconnaissance vocale et en modélisation du langage.
Sepp Hochreiter & Jürgen Schmidhuber
LeNet-5
Yann LeCun a développé LeNet-5, un CNN pour la reconnaissance de chiffres manuscrits. LeNet-5 fut le premier modèle d’apprentissage profond commercialisé avec succès, utilisé par le service postal américain pour la reconnaissance des codes ZIP.
Yann LeCun
Modèle de langage neuronal probabiliste
Yoshua Bengio, Réjean Ducharme, Pascal Vincent et Christian Jauvin ont proposé un modèle neuronal probabiliste apprenant conjointement des représentations distribuées des mots et les probabilités des séquences afin d’atténuer le fléau de la dimension. Le réseau est à propagation avant, et non récurrent.
Yoshua Bengio
Programme CIFAR de calcul neuronal
À partir de 2004, un programme du CIFAR a réuni régulièrement Geoffrey Hinton, Yann LeCun, Yoshua Bengio et leurs collaborateurs. Il a favorisé les recherches qui ont contribué au renouveau de l’apprentissage profond, sans en constituer un point de départ unique.
Geoffrey Hinton
Réseaux de Croyance Profonds
Geoffrey Hinton a proposé les Réseaux de Croyance Profonds (DBN), le premier réseau de neurones profond entraîné avec succès. Hinton a introduit le « pré-entraînement couche par couche » pour résoudre les difficultés d’entraînement.
Geoffrey Hinton
GPU pour l’Apprentissage Profond
Les chercheurs ont commencé à utiliser les GPU pour accélérer l’entraînement de l’apprentissage profond. Le calcul parallèle des GPU a rendu possible l’entraînement de grands réseaux de neurones.
Jeu de Données ImageNet
L’équipe ImageNet publia en 2009 son article sur une grande base d’images hiérarchique organisée avec WordNet. ImageNet et son défi de reconnaissance devinrent une infrastructure majeure pour l’entraînement et l’évaluation à grande échelle.
Fei-Fei Li
Percée en Reconnaissance Vocale
Google a utilisé des modèles d’apprentissage profond pour réduire le taux d’erreur de reconnaissance vocale de 25 %. Ce fut la première percée majeure de l’apprentissage profond en reconnaissance vocale.
Percée ImageNet
L’équipe d’Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton a utilisé AlexNet dans la compétition ImageNet, remportant la victoire avec une avance écrasante. Le taux d’erreur est passé de 26 % à 15 %.
Équipe AlexNet
Word2Vec
Tomas Mikolov a publié Word2Vec, un modèle de réseau de neurones pour l’apprentissage de plongements lexicaux. Word2Vec a permis aux ordinateurs de comprendre les relations sémantiques entre les mots.
Tomas Mikolov
Réseaux Antagonistes Génératifs (GAN)
Ian Goodfellow a proposé les GAN, l’une des innovations les plus importantes de l’apprentissage profond. Les GAN génèrent des images extrêmement réalistes par entraînement antagoniste.
Ian Goodfellow
ResNet
Kaiming He et al. ont proposé ResNet, résolvant la difficulté d’entraînement des réseaux profonds grâce aux connexions résiduelles. ResNet a permis l’entraînement de centaines de couches.
Kaiming He
AlphaGo Vainc Lee Sedol
AlphaGo de DeepMind a vaincu le champion du monde de Go Lee Sedol 4-1. Le Go était considéré comme l’un des jeux de société les plus difficiles pour l’IA.
DeepMind AlphaGo
Architecture Transformer
Google a proposé l’architecture Transformer, une percée révolutionnaire en TALN. Le Transformer est le fondement des grands modèles de langage modernes.
Google Brain
Personnalités importantes
Geoffrey Hinton
Père de l’Apprentissage Profond
Hinton, avec Yann LeCun et Yoshua Bengio, a reçu le prix Turing en 2018, connu comme le « Trio de l’Apprentissage Profond ». Sa persévérance et son innovation ont complètement transformé l’IA.
Yann LeCun
Père des CNN
LeCun est directeur scientifique de l’IA chez Facebook. Son LeNet-5 fut le premier modèle d’apprentissage profond commercialisé avec succès. Ses contributions aux CNN ont posé les fondations de la vision par ordinateur moderne.
Yoshua Bengio
Pionnier de l’Apprentissage Profond
Bengio est professeur à l’Université de Montréal et une figure importante de l’apprentissage profond. Ses contributions aux RNN et au TALN sont tout aussi essentielles.
Ian Goodfellow
Père des GAN
Goodfellow a proposé les GAN en 2014, une méthode révolutionnaire en IA générative. Des deepfakes à la création artistique, les applications des GAN sont omniprésentes.
Fei-Fei Li
Mère d’ImageNet
Li est professeure à l’Université Stanford. Son jeu de données ImageNet a eu un impact profond sur la vision par ordinateur. Elle a également cofondé AI4ALL, promouvant la diversité dans l’enseignement de l’IA.
Citations célèbres
L’apprentissage profond permet aux modèles informatiques composés de plusieurs couches de traitement d’apprendre des représentations de données avec plusieurs niveaux d’abstraction.
Si l’intelligence était un gâteau, l’apprentissage non supervisé serait le gâteau, l’apprentissage supervisé serait le glaçage du gâteau, et l’apprentissage par renforcement serait la cerise sur le gâteau. Nous savons comment faire le glaçage et la cerise, mais nous ne savons pas comment faire le gâteau.
Notre objectif est l’intelligence artificielle générale.