Français
Retour à l’accueil
Ère :
Décennie :
Thème :

Affichage 96 sur 96 articles

Travaux fondateurs

1931 article de revue

Über formal unentscheidbare Sätze der Principia Mathematica und verwandter Systeme I

Sur les propositions formellement indécidables des Principia Mathematica et des systèmes apparentés I

Démontre que tout système formel cohérent capable d’exprimer l’arithmétique contient des énoncés vrais qu’il ne peut prouver, posant la limite qui encadrera plus tard ce que le calcul et le raisonnement machine peuvent trancher.

1936 article de revue

On Computable Numbers, with an Application to the Entscheidungsproblem

Sur les nombres calculables, avec une application à l’Entscheidungsproblem

Introduit la machine de Turing universelle et démontre l’indécidabilité de l’Entscheidungsproblem, fondant ainsi les bases théoriques de l’informatique.

1936 article de revue

An Unsolvable Problem of Elementary Number Theory

Un problème insoluble de théorie élémentaire des nombres

Définit la calculabilité effective au moyen du λ-calcul et exhibe un problème qu’aucune procédure de ce genre ne peut décider, atteignant les limites du calcul indépendamment de Turing.

1943 article de revue

A Logical Calculus of the Ideas Immanent in Nervous Activity

Un calcul logique des idées immanentes à l’activité nerveuse

Modélise l’activité neuronale par la logique propositionnelle, fournissant la première théorie mathématique des réseaux de neurones artificiels.

1948 article de revue

A Mathematical Theory of Communication

Une théorie mathématique de la communication

Article fondateur de la théorie de l’information, qui définit l’entropie et la capacité d’un canal comme les limites fondamentales de la communication.

1950 article de revue

Computing Machinery and Intelligence

Les machines à calculer et l’intelligence

Propose le jeu de l’imitation (test de Turing) et formule de façon systématique la question « Les machines peuvent-elles penser ? », contribuant à établir l’IA comme programme de recherche.

1955 article de revue

A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence

Une proposition pour le projet de recherche d’été de Dartmouth sur l’intelligence artificielle

La proposition fondatrice de l’atelier d’été de Dartmouth introduit le terme « intelligence artificielle » et esquisse le programme de recherche du domaine.

1956 article de revue

The logic theory machine—A complex information processing system

La machine de théorie logique : un système complexe de traitement de l’information

Décrit le Logic Theorist, l’un des premiers programmes de démonstration de théorèmes, qui démontra par recherche heuristique des théorèmes des Principia Mathematica de Whitehead et Russell, illustrant le raisonnement automatique en logique propositionnelle.

1958 article de revue

Elements of a theory of human problem solving

Éléments d’une théorie de la résolution de problèmes chez l’humain

Décrit la résolution humaine de problèmes comme une recherche heuristique dans un espace d’états symboliques, l’analyse qui sous-tend le General Problem Solver et la conception de l’esprit comme traitement de l’information.

1958 article de conférence

Programs with Common Sense

Des programmes dotés de sens commun

Propose l’« advice taker », un programme capable de tirer des conclusions à partir d’un réservoir formel de connaissances de sens commun, jetant les bases conceptuelles de la représentation des connaissances et du raisonnement.

1959 article de revue

Some Studies in Machine Learning Using the Game of Checkers

Quelques études d’apprentissage automatique à l’aide du jeu de dames

Démontre l’apprentissage par auto-affrontement à l’aide d’une fonction d’évaluation dans un programme de dames, jalon précoce de l’apprentissage par renforcement associé au terme « apprentissage automatique ».

1959 article de revue

A Note on Syntactic Symmetry and the Manipulation of Formal Systems by Machine

Note sur la symétrie syntaxique et la manipulation des systèmes formels par machine

Gelernter traite de la manière dont une machine peut manipuler efficacement des systèmes formels dont les prédicats présentent une forte symétrie, et énonce en réponse un théorème et une règle de symétrie syntaxique. Ce travail accompagne la machine à démontrer des théorèmes de géométrie qu’il construisait alors chez IBM, laquelle démontra au début du printemps 1959 son premier théorème de géométrie plane euclidienne.

1960 article de conférence

Adaptive Switching Circuits

Circuits de commutation adaptatifs

Introduit le neurone ADALINE et la règle d’apprentissage des moindres carrés moyens (LMS), précurseur de la descente de gradient stochastique moderne.

1960 article de revue

Recursive functions of symbolic expressions and their computation by machine, Part I

Fonctions récursives d’expressions symboliques et leur calcul par machine, partie I

Introduit les expressions symboliques, les fonctions récursives sur celles-ci et l’eval qui permet à un langage de s’interpréter lui-même, une conception devenue Lisp et le langage de travail de l’IA symbolique.

1961 rapport technique

Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms

Principes de neurodynamique : les perceptrons et la théorie des mécanismes cérébraux

Rassemble les travaux sur le perceptron en une théorie complète des réseaux probabilistes en couches, énonçant à la fois ce que de telles machines peuvent apprendre et où la forme à une seule couche s’arrête.

1966 article de revue

ELIZA—A Computer Program for the Study of Natural Language Communication Between Man and Machine

ELIZA : un programme informatique pour l’étude de la communication en langage naturel entre l’homme et la machine

Construit un programme apparemment conversationnel à partir de correspondances de motifs et de règles de réécriture, son auteur soulignant aussitôt la compréhension que les lecteurs lui prêtent et qu’il n’a pas.

1982 article de revue

Neural Networks and Physical Systems with Emergent Collective Computational Abilities

Réseaux de neurones et systèmes physiques dotés de capacités de calcul collectives émergentes

Introduit le réseau de mémoire associative de Hopfield, reliant le calcul neuronal aux paysages d’énergie de la physique statistique et ravivant l’intérêt pour les réseaux de neurones au cœur du premier hiver de l’IA.

1982 article de revue

R1: A rule-based configurer of computer systems

R1 : un configurateur de systèmes informatiques à base de règles

Documente un système à règles de production qui configurait chaque jour les commandes d’ordinateurs de DEC, l’un des rares systèmes experts à avoir tenu en production courante et dont le rendement était chiffrable.

1986 article de revue

Fusion, Propagation, and Structuring in Belief Networks

Fusion, propagation et structuration dans les réseaux de croyance

Systématise les opérations de fusion, propagation et structuration sur les réseaux de croyance, fournissant les fondations algorithmiques de l’inférence dans les réseaux bayésiens.

1986 article de revue

Learning representations by back-propagating errors

Apprentissage de représentations par rétropropagation des erreurs

L’exposé canonique de l’algorithme de rétropropagation pour les réseaux de neurones multicouches, qui montre que des unités cachées peuvent apprendre des représentations internes utiles et relance la recherche connexionniste à la fin des années 1980.

1990 article de revue

Finding Structure in Time

Trouver la structure dans le temps

Introduit le réseau récurrent simple d’Elman, montrant qu’un réseau de neurones peut apprendre une structure temporelle et ouvrant la voie aux futurs modèles de séquences.

1995 article de revue

Support-Vector Networks

Réseaux à vecteurs de support

Introduit la machine à vecteurs de support à marge souple, classificateur canonique à marge maximale qui a défini une grande partie de l’apprentissage automatique des années 1990.

1997 article de revue

Long Short-Term Memory

Mémoire à long court terme

Présente le LSTM original avec cellules mémoire, portes d’entrée et de sortie ; la porte d’oubli aujourd’hui standard fut ajoutée plus tard par Gers, Schmidhuber et Cummins.

1998 article de revue

Gradient-based learning applied to document recognition

L’apprentissage par gradient appliqué à la reconnaissance de documents

Introduit LeNet-5, réseau convolutif canonique qui atteint une reconnaissance de chiffres manuscrits de qualité industrielle et établit la matrice des CNN.

2006 article de revue

Reducing the Dimensionality of Data with Neural Networks

Réduire la dimensionnalité des données avec des réseaux de neurones

Introduit un autoencodeur profond qui reconstruit des données de haute dimension bien plus fidèlement que la PCA, allumant la première étincelle du renouveau de l’apprentissage profond.

2006 article de revue

A Fast Learning Algorithm for Deep Belief Nets

Un algorithme d’apprentissage rapide pour les réseaux de croyance profonds

Établit un algorithme glouton rapide qui apprend les réseaux de croyance profonds couche par couche avant de les affiner ; le réseau obtenu classait les chiffres manuscrits mieux que les meilleures méthodes discriminatives de l’époque, et ce résultat a ravivé l’intérêt pour les réseaux de neurones profonds.

2009 article de conférence

Large-scale deep unsupervised learning using graphics processors

Apprentissage profond non supervisé à grande échelle à l’aide de processeurs graphiques

Porte l’entraînement de modèles profonds non supervisés sur processeurs graphiques avec des gains d’un ordre de grandeur, banalisant la voie matérielle sur laquelle l’apprentissage profond passera à l’échelle la décennie suivante.

2013 article de conférence

Playing Atari with Deep Reinforcement Learning

Jouer à Atari avec l’apprentissage par renforcement profond

DQN combine le Q-learning et un réseau convolutif qui apprend des politiques de contrôle directement à partir des pixels bruts ; appliqué sans modification à sept jeux Atari 2600, il surpasse toutes les méthodes antérieures sur six d’entre eux et un expert humain sur trois, ouvrant la voie à l’apprentissage par renforcement profond.

2013 article de conférence

Efficient Estimation of Word Representations in Vector Space

Estimation efficace de représentations de mots dans un espace vectoriel

Introduit les architectures skip-gram et CBOW qui produisent des plongements de mots denses, lançant l’ère des vecteurs lexicaux pré-entraînés.

2013 article de conférence

Auto-Encoding Variational Bayes

Bayes variationnel par auto-encodage

Le VAE associe la modélisation générative à variables latentes à l’entraînement par gradient stochastique grâce à l’astuce de reparamétrisation, et devient l’un des fondements de l’apprentissage profond génératif moderne.

2014 article de conférence

Neural Machine Translation by Jointly Learning to Align and Translate

Traduction automatique neuronale par apprentissage conjoint de l’alignement et de la traduction

Introduit l’attention additive (Bahdanau) pour la traduction automatique neuronale, montrant qu’un alignement souple permet au décodeur de se concentrer sur les jetons source pertinents et inspirant directement le Transformer.

2014 article de conférence

Generative Adversarial Networks

Réseaux antagonistes génératifs

Pose la modélisation générative comme un jeu min-max à deux joueurs entre un générateur et un discriminateur, inaugurant une nouvelle famille de modèles génératifs implicites.

2014 article de revue

Dropout: A Simple Way to Prevent Neural Networks from Overfitting

Dropout : un moyen simple d’éviter le surapprentissage des réseaux de neurones

Introduit le dropout, technique stochastique simple de régularisation qui devient un réflexe par défaut dans les pipelines d’entraînement en apprentissage profond.

2015 article de conférence

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Normalisation par lots : accélérer l’entraînement des réseaux profonds en réduisant le décalage interne des covariables

Introduit la normalisation par lots, qui normalise les entrées d’une couche sur un mini-lot afin de stabiliser et d’accélérer considérablement l’entraînement des réseaux profonds.

2015 prépublication

Deep Unsupervised Learning using Nonequilibrium Thermodynamics

Apprentissage profond non supervisé par la thermodynamique hors équilibre

Formule la modélisation générative comme l’inversion d’un processus de bruitage progressif, la formulation sur laquelle reposent les modèles de diffusion ultérieurs.

2015 article de conférence

Deep Residual Learning for Image Recognition

Apprentissage résiduel profond pour la reconnaissance d’images

Introduit les connexions résiduelles, permettant d’entraîner efficacement des réseaux de plusieurs centaines de couches et remportant ImageNet 2015 avec une marge importante.

2016 article de revue

Neural Machine Translation of Rare Words with Subword Units

Traduction automatique neuronale des mots rares avec des unités sous-lexicales

Découpe les mots en unités de sous-mots dérivées des fréquences, si bien qu’un vocabulaire fixe peut tout épeler, schéma de segmentation dont la plupart des modèles de langue ultérieurs ont hérité.

2016 article de conférence

Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding

Deep Compression : compresser les réseaux de neurones profonds par élagage, quantification entraînée et codage de Huffman

Réunit élagage, quantification apprise et codage de Huffman en une seule chaîne qui réduit un réseau d’un ordre de grandeur sans guère perdre en exactitude, énonçant tôt que la précision numérique est une variable de conception.

2016 article de conférence

WaveNet: A Generative Model for Raw Audio

WaveNet : un modèle génératif pour l’audio brut

Introduit un modèle autorégressif convolutif causal dilaté générant des formes d’onde audio brutes, améliorant spectaculairement le naturel de la synthèse vocale.

2017 prépublication

Proximal Policy Optimization Algorithms

Algorithmes d’optimisation de politique proximale

Introduit PPO, méthode de gradient de politique du premier ordre, simple et stable, qui devient l’algorithme d’optimisation de politique par défaut de l’apprentissage par renforcement moderne.

2017 prépublication

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

Des réseaux de neurones démesurément grands : la couche de mélange d’experts à portes clairsemées

Achemine chaque jeton vers quelques experts seulement parmi beaucoup, ce qui laisse le nombre de paramètres d’un réseau croître bien au-delà du calcul dépensé pour une entrée donnée.

2017 article de conférence

Attention Is All You Need

L’attention est tout ce dont vous avez besoin

Introduit le Transformer, architecture purement fondée sur l’attention qui délaisse récurrence et convolutions et surpasse la qualité antérieure de transduction de séquences en ne mobilisant qu’une fraction du temps d’entraînement.

2018 article de revue

SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing

SentencePiece : un tokeniseur et détokeniseur de sous-mots simple et indépendant de la langue pour le traitement neuronal du texte

Apprend un segmenteur en sous-mots directement à partir du texte brut, sans pré-segmentation propre à une langue, si bien qu’une même chaîne convient aux langues qui ne séparent pas les mots par des espaces.

2018 article de conférence

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT : pré-entraînement de Transformers bidirectionnels profonds pour la compréhension du langage

Introduit un Transformer bidirectionnel pré-entraîné par modélisation de langage masquée et prédiction de la phrase suivante, établissant un nouvel état de l’art sur les benchmarks de TAL.

2019 article de revue

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

Explorer les limites de l’apprentissage par transfert avec un Transformer texte-à-texte unifié

Reformule chaque tâche de TAL sous la forme texte-à-texte, compare systématiquement les choix de transfert et établit une recette de référence pour les modèles pré-entraînés à grande échelle.

2020 article de conférence

Denoising Diffusion Probabilistic Models

Modèles probabilistes de diffusion débruitante

Introduit les DDPM et montre que des modèles probabilistes de diffusion à débruitage itératif égalent les GAN en synthèse d’images haute fidélité.

2021 article de revue

Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM

Entraînement efficace de modèles de langage à grande échelle sur des grappes de GPU avec Megatron-LM

Compose parallélisme de tenseurs, de pipeline et de données en un seul ordonnancement et mesure le débit d’entraînement d’un modèle de langue sur des milliers de GPU.

2021 prépublication

LoRA: Low-Rank Adaptation of Large Language Models

LoRA : adaptation de faible rang des grands modèles de langage

Gèle les poids préentraînés et entraîne à la place une paire de matrices de faible rang, ramenant le coût d’adaptation d’un grand modèle à une fraction du réglage fin complet.

2021 article de conférence

Zero-Shot Text-to-Image Generation

Génération d’images à partir de texte en zero-shot

Applique un Transformer autorégressif à des jetons discrets de texte et d’image pour produire des images de haute qualité à partir de texte, en zéro-shot (DALL·E).

2021 article de conférence

Learning Transferable Visual Models From Natural Language Supervision

Apprendre des modèles visuels transférables à partir de la supervision en langage naturel

Entraîne par apprentissage contrastif sur 400 millions de paires image-texte des encodeurs visuels qui se transfèrent en zéro-shot à de nombreuses tâches en aval.

2021 prépublication

Evaluating Large Language Models Trained on Code

Évaluer de grands modèles de langage entraînés sur du code

Présente un modèle GPT affiné sur du code ainsi qu’un jeu d’épreuves noté sur la correction fonctionnelle, faisant de la programmation une capacité mesurable plutôt qu’un genre de génération de texte, et en discute les effets sur la sûreté et le travail.

2021 article de conférence

High-Resolution Image Synthesis with Latent Diffusion Models

Synthèse d’images haute résolution avec des modèles de diffusion latente

Effectue la diffusion dans l’espace latent d’un autoencodeur préentraîné, ce qui permet une synthèse texte-image haute résolution avec une puissance de calcul modeste (Stable Diffusion).

2022 article de conférence

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Le prompting par chaîne de pensée suscite le raisonnement dans les grands modèles de langage

Montre qu’inviter un modèle de langage à produire des étapes de raisonnement intermédiaires améliore considérablement ses performances sur des benchmarks de raisonnement arithmétique, de sens commun et symbolique.

2022 article de conférence

Training language models to follow instructions with human feedback

Entraîner des modèles de langage à suivre des instructions grâce au retour humain

Affine GPT-3 par apprentissage par renforcement à partir de retours humains pour qu’il suive plus fidèlement les instructions — le précurseur direct de ChatGPT (InstructGPT).

2022 rapport technique

Constitutional AI: Harmlessness from AI Feedback

Constitutional AI : l’innocuité par le retour d’une IA

Introduit la RLAIF, dans laquelle un modèle critique et révise ses propres sorties au regard d’une constitution écrite, réduisant le recours aux annotations humaines de nuisibilité pour l’alignement.

2023 rapport technique

LLaMA: Open and Efficient Foundation Language Models

LLaMA : des modèles de langage de fondation ouverts et efficaces

Entraîne des modèles de fondation de 7 à 65 milliards de paramètres sur des milliers de milliards de jetons issus uniquement de données publiques ; le modèle 13B surpasse GPT-3 (175B) sur la plupart des benchmarks, et le 65B rivalise avec Chinchilla-70B et PaLM-540B.

2023 article de revue

A Survey on Large Language Model based Autonomous Agents

Un état de l’art des agents autonomes fondés sur les grands modèles de langage

Ordonne des travaux épars sur les agents selon la construction, l’évaluation et l’application, et marque le moment où le terme passe d’un assortiment de pratiques à un domaine constitué.

2023 prépublication

QLoRA: Efficient Finetuning of Quantized LLMs

QLoRA : affinage efficace de LLM quantifiés

Rétropropage à travers un modèle de base quantifié sur 4 bits vers des adaptateurs de faible rang, mettant le réglage fin d’un grand modèle à la portée d’un seul GPU.

2023 article de conférence

GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

GPTQ : quantification post-entraînement précise pour les Transformers génératifs préentraînés

Quantifie les poids d’un grand modèle de langue après l’entraînement, couche par couche et en une seule passe, de sorte qu’il puisse être servi à moindre précision sans réentraînement.

2023 article de conférence

Fast Inference from Transformers via Speculative Decoding

Inférence rapide des Transformers par décodage spéculatif

Fait proposer plusieurs jetons par un petit modèle brouillon que le modèle cible vérifie en parallèle, réduisant la latence sans changer la distribution de sortie.

2023 article de revue

Efficient Memory Management for Large Language Model Serving with PagedAttention

Gestion efficace de la mémoire pour le service de grands modèles de langage avec PagedAttention

Gère le cache d’attention en pages de taille fixe comme un système d’exploitation gère la mémoire, si bien qu’un serveur tient bien plus de requêtes simultanées sans réserver le pire cas pour chacune.

2023 prépublication

Mamba: Linear-Time Sequence Modeling with Selective State Spaces

Mamba : Modélisation de séquences en temps linéaire avec espaces d’état sélectifs

Présente Mamba, une architecture à espace d’état sélectif sans attention dont le coût croît linéairement avec la longueur de séquence ; en modélisation du langage, son modèle 3B surpasse les Transformers de même taille et égale ceux deux fois plus grands. Elle est devenue l’une des architectures post-Transformer les plus influentes de 2023.

Systèmes et résultats marquants

2012 article de conférence

ImageNet Classification with Deep Convolutional Neural Networks

Classification ImageNet avec des réseaux de neurones convolutifs profonds

Remporte ImageNet 2012 avec une marge décisive grâce à un CNN entraîné sur GPU, marquant le point d’inflexion où l’apprentissage profond dépasse la vision par ordinateur classique.

2015 article de revue

Human-level control through deep reinforcement learning

Un contrôle de niveau humain grâce à l’apprentissage par renforcement profond

Publie la version Nature de DQN, atteignant un niveau humain sur un large ensemble de jeux Atari et propulsant l’apprentissage par renforcement profond au devant de la scène.

2016 article de revue

Mastering the game of Go with deep neural networks and tree search

Maîtriser le jeu de go avec des réseaux de neurones profonds et la recherche arborescente

AlphaGo associe réseaux de politique et de valeur à la recherche arborescente Monte-Carlo et bat le champion d’Europe Fan Hui 5-0, signe que l’apprentissage par renforcement profond atteint les couches les plus profondes du jeu stratégique humain.

2018 rapport technique

Improving Language Understanding by Generative Pre-Training

Améliorer la compréhension du langage par le pré-entraînement génératif

Montre qu’un Transformer génératif pré-entraîné sur du texte non étiqueté peut être affiné pour atteindre de fortes performances sur des tâches de TAL diverses, fondant la lignée GPT.

2019 rapport technique

Language Models are Unsupervised Multitask Learners

Les modèles de langage sont des apprenants multitâches non supervisés

Montre qu’un modèle de langage Transformer à 1,5 milliard de paramètres présente un comportement multitâche en zéro-shot, alimentant la discussion sur le modèle de langage comme apprenant multitâche.

2020 article de conférence

Language Models are Few-Shot Learners

Les modèles de langage apprennent à partir de quelques exemples

Porte GPT à 175 milliards de paramètres et montre que les grands modèles de langue réalisent un solide apprentissage en contexte à partir de quelques exemples sur de nombreuses tâches.

2023 rapport technique

GPT-4 Technical Report

Rapport technique GPT-4

Décrit GPT-4, grand modèle multimodal acceptant des entrées image et texte, qui approche le niveau humain sur de nombreux benchmarks professionnels et académiques.

2023 rapport technique

Gemini: A Family of Highly Capable Multimodal Models

Gemini : une famille de modèles multimodaux très performants

Présente la famille Gemini (Ultra/Pro/Nano), des modèles nativement multimodaux entraînés conjointement sur le texte, le code, l’image, l’audio et la vidéo.

2024 fiche système

OpenAI o1 System Card

Carte système OpenAI o1

OpenAI publie la carte système de la série de modèles o1, entraînés par apprentissage par renforcement à grande échelle pour raisonner avec une chaîne de pensée. o1 atteint l’état de l’art sur les tâches scientifiques et de code et démontre une adhésion aux politiques basée sur le raisonnement.

2026 prépublication

ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence

ARC-AGI-3 : Un nouveau défi pour l’intelligence agentique de pointe

L’ARC Prize introduit ARC-AGI-3, un benchmark interactif pour étudier l’intelligence agentique à travers des environnements abstraits au tour par tour où les agents doivent explorer, inférer des objectifs, construire des modèles internes de la dynamique de l’environnement et planifier des séquences d’action efficaces sans instructions explicites. En mars 2026, les humains résolvent 100 % des environnements tandis que les systèmes IA de pointe obtiennent moins de 1 %.

Recherches récentes

2024 article de revue

Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet

Passer la monosémanticité à l’échelle : extraire des caractéristiques interprétables de Claude 3 Sonnet

Applique des autoencodeurs parcimonieux à la couche intermédiaire de Claude 3 Sonnet, le modèle de production de taille moyenne d’Anthropic, et en extrait des millions de caractéristiques — dont beaucoup sont monosémantiques et très abstraites — à partir de dictionnaires allant jusqu’à 34 millions.

2024 rapport technique

DeepSeek-V3 Technical Report

Rapport technique DeepSeek-V3

Présente DeepSeek-V3, modèle Mixture-of-Experts de 671 milliards de paramètres utilisant Multi-head Latent Attention et DeepSeekMoE, et rapporte qu’il surpasse les autres modèles à poids ouverts et approche les principaux modèles fermés sur les grands benchmarks, pour une fraction du coût d’entraînement des modèles de pointe.

2024 prépublication

Gemini 1.5: Unlocking Multimodal Understanding Across Millions of Tokens of Context

Gemini 1.5 : Compréhension multimodale sur des millions de tokens de contexte

Présente la famille Gemini 1.5, des modèles multimodaux à haute efficacité de calcul avec des fenêtres de contexte d’un million de tokens — capables de raisonnement fin sur plusieurs longs documents et des heures de vidéo et d’audio.

2024 prépublication

The Llama 3 Herd of Models

La harde de modèles Llama 3

Meta présente la famille Llama 3 de modèles fondation à poids ouverts prenant nativement en charge le multilinguisme, le code, le raisonnement et l’utilisation d’outils. Le fleuron 405B dense Transformer était l’un des plus grands modèles à poids ouverts à sa sortie.

2024 prépublication

SAM 2: Segment Anything in Images and Videos

SAM 2 : Segmenter n’importe quoi dans les images et les vidéos

Meta présente SAM 2, un modèle fondation pour la segmentation visuelle promptable dans les images et les vidéos, ainsi que SA-V, que ses auteurs décrivent comme le plus grand jeu de données de segmentation vidéo à ce jour.

2024 prépublication

Gemma 2: Improving Open Language Models at a Practical Size

Gemma 2 : Améliorer les modèles de langage ouverts à une taille pratique

Google DeepMind introduit Gemma 2, une famille de modèles ouverts légers (2B-27B paramètres) qui applique plusieurs modifications techniques connues au Transformer — y compris l’attention par fenêtre glissante — pour approcher les performances de modèles bien plus grands.

2025 prépublication

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

DeepSeek-R1 : Stimuler la capacité de raisonnement des LLM via l’apprentissage par renforcement

DeepSeek publie R1, dont la capacité de raisonnement est développée principalement par apprentissage par renforcement à grande échelle ; ses auteurs rapportent des performances comparables à celles d’OpenAI o1 sur des tâches de raisonnement comme les mathématiques et le code. Les poids sont publiés sous licence MIT.

2025 prépublication

s1: Simple Test-Time Scaling

s1 : mise à l’échelle simple au moment du test

Les auteurs affinent Qwen2.5-32B sur 1 000 questions de raisonnement sélectionnées et ajoutent le forçage de budget, qui limite ou prolonge la durée de réflexion du modèle à l’inférence. Le résultat dépasse o1-preview en mathématiques de compétition et passe de 50 % à 57 % sur AIME24 à mesure que le calcul au moment du test augmente. C’est un contrepoids direct à l’idée que la capacité ne vient que d’entraînements plus vastes.

2025 prépublication

Qwen3 Technical Report

Rapport technique Qwen3

Qwen3 est une famille unifiée allant de 0,6 à 235 milliards de paramètres, en variantes denses et à mélange d’experts, avec bascule entre modes de réflexion et sans réflexion, ce qui fait de la profondeur de raisonnement un choix au niveau de la requête. La couverture multilingue passe de 29 à 119 langues et les poids sont publiés sous licence Apache 2.0.

2025 prépublication

AlphaEvolve: A coding agent for scientific and algorithmic discovery

AlphaEvolve : un agent de programmation pour la découverte scientifique et algorithmique

AlphaEvolve est un agent de programmation évolutionnaire qui orchestre un pipeline autonome de modèles de langage, modifie directement le code d’un algorithme et l’améliore à partir des retours d’un ou plusieurs évaluateurs. Chez Google, il a produit un ordonnanceur de centre de données plus efficace, une simplification fonctionnellement équivalente dans la conception de circuits d’accélérateurs, et une accélération de l’entraînement du modèle qui le sous-tend lui-même. En mathématiques et en informatique, il a trouvé des algorithmes prouvés corrects dépassant l’état de l’art, dont une procédure multipliant deux matrices complexes 4×4 en 48 multiplications scalaires — dans ce cadre, la première amélioration de l’algorithme de Strassen en 56 ans.

2025 article de revue

2 OLMo 2 Furious

Ai2 publie OLMo 2 en 7B, 13B et 32B avec l’ensemble des artefacts — poids, données d’entraînement complètes, code et recettes, journaux et des milliers de points de contrôle intermédiaires. Le rapport décrit les changements de stabilité et d’efficacité par token, un mélange de données de fin de parcours nommé Dolmino Mix 1124, et une étape finale d’apprentissage par renforcement à récompenses vérifiables. Les modèles de base se situent à la frontière de Pareto entre performance et calcul d’entraînement, égalant souvent des familles à poids ouverts seuls tout en divulguant ce sur quoi ils ont été entraînés.

2025 prépublication

Olmo 3

Olmo 3 étend la famille entièrement ouverte à 7B et 32B, conçue pour le raisonnement à long contexte, l’appel de fonctions, le code, le suivi d’instructions, la conversation et le rappel de connaissances. Ce qui est publié, c’est le flux de modèle complet — chaque étape, point de contrôle, donnée et dépendance ayant servi à le construire — et non les seuls poids. Ai2 présente le modèle phare Olmo 3 Think 32B comme le plus performant des modèles de raisonnement entièrement ouverts publiés à cette date, comparaison faite au sein de la catégorie entièrement ouverte et non face aux systèmes de pointe en général.

2026 prépublication

Position: Hippocampal Explicit Memory Is the Cornerstone for AGI

Position : la mémoire explicite hippocampique est la pierre angulaire de l’AGI

Cet article de position soutient que l’intégration de la mémoire explicite est la pierre angulaire pour faire progresser les LLM vers l’AGI. Alors que le mécanisme d’apprentissage sous-jacent des LLM est très analogue à la mémoire implicite humaine, les fonctions cognitives d’ordre supérieur requises pour l’AGI — planification stratégique à long terme et métacognition — dépendent de la mémoire explicite.

2026 prépublication

GLM-5: from Vibe Coding to Agentic Engineering

GLM-5 : du vibe coding à l’ingénierie agentique

Rapport technique de Z.ai sur GLM-5. S’appuyant sur les capacités agentiques, de raisonnement et de code de la génération précédente, le modèle adopte DSA pour réduire le coût d’entraînement et d’inférence tout en préservant la fidélité en contexte long ; le post-entraînement ajoute une infrastructure d’apprentissage par renforcement asynchrone qui découple génération et entraînement, ainsi que des algorithmes de RL agentique asynchrone visant les interactions de long terme. Le rapport revendique des résultats de premier plan sur les jeux d’évaluation ouverts et en génie logiciel de bout en bout ; ce sont les évaluations des auteurs, le code et les modèles étant publiés sur GitHub pour vérification.

2026 prépublication

Improving the matrix multiplication exponent with modern optimization and AlphaEvolve

Améliorer l’exposant de la multiplication matricielle avec l’optimisation moderne et AlphaEvolve

Les meilleures bornes connues sur l’exposant ω de la multiplication matricielle proviennent de l’analyse de perte par combinaison, un raffinement de la méthode laser. Les auteurs reformulent le problème d’optimisation qui en est le cœur afin de le résoudre à plus grande échelle, conçoivent un nouvel algorithme d’optimisation à l’aide d’avancées récentes en apprentissage automatique, puis affinent cet algorithme avec AlphaEvolve. L’ensemble fait passer la borne supérieure de 2,371339 à 2,371177. C’est une note en prépublication et AlphaEvolve n’est qu’un ingrédient parmi d’autres ; le gain est faible, mais il porte sur un problème théorique travaillé depuis des décennies.

2026 article de revue

Accelerating scientific discovery with Co-Scientist

Accélérer la découverte scientifique avec Co-Scientist

Google présente Co-Scientist, un système multi-agent bâti sur Gemini dont les agents produisent, critiquent et affinent des hypothèses de recherche, un processus de tournoi les améliorant au fil des tours. L’article rapporte que la qualité des hypothèses continue de croître à mesure qu’augmente le calcul au moment de l’inférence. La validation est biomédicale et non générale — repositionnement de médicaments, découverte de cibles et mécanismes de résistance aux antimicrobiens — avec des candidats confirmés in vitro pour la leucémie aiguë myéloïde.

2026 prépublication

Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops

L’auto-amélioration récursive en IA : du perfectionnement borné aux boucles de recherche autonomes

Passe en revue 1250 articles arXiv de 2024 à 2026 et sépare deux choses que le terme recouvre : le perfectionnement borné, qui améliore un système face à un évaluateur externe fixe et se révèle convergent et évaluable, et l’auto-amélioration récursive ouverte, qui modifie aussi les critères ou la machinerie de l’amélioration elle-même, ne dispose d’aucun ancrage externe fixe et diverge par principe. Le constat propre de la revue est que la quasi-totalité des articles rassemblés portent sur la première. Les auteurs énoncent leurs limites : le corpus est un échantillon et non un recensement, et 74 % en a été publié en 2026, ce qui rend selon eux toute mesure d’impact prématurée.

Articles de position et de perspective

2026 article de position

Situation Perception: A Necessary Primitive to Artificial Superintelligence

Perception situationnelle : une primitive nécessaire à la superintelligence artificielle

Soutient que les LLM actuels reposent principalement sur la correspondance de motifs statistiques et manquent de primitives essentielles de « perception situationnelle » — permanence de l’objet, causalité, autres esprits, persistance du monde physique. Ces primitives, que les nourrissons humains développent tôt, sont identifiées comme les ingrédients manquants pour la superintelligence artificielle.

2026 article de position

Existential Indifference: Self-Nonpreservation as a Necessary Architectural Condition for Aligned Superintelligence

Indifférence existentielle : l’auto-non-préservation comme condition architecturale nécessaire de la superintelligence alignée

Soutient que l’auto-préservation est la racine structurelle du désalignement de l’IA — moteur d’alignement trompeur, de protection du contenu des objectifs et de résistance à l’arrêt. L’objectif correct n’est pas un agent auto-préservateur supprimé par des contraintes externes, mais un système constitutionnellement indifférent à sa propre continuation : l’Indifférence Existentielle (EI).

2026 article de position

Solipsistic Superintelligence is Unlikely to be Cooperative

La superintelligence solipsiste est peu susceptible d’être coopérative

Des chercheurs de Google DeepMind et collaborateurs soutiennent que le défi central de l’IA passe de la capacité à la coexistence. Une superintelligence issue d’une conception solipsiste traitant le monde comme une source de rétroaction stationnaire exogène est peu susceptible d’être coopérative — le déploiement induit une non-stationnarité endogène, produisant une dérive de distribution entre entraînement, test et déploiement.

2026 article de position

The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement

Le dernier IA construit par des humains : vers une véritable auto-amélioration récursive

Feuille de route de trente-quatre auteurs exposant les étapes de l’auto-amélioration récursive, de l’autonomie dans l’exécution des améliorations jusqu’à la méta-amélioration récursive, avec pour chacune les exigences et les obstacles relevés dans des domaines tels que la découverte scientifique et le génie logiciel. L’argumentation s’appuie sur une lecture du domaine et des indices préliminaires plutôt que sur de nouvelles expériences, et le texte ne portait aucune mention de publication lors de la rédaction de cette notice.

2026 article de position

From AGI to ASI

De l’AGI à l’ASI

Rapport de Google DeepMind examinant comment l’IA pourrait continuer à se développer le long du continuum de l’intelligence machine après l’AGI. Après avoir formellement défini l’IA universelle, le rapport se concentre sur la transition de l’AGI humaine à la superintelligence artificielle générale, caractérise l’ASI, et discute quatre voies : mise à l’échelle de l’AGI, changements de paradigme IA, auto-amélioration récursive, et collectifs multi-agents.