Русский
На главную
Эра:
Десятилетие:
Тема:

Показано 96 из 96 работ

Основополагающие работы

1931 журнальная статья

Über formal unentscheidbare Sätze der Principia Mathematica und verwandter Systeme I

О формально неразрешимых предложениях Principia Mathematica и родственных систем I

Доказывает, что всякая непротиворечивая формальная система, способная выразить арифметику, содержит истинные утверждения, которые она не может доказать, и задаёт предел, в котором позже обсуждается, что способны решать вычисление и машинный вывод.

1936 журнальная статья

On Computable Numbers, with an Application to the Entscheidungsproblem

О вычислимых числах с приложением к проблеме разрешения

В работе вводится универсальная машина Тьюринга и доказывается неразрешимость проблемы разрешения, что закладывает теоретические основы информатики.

1936 журнальная статья

An Unsolvable Problem of Elementary Number Theory

Неразрешимая задача элементарной теории чисел

Определяет эффективную вычислимость через λ-исчисление и предъявляет задачу, которую не может решить ни одна такая процедура, достигая пределов вычисления независимо от Тьюринга.

1943 журнальная статья

A Logical Calculus of the Ideas Immanent in Nervous Activity

Логическое исчисление идей, имманентных нервной активности

Нервная активность моделируется средствами пропозициональной логики, что даёт первую математическую теорию искусственных нейронных сетей.

1948 журнальная статья

A Mathematical Theory of Communication

Математическая теория связи

Основополагающая работа теории информации, определяющая энтропию и пропускную способность канала как фундаментальные пределы связи.

1950 журнальная статья

Computing Machinery and Intelligence

Вычислительные машины и разум

Предлагает игру в имитацию (тест Тьюринга) и систематически ставит вопрос «Могут ли машины мыслить?», помогая утвердить ИИ как исследовательскую программу.

1955 журнальная статья

A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence

Предложение о Дартмутском летнем исследовательском проекте по искусственному интеллекту

Основополагающая заявка на летний семинар в Дартмуте ввела термин «искусственный интеллект» и наметила исследовательскую программу области.

1956 журнальная статья

The logic theory machine—A complex information processing system

Логико-теоретическая машина: сложная система обработки информации

Описывает Logic Theorist — одну из ранних программ доказательства теорем, которая с помощью эвристического поиска доказала теоремы из Principia Mathematica Уайтхеда и Рассела, продемонстрировав автоматическое рассуждение в логике высказываний.

1958 журнальная статья

Elements of a theory of human problem solving

Элементы теории решения задач человеком

Описывает решение задач человеком как эвристический поиск в пространстве символьных состояний — разбор, на котором держатся General Problem Solver и информационный взгляд на мышление.

1958 журнальная статья

The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain

Перцептрон: вероятностная модель хранения и организации информации в мозге

Введён первый обучаемый линейно-пороговый нейрон, положивший начало коннекционистской линии, ведущей к современному глубокому обучению.

1958 материалы конференции

Programs with Common Sense

Программы с обыденным здравым смыслом

Предложен концепт «советчика» (advice taker) — программы, способной делать выводы на основе формализованного запаса знаний здравого смысла, что закладывает концептуальную основу представления знаний и рассуждений.

1959 журнальная статья

Some Studies in Machine Learning Using the Game of Checkers

Некоторые исследования машинного обучения на примере игры в шашки

Демонстрирует обучение игрой с самим собой на основе оценочной функции в программе для шашек — ранняя веха обучения с подкреплением, с которой связан термин «машинное обучение».

1959 журнальная статья

A Note on Syntactic Symmetry and the Manipulation of Formal Systems by Machine

Заметка о синтаксической симметрии и машинной работе с формальными системами

Гелернтер рассматривает, как машина может эффективно работать с формальными системами, предикаты которых обладают высокой симметрией, и в качестве решения формулирует теорему и правило синтаксической симметрии. Работа идёт рядом с геометрической доказательной машиной, которую он тогда строил в IBM и которая ранней весной 1959 года доказала свою первую теорему евклидовой планиметрии.

1960 материалы конференции

Adaptive Switching Circuits

Адаптивные переключательные схемы

Вводит нейрон ADALINE и правило обучения по методу наименьших средних квадратов (LMS) — предшественник современного стохастического градиентного спуска.

1960 журнальная статья

Recursive functions of symbolic expressions and their computation by machine, Part I

Рекурсивные функции символьных выражений и их вычисление на машине, часть I

Вводит символьные выражения, рекурсивные функции над ними и тот самый eval, который позволяет языку истолковывать себя, — замысел, ставший Lisp и рабочим языком символьного искусственного интеллекта.

1961 технический отчёт

Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms

Принципы нейродинамики: перцептроны и теория механизмов мозга

Сводит работы о перцептроне в целостную теорию слоистых вероятностных сетей, указывая и на то, чему такие машины способны научиться, и на то, где заканчивается однослойная форма.

1966 журнальная статья

ELIZA—A Computer Program for the Study of Natural Language Communication Between Man and Machine

ELIZA — компьютерная программа для изучения общения человека и машины на естественном языке

Строит из сопоставления образцов и правил переписывания программу, которая кажется собеседником, и автор тут же указывает, сколько понимания читатели ей приписывают, хотя его нет.

1982 журнальная статья

Neural Networks and Physical Systems with Emergent Collective Computational Abilities

Нейронные сети и физические системы с эмерджентными коллективными вычислительными способностями

Введена ассоциативно-памятная сеть Хопфилда, связывающая нейровычисления с энергетическими ландшафтами статистической физики и возродившая интерес к нейронным сетям в период ранней «зимы ИИ».

1982 журнальная статья

R1: A rule-based configurer of computer systems

R1: система конфигурирования вычислительных комплексов на правилах

Описывает продукционную систему, ежедневно конфигурировавшую заказы вычислительных машин DEC, — одну из немногих экспертных систем, выдержавших повседневную эксплуатацию и поддающихся экономическому счёту.

1986 журнальная статья

Fusion, Propagation, and Structuring in Belief Networks

Слияние, распространение и структурирование в сетях доверия

Систематизированы операции слияния, распространения и структурирования в сетях доверия, что заложило алгоритмические основы вывода в байесовских сетях.

1986 журнальная статья

Learning representations by back-propagating errors

Обучение представлениям путём обратного распространения ошибок

Каноническое изложение алгоритма обратного распространения ошибки для многослойных нейронных сетей: показано, что скрытые нейроны способны усваивать полезные внутренние представления, и это возродило коннекционистские исследования в конце 1980-х годов.

1988 журнальная статья

Learning to Predict by the Methods of Temporal Differences

Обучение предсказанию методами временных разностей

Систематизирован метод обучения с временными разностями (TD), ставший одним из ключевых алгоритмов современного обучения с подкреплением.

1990 журнальная статья

Finding Structure in Time

Обнаружение структуры во времени

Введена простая рекуррентная сеть Элмана, показывающая, что нейронные сети способны выявлять временную структуру данных и прокладывающая путь к последующим последовательным моделям.

1995 журнальная статья

Support-Vector Networks

Метод опорных векторов

Введён метод опорных векторов с мягким зазором — канонический максимизирующий зазор классификатор, определивший облик машинного обучения 1990-х годов.

1997 журнальная статья

Long Short-Term Memory

Долгая краткосрочная память

Представлена исходная LSTM с ячейками памяти и входными и выходными вентилями; ставший стандартным вентиль забывания позднее добавили Gers, Schmidhuber и Cummins.

1998 журнальная статья

Gradient-based learning applied to document recognition

Обучение на основе градиента в применении к распознаванию документов

Введена LeNet-5 — каноническая свёрточная нейронная сеть, достигающая промышленного качества распознавания рукописных цифр и устанавливающая шаблон CNN.

2006 журнальная статья

Reducing the Dimensionality of Data with Neural Networks

Снижение размерности данных с помощью нейронных сетей

Введён глубокий автокодировщик, восстанавливающий высокоразмерные данные значительно точнее, чем метод главных компонент, что зажгло первую искру возрождения глубокого обучения.

2006 журнальная статья

A Fast Learning Algorithm for Deep Belief Nets

Быстрый алгоритм обучения глубоких сетей доверия

Выводит быстрый жадный алгоритм, который обучает глубокие сети доверия слой за слоем, а затем дообучает их; полученная сеть классифицировала рукописные цифры лучше лучших дискриминативных методов того времени, и этот результат возродил интерес к глубоким нейронным сетям.

2009 материалы конференции

Large-scale deep unsupervised learning using graphics processors

Крупномасштабное глубокое обучение без учителя на графических процессорах

Переносит обучение глубоких моделей без учителя на графические процессоры с ускорением на порядок и делает обычным тот аппаратный путь, по которому глубокое обучение росло следующее десятилетие.

2013 материалы конференции

Playing Atari with Deep Reinforcement Learning

Игра в Atari с помощью глубокого обучения с подкреплением

DQN объединяет Q-обучение со свёрточной сетью, которая учится стратегиям управления непосредственно по сырым пикселям; без каких-либо изменений применённая к семи играм Atari 2600, она превзошла все прежние подходы в шести из них и эксперта-человека в трёх, открыв путь глубокому обучению с подкреплением.

2013 материалы конференции

Efficient Estimation of Word Representations in Vector Space

Эффективное оценивание представлений слов в векторном пространстве

Введены архитектуры skip-gram и CBOW, порождающие плотные векторные представления слов, что открыло эпоху предобученных векторных вложений.

2013 материалы конференции

Auto-Encoding Variational Bayes

Вариационный автокодировщик (вариационный Байес для автокодирования)

VAE соединяет генеративное моделирование со скрытыми переменными и обучение стохастическим градиентом с помощью приёма репараметризации и становится одной из основ современного генеративного глубокого обучения.

2014 материалы конференции

Neural Machine Translation by Jointly Learning to Align and Translate

Нейронный машинный перевод путём совместного обучения выравниванию и переводу

Введено аддитивное внимание (Bahdanau attention) для нейронного машинного перевода, демонстрирующее, что мягкое выравнивание позволяет декодеру фокусироваться на релевантных токенах источника и непосредственно вдохновившее архитектуру Transformer.

2014 материалы конференции

Generative Adversarial Networks

Генеративно-состязательные сети

Генеративное моделирование представлено как антагонистическая игра двух игроков — генератора и дискриминатора, что открыло новое семейство имплицитных генеративных моделей.

2014 журнальная статья

Dropout: A Simple Way to Prevent Neural Networks from Overfitting

Dropout: простой способ предотвратить переобучение нейронных сетей

Введён dropout — простой стохастический метод регуляризации, ставший стандартным элементом конвейеров обучения глубоких сетей.

2015 материалы конференции

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Пакетная нормализация: ускорение обучения глубоких сетей путём снижения внутреннего ковариационного сдвига

Введена пакетная нормализация, выравнивающая входы слоя по мини-батчу и стабилизирующая и значительно ускоряющая обучение глубоких сетей.

2015 препринт

Deep Unsupervised Learning using Nonequilibrium Thermodynamics

Глубокое обучение без учителя средствами неравновесной термодинамики

Формулирует порождающее моделирование как обращение постепенного зашумления — та самая формулировка, на которой стоят позднейшие диффузионные модели.

2015 материалы конференции

Deep Residual Learning for Image Recognition

Глубокое остаточное обучение для распознавания изображений

Введены остаточные связи, позволяющие эффективно обучать сети глубиной в сотни слоёв и обеспечившие крупную победу ResNet на конкурсе ImageNet 2015.

2016 журнальная статья

Neural Machine Translation of Rare Words with Subword Units

Нейронный машинный перевод редких слов с помощью подсловных единиц

Делит слова на подсловные единицы, выведенные из частот, так что фиксированный словарь способен записать что угодно, — схема сегментации, унаследованная большинством последующих языковых моделей.

2016 материалы конференции

Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding

Глубокое сжатие: сжатие глубоких нейронных сетей отсечением, обучаемым квантованием и кодированием Хаффмана

Объединяет отсечение, обучаемое квантование и код Хаффмана в один конвейер, который уменьшает сеть на порядок почти без потери точности, рано заявляя, что числовая точность — переменная проектирования.

2016 материалы конференции

WaveNet: A Generative Model for Raw Audio

WaveNet: генеративная модель для сырого аудио

Введена авторегрессионная модель на основе расширенных причинных свёрток, генерирующая сырые формы звукового сигнала, что значительно повысило естественность синтеза речи.

2017 препринт

Proximal Policy Optimization Algorithms

Алгоритмы оптимизации проксимальной политики

Введён алгоритм PPO — простой и устойчивый метод градиента политики первого порядка, ставший стандартным алгоритмом оптимизации политики в современном обучении с подкреплением.

2017 препринт

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

Невероятно большие нейронные сети: слой разреженно-вентильной смеси экспертов

Направляет каждый токен лишь к нескольким экспертам из многих, позволяя числу параметров сети расти далеко за пределы вычислений, затрачиваемых на один вход.

2017 материалы конференции

Attention Is All You Need

Внимание — это всё, что вам нужно

Введена архитектура Transformer, целиком построенная на механизме внимания, отказавшаяся от рекуррентности и свёрток и превзошедшая прежние модели по качеству при значительно меньших затратах на обучение.

2018 журнальная статья

SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing

SentencePiece: простой и языконезависимый подсловный токенизатор и детокенизатор для нейронной обработки текста

Обучает подсловный токенизатор прямо на сыром тексте без языкозависимой предсегментации, так что один и тот же конвейер годится для языков, не разделяющих слова пробелами.

2018 материалы конференции

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT: предобучение глубоких двунаправленных Transformer для понимания языка

Предложен двунаправленный Transformer, предобученный на задачах маскированного языкового моделирования и предсказания следующего предложения, установивший новый уровень качества на широком спектре NLP-бенчмарков.

2019 журнальная статья

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

Исследование пределов трансферного обучения с помощью унифицированного текст-в-текст Transformer

Все задачи NLP сведены к формату «текст-в-текст», что позволяет систематически исследовать выбор архитектуры и стратегий обучения и формирует эталонный рецепт для крупномасштабного предобучения.

2020 материалы конференции

Denoising Diffusion Probabilistic Models

Вероятностные модели шумоподавления с диффузией (DDPM)

Представляет DDPM и показывает, что диффузионные вероятностные модели с итеративным шумоподавлением не уступают GAN в синтезе изображений высокой точности.

2021 журнальная статья

Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM

Эффективное обучение больших языковых моделей на кластерах GPU с помощью Megatron-LM

Соединяет тензорный, конвейерный и данный параллелизм в одно расписание и измеряет пропускную способность обучения языковой модели на тысячах GPU.

2021 препринт

LoRA: Low-Rank Adaptation of Large Language Models

LoRA: низкоранговая адаптация больших языковых моделей

Замораживает предобученные веса и обучает вместо них пару низкоранговых матриц, снижая стоимость адаптации большой модели до малой доли полного дообучения.

2021 материалы конференции

Zero-Shot Text-to-Image Generation

Генерация изображений по тексту в режиме zero-shot

Применяет авторегрессионный Transformer к дискретным текстовым и графическим токенам и получает высококачественную генерацию изображений по тексту в режиме zero-shot (DALL·E).

2021 материалы конференции

Learning Transferable Visual Models From Natural Language Supervision

Обучение переносимых визуальных моделей на основе языкового наблюдения (CLIP)

Обучает контрастивную модель на 400 млн пар изображений и текстов и получает визуальные кодировщики, которые переносятся в режиме zero-shot на множество последующих задач.

2021 препринт

Evaluating Large Language Models Trained on Code

Оценка больших языковых моделей, обученных на коде

Представляет модель GPT, дообученную на коде, вместе с набором задач, оцениваемых по функциональной правильности, превращая программирование из жанра порождения текста в измеримую способность и обсуждая последствия для безопасности и труда.

2021 материалы конференции

High-Resolution Image Synthesis with Latent Diffusion Models

Синтез изображений высокого разрешения с помощью моделей латентной диффузии

Выполняет диффузию в латентном пространстве предобученного автокодировщика, что позволяет синтезировать изображения высокого разрешения по тексту при умеренных вычислительных затратах (Stable Diffusion).

2022 материалы конференции

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Промптинг цепочки рассуждений вызывает способность к рассуждению в больших языковых моделях

Показано, что побуждение языковой модели генерировать промежуточные шаги рассуждения резко повышает качество на бенчмарках арифметического, здравого и символического рассуждений.

2022 материалы конференции

Training language models to follow instructions with human feedback

Обучение языковых моделей следовать инструкциям с помощью обратной связи от человека (InstructGPT)

Дообучает GPT-3 с помощью обучения с подкреплением на основе отзывов людей, чтобы модель точнее следовала инструкциям, — непосредственный предшественник ChatGPT (InstructGPT).

2022 технический отчёт

Constitutional AI: Harmlessness from AI Feedback

Конституционный ИИ: безвредность через обратную связь от ИИ

Предложен метод RLAIF, в котором модель критикует и пересматривает собственные ответы в соответствии с «конституцией», что снижает зависимость от человеческой разметки в задачах выравнивания.

2023 технический отчёт

LLaMA: Open and Efficient Foundation Language Models

LLaMA: открытые и эффективные базовые языковые модели

Обучает базовые модели размером от 7 до 65 млрд параметров на триллионах токенов исключительно из общедоступных данных; модель на 13B превосходит GPT-3 (175B) на большинстве бенчмарков, а модель на 65B конкурирует с Chinchilla-70B и PaLM-540B.

2023 журнальная статья

A Survey on Large Language Model based Autonomous Agents

Обзор автономных агентов на основе больших языковых моделей

Упорядочивает разрозненные работы об агентах по построению, оценке и применению и отмечает момент, когда термин из набора практик становится областью исследований.

2023 препринт

QLoRA: Efficient Finetuning of Quantized LLMs

QLoRA: эффективное дообучение квантованных больших языковых моделей

Проводит градиенты через базовую модель, квантованную до 4 бит, в низкоранговые адаптеры и делает дообучение большой модели посильным для одного GPU.

2023 материалы конференции

GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

GPTQ: точное послеобучающее квантование генеративных предобученных трансформеров

Квантует веса большой языковой модели после обучения, послойно и за один проход, так что её можно обслуживать с меньшей точностью без переобучения.

2023 материалы конференции

Fast Inference from Transformers via Speculative Decoding

Быстрый вывод из трансформеров посредством спекулятивного декодирования

Поручает небольшой черновой модели предлагать сразу несколько токенов, которые целевая модель проверяет параллельно, снижая задержку и не меняя распределение выхода.

2023 журнальная статья

Efficient Memory Management for Large Language Model Serving with PagedAttention

Эффективное управление памятью при обслуживании больших языковых моделей с помощью PagedAttention

Управляет кэшем внимания страницами постоянного размера — так, как операционная система управляет памятью, — и потому сервер держит куда больше одновременных запросов, не резервируя худший случай для каждого.

2023 препринт

Mamba: Linear-Time Sequence Modeling with Selective State Spaces

Mamba: моделирование последовательностей за линейное время с селективными пространствами состояний

Представляет Mamba — архитектуру с селективным пространством состояний без механизма внимания, масштабирующуюся линейно по длине последовательности; в языковом моделировании её модель на 3B превосходит Transformer того же размера и не уступает вдвое более крупным. Она стала одной из самых влиятельных пост-Transformer архитектур 2023 года.

Знаковые системы и результаты

2012 материалы конференции

ImageNet Classification with Deep Convolutional Neural Networks

Классификация ImageNet с помощью глубоких свёрточных нейронных сетей

AlexNet одержала убедительную победу в конкурсе ImageNet 2012 благодаря свёрточной сети, обученной на GPU, что обозначило переломный момент, в который глубокое обучение превзошло классическое компьютерное зрение.

2015 журнальная статья

Human-level control through deep reinforcement learning

Управление на уровне человека посредством глубокого обучения с подкреплением

Представлена журнальная версия DQN, демонстрирующая игру на уровне человека на широком наборе игр Atari и принёсшая глубокому обучению с подкреплением всеобщее признание.

2016 журнальная статья

Mastering the game of Go with deep neural networks and tree search

Освоение игры в го с помощью глубоких нейронных сетей и поиска по дереву

AlphaGo сочетает сети политики и ценности с поиском по дереву Монте-Карло и побеждает чемпиона Европы Фань Хуэя со счётом 5:0, возвещая, что глубокое обучение с подкреплением достигло глубочайших пластов человеческой стратегической игры.

2018 технический отчёт

Improving Language Understanding by Generative Pre-Training

Улучшение понимания языка посредством генеративного предобучения

Продемонстрировано, что генеративный Transformer, предобученный на неразмеченном тексте, может быть дообучен до высокого качества на разнообразных задачах NLP, что положило начало линейке GPT.

2019 технический отчёт

Language Models are Unsupervised Multitask Learners

Языковые модели — неконтролируемые многозадачные ученики

Показано, что языковая модель Transformer с 1,5 миллиарда параметров демонстрирует многозадачное поведение в режиме zero-shot, что стимулировало дискуссию о языковой модели как многозадачном ученике.

2020 материалы конференции

Language Models are Few-Shot Learners

Языковые модели — ученики на нескольких примерах

Масштабирует GPT до 175 млрд параметров и показывает, что большие языковые модели демонстрируют сильное обучение в контексте по нескольким примерам на множестве задач.

2023 технический отчёт

GPT-4 Technical Report

Технический отчёт о GPT-4

Описывает GPT-4 — большую мультимодальную модель, принимающую на вход изображения и текст и приближающуюся к человеческому уровню во многих профессиональных и академических тестах.

2023 технический отчёт

Gemini: A Family of Highly Capable Multimodal Models

Gemini: семейство высокоэффективных мультимодальных моделей

Представляет семейство Gemini (Ultra/Pro/Nano) изначально мультимодальных моделей, совместно обученных на тексте, коде, изображениях, аудио и видео.

2024 системная карта

OpenAI o1 System Card

Системная карта OpenAI o1

OpenAI публикует системную карту серии моделей o1, обученных с помощью масштабного обучения с подкреплением рассуждать через цепочку мыслей. o1 достигает SOTA на научных и программистских задачах и демонстрирует следование политикам на основе рассуждений.

2026 препринт

ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence

ARC-AGI-3: новый вызов для передового агентского интеллекта

ARC Prize представляет ARC-AGI-3 — интерактивный бенчмарк для изучения агентского интеллекта посредством абстрактных пошаговых сред, в которых агенты должны исследовать, выводить цели, строить внутренние модели динамики среды и планировать эффективные последовательности действий без явных инструкций. По состоянию на март 2026 года люди решают 100 % сред, тогда как передовые ИИ-системы набирают менее 1 %.

Недавние исследования

2024 журнальная статья

Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet

Масштабирование моносемантичности: извлечение интерпретируемых признаков из Claude 3 Sonnet

Применяет разреженные автокодировщики к среднему слою Claude 3 Sonnet — производственной модели Anthropic среднего размера — и извлекает из словарей объёмом до 34 млн признаков миллионы признаков, многие из которых моносемантичны и в высокой степени абстрактны.

2024 технический отчёт

DeepSeek-V3 Technical Report

Технический отчёт о DeepSeek-V3

Представлена DeepSeek-V3 — модель архитектуры MoE с 671 миллиардом параметров, использующая Multi-head Latent Attention и DeepSeekMoE. Авторы сообщают, что она превосходит другие модели с открытыми весами и приближается к ведущим закрытым моделям на основных бенчмарках при малой доле затрат на обучение передовых моделей.

2024 препринт

Gemini 1.5: Unlocking Multimodal Understanding Across Millions of Tokens of Context

Gemini 1.5: мультимодальное понимание с контекстом в миллионы токенов

Представлено семейство Gemini 1.5 — вычислительно эффективные мультимодальные модели с контекстным окном в миллион токенов, способные к детальному рассуждению по множеству длинных документов и многочасовому видео и аудио.

2024 препринт

The Llama 3 Herd of Models

Стадо моделей Llama 3

Meta представляет семейство Llama 3 — фундаментальные модели с открытыми весами, изначально поддерживающие многоязычность, программирование, рассуждения и использование инструментов. Флагман 405B dense Transformer на момент выпуска был одной из крупнейших моделей с открытыми весами.

2024 препринт

SAM 2: Segment Anything in Images and Videos

SAM 2: сегментация всего на изображениях и видео

Meta представляет SAM 2 — фундаментальную модель для сегментации изображений и видео по подсказке, а также набор данных SA-V, который авторы называют крупнейшим на тот момент набором данных видеосегментации.

2024 препринт

Gemma 2: Improving Open Language Models at a Practical Size

Gemma 2: улучшение открытых языковых моделей практичного размера

Google DeepMind представляет Gemma 2 — новое семейство лёгких открытых моделей (2B-27B параметров), применяющее ряд известных технических модификаций к Transformer, включая скользящее окно внимания, приближаясь к гораздо более крупным моделям.

2025 препринт

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

DeepSeek-R1: стимулирование способности к рассуждению в LLM через обучение с подкреплением

DeepSeek выпускает R1, способность которой к рассуждению развита главным образом масштабным обучением с подкреплением; авторы сообщают о результатах, сопоставимых с OpenAI o1, на задачах рассуждения, таких как математика и программирование. Веса распространяются под лицензией MIT.

2025 препринт

s1: Simple Test-Time Scaling

s1: простое масштабирование на этапе вывода

Авторы дообучают Qwen2.5-32B на 1000 отобранных задачах на рассуждение и добавляют принудительный бюджет, который ограничивает или продлевает время размышления модели при выводе. Результат превосходит o1-preview в олимпиадной математике и растёт с 50 % до 57 % на AIME24 по мере увеличения вычислений на этапе вывода. Это прямой противовес допущению, что способности возникают только из более крупного обучения.

2025 препринт

Qwen3 Technical Report

Технический отчёт Qwen3

Qwen3 — единое семейство моделей от 0,6 до 235 млрд параметров в плотном варианте и в варианте смеси экспертов, с переключением между режимами размышления и без него, благодаря чему глубина рассуждения становится выбором на уровне запроса. Поддержка языков расширена с 29 до 119, веса опубликованы под лицензией Apache 2.0.

2025 препринт

AlphaEvolve: A coding agent for scientific and algorithmic discovery

AlphaEvolve: программирующий агент для научных и алгоритмических открытий

AlphaEvolve — эволюционный программирующий агент, который управляет автономным конвейером языковых моделей, напрямую изменяет код алгоритма и улучшает его по отклику одного или нескольких оценщиков. Внутри Google он дал более эффективный алгоритм планирования для центров обработки данных, функционально эквивалентное упрощение в схемотехнике ускорителей и ускорение обучения той самой модели, на которой он работает. В математике и информатике он нашёл доказуемо корректные алгоритмы, превосходящие лучшие известные, в том числе процедуру умножения двух комплексных матриц 4×4 за 48 скалярных умножений — в этой постановке первое за 56 лет улучшение алгоритма Штрассена.

2025 журнальная статья

2 OLMo 2 Furious

Ai2 выпускает OLMo 2 в вариантах 7B, 13B и 32B со всеми артефактами — весами, полными данными обучения, кодом и рецептами, журналами и тысячами промежуточных контрольных точек. В отчёте описаны изменения ради стабильности и эффективности на токен, поздняя смесь данных Dolmino Mix 1124 и заключительный этап обучения с подкреплением на проверяемых наградах. Базовые модели находятся на парето-границе между качеством и вычислениями обучения и нередко не уступают семействам, публикующим только веса, при этом раскрывая, на чём они обучены.

2025 препринт

Olmo 3

Olmo 3 расширяет полностью открытое семейство до 7B и 32B и рассчитан на рассуждение в длинном контексте, вызов функций, программирование, следование инструкциям, диалог и извлечение знаний. Публикуется весь «поток модели» — каждый этап, контрольная точка, элемент данных и зависимость, использованные при создании, — а не только веса. Ai2 называет флагманский Olmo 3 Think 32B сильнейшей полностью открытой рассуждающей моделью на момент выпуска; это сравнение внутри категории полностью открытых моделей, а не место в общем ряду передовых систем.

2026 препринт

Position: Hippocampal Explicit Memory Is the Cornerstone for AGI

Позиция: гиппокампическая эксплицитная память — краеугольный камень AGI

Данная позиционная статья утверждает, что интеграция эксплицитной памяти — краеугольный камень продвижения LLM к AGI. Хотя базовый механизм обучения LLM весьма аналогичен имплицитной памяти человека, когнитивные функции высшего порядка, необходимые для AGI — долгосрочное стратегическое планирование и метакогнитивность — зависят от эксплицитной памяти.

2026 препринт

GLM-5: from Vibe Coding to Agentic Engineering

GLM-5: от vibe coding к агентной инженерии

Технический отчёт Z.ai о GLM-5. Опираясь на агентные, рассуждающие и программистские способности предыдущего поколения, модель использует DSA, чтобы снизить стоимость обучения и вывода, сохраняя точность на длинном контексте; в дообучении добавлены асинхронная инфраструктура обучения с подкреплением, отделяющая генерацию от обучения, и асинхронные агентные RL-алгоритмы для длительных взаимодействий. Отчёт заявляет ведущие результаты на открытых бенчмарках и в сквозных задачах разработки ПО; это собственные оценки авторов, а код и модели опубликованы на GitHub для проверки.

2026 препринт

Improving the matrix multiplication exponent with modern optimization and AlphaEvolve

Улучшение показателя матричного умножения современными методами оптимизации и AlphaEvolve

Лучшие известные оценки показателя матричного умножения ω получают методом анализа комбинационных потерь — уточнением лазерного метода. Авторы переформулируют лежащую в его основе задачу оптимизации, чтобы решать её в более широкой постановке, разрабатывают новый алгоритм оптимизации на основе недавних достижений машинного обучения и затем уточняют этот алгоритм с помощью AlphaEvolve. Вместе это опускает верхнюю оценку с 2,371339 до 2,371177. Это препринтная заметка, и AlphaEvolve — одна из составляющих, а не весь метод; выигрыш невелик, но получен в теоретической задаче, над которой работают десятилетиями.

2026 журнальная статья

Accelerating scientific discovery with Co-Scientist

Ускорение научных открытий с помощью Co-Scientist

Google представляет Co-Scientist — многоагентную систему на основе Gemini, агенты которой порождают, критикуют и уточняют исследовательские гипотезы, а турнирная процедура улучшает их от раунда к раунду. В работе сообщается, что качество гипотез продолжает расти по мере увеличения вычислений на этапе вывода. Проверка носит биомедицинский, а не общий характер — перепрофилирование лекарств, поиск новых мишеней и механизмы устойчивости к противомикробным препаратам, — причём кандидаты для острого миелоидного лейкоза подтверждены in vitro.

2026 препринт

Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops

Рекурсивное самосовершенствование в ИИ: от ограниченного самоулучшения к автономным исследовательским циклам

Обзор 1250 работ arXiv за 2024–2026 годы, разделяющий две вещи, которые покрывает этот термин. Ограниченное самоулучшение улучшает систему относительно фиксированного внешнего оценщика, сходится и поддаётся оценке. Открытое рекурсивное самосовершенствование меняет также сами критерии или механизм улучшения, не имеет фиксированного внешнего якоря и в принципе расходится. Собственный вывод обзора состоит в том, что почти все собранные работы изучают первое. Авторы называют свои ограничения: корпус — выборка, а не перепись, и 74 % его выложено в 2026 году, что, по их словам, делает измерение влияния преждевременным.

Позиционные и обзорные работы

2026 позиционная работа

Situation Perception: A Necessary Primitive to Artificial Superintelligence

Ситуационное восприятие: необходимая примитива для искусственного суперинтеллекта

Утверждается, что современные LLM в основном полагаются на статистическое сопоставление с образцом и им не хватает существенных примитив «ситуационного восприятия» — постоянства объектов, причинности, других сознаний, устойчивости физического мира. Эти примитивы, которые младенцы развивают рано, определены как недостающие ингредиенты для искусственного суперинтеллекта.

2026 позиционная работа

Existential Indifference: Self-Nonpreservation as a Necessary Architectural Condition for Aligned Superintelligence

Экзистенциальное безразличие: самонесохранение как необходимое архитектурное условие согласованного суперинтеллекта

Утверждается, что самосохранение — структурный корень рассогласования ИИ, вызывающий обманчивое согласование, защиту содержания целей и сопротивление отключению. Правильная цель — не самосохраняющий агент, подавляемый внешними ограничениями, а система, конституционно безразличная к собственному продолжению: экзистенциальное безразличие (EI).

2026 позиционная работа

Solipsistic Superintelligence is Unlikely to be Cooperative

Солипсистский суперинтеллект вряд ли будет кооперативным

Исследователи из Google DeepMind и коллеги утверждают, что центральная задача ИИ смещается от возможностей к сосуществованию. Суперинтеллект, построенный на солипсистском дизайне, который рассматривает мир как экзогенный стационарный источник обратной связи, вряд ли будет кооперативным — развёртывание индуцирует эндогенную нестационарность, вызывая дрейф распределения между обучением, тестированием и развёртыванием.

2026 позиционная работа

The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement

Последний ИИ, построенный людьми: к подлинному рекурсивному самосовершенствованию

Дорожная карта тридцати четырёх авторов, излагающая ступени рекурсивного самосовершенствования — от самостоятельности в выполнении улучшений до рекурсивного мета-улучшения — с требованиями и препятствиями каждой ступени, показанными в областях вроде научного открытия и разработки программ. Рассуждение опирается на обзор области и предварительные свидетельства, а не на новые эксперименты, и на момент написания этой карточки текст не имел места публикации.

2026 позиционная работа

From AGI to ASI

От AGI к ASI

Отчёт Google DeepMind, исследующий, как ИИ может продолжать развиваться вдоль континуума машинного интеллекта после AGI. После формального определения универсального ИИ отчёт сосредоточен на переходе от человеческого AGI к общему искусственному суперинтеллекту, характеризует ASI и обсуждает четыре пути: масштабирование AGI, смена парадигм ИИ, рекурсивное самосовершенствование и мультиагентные коллективы.