Архитектура моделей
Transformer
Нейросетевая архитектура на основе механизма внимания, параллельно обрабатывающая позиции последовательности. Она стала основой многих современных языковых и мультимодальных моделей.
Ключевые термины
- self-attention
- encoder
- decoder
- positional encoding
Связи внутри проекта
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.