Архитектура моделей
Transformer
Нейросетевая архитектура на основе механизма внимания, параллельно обрабатывающая позиции последовательности. Она стала основой многих современных языковых и мультимодальных моделей.
Ключевые термины
- самовнимание (self-attention)
- кодировщик (encoder)
- декодер (decoder)
- позиционное кодирование (positional encoding)
Связи внутри проекта
Связанные технологии
Связанные работы
Исторический контекст
Первичные источники
Это отобранная техническая карта, а не заявление о полном охвате.