简体中文
返回 AI 技术体系

模型架构

Transformer

一种以注意力机制为核心、可并行处理序列位置的神经网络架构。它成为许多现代语言模型与多模态模型的基础。

时间节点
2017
最近审查

关键术语

  • 自注意力(self-attention)
  • 编码器(encoder)
  • 解码器(decoder)
  • 位置编码(positional encoding)

项目内关联

一手来源

  1. Attention Is All You Need

这是经过选编的技术图谱,并非对 AI 技术的完整覆盖声明。