繁體中文
返回 AI 技術體系

模型架構

Transformer

一種以注意力機制為核心、可平行處理序列位置的神經網路架構。它成為許多現代語言模型與多模態模型的基礎。

時間節點
2017
最近審查

關鍵術語

  • 自注意力(self-attention)
  • 編碼器(encoder)
  • 解碼器(decoder)
  • 位置編碼(positional encoding)

專案內關聯

第一手來源

  1. Attention Is All You Need

這是經過選編的技術圖譜,並非對 AI 技術的完整涵蓋聲明。