Transformer 用注意力机制替代循环结构，让序列建模能够充分并行。更深远的变化，是它把关系建模变成了可以持续堆叠与扩展的通用计算单元。
读完带走三件事
- 缩放点积如何稳定训练过程
- 多头机制为何能表达不同关系
- 位置编码怎样补足顺序信息
Attention Is All You Need
Transformer 用注意力机制替代循环结构，让序列建模能够充分并行。更深远的变化，是它把关系建模变成了可以持续堆叠与扩展的通用计算单元。
Transformer 用注意力机制替代循环结构，让序列建模能够充分并行。更深远的变化，是它把关系建模变成了可以持续堆叠与扩展的通用计算单元。
Transformer 用注意力机制替代循环结构，让序列建模能够充分并行。更深远的变化，是它把关系建模变成了可以持续堆叠与扩展的通用计算单元。