#自注意力

Transformer 详解：自注意力、多头注意力、位置编码，逐层拆解

TL;DR： Transformer 完全基于注意力机制，不使用 RNN 或 CNN。它的核心是 Scaled Dot Product Attention：用 Query 和 Key 的点积（除以 $\sqrt{d k}$）计算注意力权重…