#Attention

Attention 机制：为什么 Attention 比 RNN 好，Query / Key / Value 是什么

TL;DR： Attention 机制的核心操作是：用 Query 和所有 Key 计算相似度，得到权重，然后对 Value 做加权求和。它让序列中的每个位置可以直接"看到"所有其他位置，不需要像 RNN 那样逐步传递信息。Query/K…