知识简单

Attention 中的 Q、K 和 V 是什么？

Query 负责提出查询，Key 用于索引，Value 携带最终汇聚的内容。

标准答案

给定输入嵌入 X，Attention 学习三个线性投影： $Q = X W_{Q}$ 、 $K = X W_{K}$ 、 $V = X W_{V}$ 。Query 是寻找信息的向量，Key 是每个 token 用于匹配的标签，Value 则是实际参与加权混合的内容。分数按照 $Q K^{T} / s q r t (d_{k})$ 计算，经过 softmax 后对 V 做加权求和。因此，Key 决定取多少，Value 决定取什么。

深入理解

Q、K、V 的拆分让匹配和内容传递彼此独立。如果直接对输入做平均，一个 token 只能按自身 embedding 与其他 token 的相似度参与。拆开后，Key 可以表达这是模型正在寻找的类型，Value 可以表达被选中后真正贡献的内容。多头 Attention 中每个 head 都有自己的 $W_{Q}$ 、 $W_{K}$ 、 $W_{V}$ ，可以学习语法、指代或几何等不同关系。Cross-Attention 中 Q 来自 decoder 或动作流，K 和 V 来自观测或语言编码器，这正是 VLA 中这种不对称结构重要的原因。