搜索面试经历、知识题和 Coding 题。
至少输入两个字符。结果覆盖知识库、面试、Coding、公司和主题。
为具身智能面试中反复出现的概念提供标准答案。
当前主题：attention
共 5 个问题
Query 负责提出查询，Key 用于索引，Value 携带最终汇聚的内容。
KV Cache 用额外内存换取计算量，让每个新 token 只需关注自身和历史缓存。
除以 √dk 是为了控制点积的方差：dk 维点积的方差随维度线性增长，不缩放会让 softmax 饱和、梯度消失。
MHA 每个 query 头有独立 K/V 头，质量最好但 KV Cache 最大；GQA 让一组 query 头共享一个 K/V 头，在质量与显存/带宽之间折中。
KV Cache 避免重复计算，FlashAttention 做 IO 感知的精确注意力，PagedAttention 分页管理 KV；再叠加量化、连续 batching、投机解码。