搜索面试经历、知识题和 Coding 题。
至少输入两个字符。结果覆盖知识库、面试、Coding、公司和主题。
为具身智能面试中反复出现的概念提供标准答案。
当前主题:kv-cache
共 3 个问题
KV Cache 用额外内存换取计算量,让每个新 token 只需关注自身和历史缓存。
MHA 每个 query 头有独立 K/V 头,质量最好但 KV Cache 最大;GQA 让一组 query 头共享一个 K/V 头,在质量与显存/带宽之间折中。
KV Cache 避免重复计算,FlashAttention 做 IO 感知的精确注意力,PagedAttention 分页管理 KV;再叠加量化、连续 batching、投机解码。