知识中等
FAST 如何将连续动作序列转换为离散动作 token?与逐维分桶等朴素离散化相比,DCT 与 BPE 分别带来什么变化?
FAST 对动作序列沿时间维做 DCT,把能量集中到少数低频系数;量化后用 BPE 把常共现的系数量化为单 token,序列比逐维分桶短一个量级。
标准答案
FAST 把动作 chunk(时间动作维度矩阵)当作时间序列处理:先对每维动作沿时间做离散余弦变换(DCT),利用相邻动作步的相关性把能量集中到少量低频系数;系数量化后大部分接近零,再用 BPE 在训练集上学习合并规则,把经常共同出现的量化系数合并为单个 token。结果是动作序列长度比朴素方法缩短约一个数量级,训练信号更集中。
深入理解
对比逐维分桶:分桶忽略时间相关性,token 序列长且冗余,对动作噪声敏感,词表也随维度数增长;DCT 压缩的是时间相关性,BPE 压缩的是系数共现,两者正交叠加。追问可能在 DCT 截断带来的信息损失(衔接下一题)以及词表规模与重构误差的权衡。