跳到正文
原文
雷锋网·· 6 小时前精选AI 评分71

字节论文发现 DeepSeek V4 分块 KV Cache 压缩的周期性盲区

字节发现 DeepSeek 隐藏 Bug,加点空格,模型翻车

AI 导读

字节团队论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》指出,DeepSeek V4 系列采用的分块 KV Cache 压缩会带来相位敏感性,关键信息落在切块交界处时模型容易答错。

推荐理由

字节论文指出分块 KV Cache 压缩带来的相位敏感问题,并梳理动态分块等改进方向。

来源:雷锋网 · leiphone.com