雷锋网·· 6 小时前精选AI 评分71
字节论文发现 DeepSeek V4 分块 KV Cache 压缩的周期性盲区
字节发现 DeepSeek 隐藏 Bug,加点空格,模型翻车
AI 导读
字节团队论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》指出,DeepSeek V4 系列采用的分块 KV Cache 压缩会带来相位敏感性,关键信息落在切块交界处时模型容易答错。
推荐理由
字节论文指出分块 KV Cache 压缩带来的相位敏感问题,并梳理动态分块等改进方向。
来源:雷锋网 · leiphone.com