Hugging Face 提出高效知识蒸馏方法：离线 Top-K Logits 与融合分块 KL 损失
Hugging Face 发布论文提出两项系统改进，让 LLM 知识蒸馏成本大幅下降：离线缓存教师模型每位置的 top-100 logits，使教师模型无需与学生模型同时驻留显存；融合分块 KL 损失避免生成完整的词表×序列长度矩阵。
#开源/仓库
#开源/仓库
今日 0 条Hugging Face 博客AI 评分3939
Hugging Face 博客AI 评分3535 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布开源基准 ScarfBench，用于评估 AI 智能体在企业级 Java 框架迁移中的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现和 204 个迁移任务。
Hugging Face 博客AI 评分2222 DiScoFormer：一个 Transformer 同时估计密度与 score，跨分布通用
Hugging Face 博客介绍 DiScoFormer（Density and Score Transformer），一个模型在单次前向传播中即可从一组数据点估计分布的密度与 score，无需针对新分布重新训练。