Hugging Face 博客·· 11 小时前精选AI 评分62
Allen AI 发布 Olmo-core 3，面向万亿参数 MoE 的开源训练框架
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
Allen AI 发布 Olmo-core 3，这是其大模型开发框架的一次重大升级，重新设计了开放的 MoE 训练系统，目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
推荐理由
原文给出 MoE 训练栈的并行与精度优化细节和实测吞吐数据，可供自建训练系统的团队参考。
来源：Hugging Face 博客 · hf-mirror.com