雷锋网·· 2 天前精选AI 评分66
Naive AI 发布开源模型 Naive-N0.5-Flash,主打 AI 研发 AI 能力
中训练、后训练持续升温,模型快速迭代,成为 AI for AI 最佳试炼场
AI 导读
Naive AI 发布开源模型 Naive-N0.5-Flash,以开源基座为起点,重构注意力架构为每 5 层 SWA 搭配 1 层 DSA 的混合结构,全程保持 1M 上下文,分三阶段累计训练 3.25T tokens。
推荐理由
文章给出 Naive-N0.5-Flash 的架构改造、训练阶段与评测成绩,可据此判断中训练与后训练路线的落地方式。
来源:雷锋网 · leiphone.com