跳到正文
原文
量子位· 鹭羽·· 10 小时前AI 评分62

何恺明团队提出NAT-ARC:用ImageNet预训练让纯视觉模型解ARC

何恺明团队新作:看猫片就能学会ARC挑战

AI 导读

何恺明团队提出NAT-ARC,一套不依赖LLM的纯视觉ARC解题方案,用ImageNet上的MAE预训练encoder后迁移到抽象格子推理。表现最好的单模型参数量0.6B,在ARC-1上取得63.4%的pass@2分数,集成后达到70.2%,总参数量约2B。论文发现预训练打通了视觉路线的scaling瓶颈,此前无预训练时模型从large到huge反而掉点。

来源:量子位 · qbitai.com