量子位· 鹭羽·· 10 小时前AI 评分62
何恺明团队提出NAT-ARC:用ImageNet预训练让纯视觉模型解ARC
何恺明团队新作:看猫片就能学会ARC挑战
AI 导读
何恺明团队提出NAT-ARC,一套不依赖LLM的纯视觉ARC解题方案,用ImageNet上的MAE预训练encoder后迁移到抽象格子推理。表现最好的单模型参数量0.6B,在ARC-1上取得63.4%的pass@2分数,集成后达到70.2%,总参数量约2B。论文发现预训练打通了视觉路线的scaling瓶颈,此前无预训练时模型从large到huge反而掉点。
来源:量子位 · qbitai.com