vLLM 的 transformers 建模后端实现原生速度
Hugging Face 宣布 vLLM 的 transformers 建模后端现已达到甚至超过 vLLM 手写原生实现的推理速度,模型作者无需移植即可获得超快 vLLM 推理。
推荐理由:原文给出 transformers 后端在 vLLM 中达到原生速度的实测与启用方式,读者可据此判断是否省去自定义移植。
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
Hugging Face 宣布 vLLM 的 transformers 建模后端现已达到甚至超过 vLLM 手写原生实现的推理速度,模型作者无需移植即可获得超快 vLLM 推理。
推荐理由:原文给出 transformers 后端在 vLLM 中达到原生速度的实测与启用方式,读者可据此判断是否省去自定义移植。
SkyPilot 与 Hugging Face 联合推出 store: hf 后端,用一条 hf:// URL 和现有 HF_TOKEN 即可把 Hugging Face Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务,在 20+ 云、Kubernetes、Slurm 和本地集群上运行。
推荐理由:原文给出跨云挂载 Hub 存储的配置方式与免出网费说明,读者可据此判断多云训练的数据搬运成本。
Hugging Face 发布 LeRobot v0.6.0,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。
推荐理由:原文完整列出世界模型策略、奖励模型 API 与六个仿真基准,读者可据此判断机器人学习闭环的可用工具链。