跳到正文
原文
InfoQ 中文· 作者:Steef-Jan Wiggers·· 10 小时前AI 评分60

谷歌 GKE Pod 快照基准:700 亿参数模型加载缩短至 37 秒

GKE Pod 快照可缩短模型加载时间

AI 导读

谷歌发布 GKE Pod 快照基准测试结果,启动延迟最高可降低 89%,700 亿参数模型加载仅需 37 秒,80 亿参数模型仅需 15 秒。该功能保存工作负载运行状态(含 CPU 和 GPU 内存)并按需恢复,已于今年 5 月在 1.35.3-gke.1234000 及更高版本集群正式发布,但要求 Pod 运行在 GKE Sandbox 中。

来源:InfoQ 中文 · infoq.cn