华为已为KV Cache单独做存储，专用SSD规格却还没定下来

华为在全联接大会上推出OceanStor M900，英伟达也已推出CMX Context Memory Storage，将推理中可复用的KV Cache分层外置存储，以减少重复计算。