DeepSeek开源大规模云服务推理框架DeepInfer：单集群日吞吐155万亿Token，KVCache可保存7天

DeepSeek开源了大规模云服务推理框架DeepInfer，该框架支持分布式推理、推测解码等能力，并能够运行在NVIDIA与华为昇腾平台上。同时开源了生产级Token编解码组件deepseek-recipe，用于在主流大模型API协议和模型Token之间进行高效、准确转换。