IT之家·· 13 天前精选AI 评分70
DeepSeek开源内部推理框架DeepInfer，助力大模型普惠
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，目标实现大模型普惠
AI 导读
DeepSeek宣布开源内部推理框架DeepInfer，旨在降低算力成本，实现大模型普惠。DeepInfer支持分布式推理、推测解码等能力，兼容英伟达与华为昇腾平台。
推荐理由
DeepSeek开源内部推理框架DeepInfer，旨在降低算力成本，实现大模型普惠。
来源：IT之家 · ithome.com