Latent Space· Latent Space·· 12 天前精选AI 评分85
DeepSeek DeepInfer：开源 SOTA 推理，每天处理 155T 令牌/集群，日收入 2200 万美元，回本周期 81 天
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 发布了 DeepInfer，一个开源的推理引擎，能够处理高达每天 155T 令牌的集群，日收入达到 2200 万美元，回本周期为 81 天。DeepInfer 支持分布式推理、推测解码、SWA 限制重放和结构化输出，并在 NVIDIA 和华为 Ascend 平台上运行。
推荐理由
原文给出了能力变化和开放入口，读者可以据此判断它会怎样改变现有工作流。
来源：Latent Space · latent.space