跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

217条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 201–217 条 · 共 217 条
7月30日周四
6月24日周三
6月11日周四
  1. Google DeepMind74

    Google DeepMind 发布 DiffusionGemma:文本生成最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式并行生成整块文本,在专用 GPU 上最高实现 4 倍推理提速,单张 NVIDIA H100 上超过 1000 tokens/秒,RTX 5090 上超过 700 tokens/秒。

    推荐理由:官方给出 26B MoE 文本扩散模型的速度数据与硬件门槛,可据此判断本地低并发场景的取舍。

4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,将大规模训练拆分为解耦的计算岛并异步传输数据,从而隔离局部硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入,用 Gemma 4 模型验证其基准 ML 性能与传统训练方法持平。

    推荐理由:原文给出分布式训练在带宽、故障隔离和跨代硬件上的实测结果,可据此判断大规模预训练基础设施的演进方向。

2月28日周六
1月14日周三
11月3日周一
  1. OpenAI News62

    AWS 与 OpenAI 宣布多年战略合作

    OpenAI 与 AWS 达成多年期、380 亿美元的战略合作,AWS 将提供基础设施与算力,用于支撑 OpenAI 下一代模型。合作规模为 380 亿美元,属于多年期协议。

    推荐理由:读者可了解 OpenAI 与 AWS 达成的 380 亿美元多年合作,及其对算力供应格局的影响。

10月13日周一
  1. OpenAI News62

    OpenAI 与 Broadcom 达成战略合作,将部署 10 吉瓦自研 AI 加速器

    OpenAI 与 Broadcom 宣布多年期战略合作,将部署 10 吉瓦由 OpenAI 设计的 AI 加速器。双方将共同开发下一代系统与以太网方案,计划到 2029 年支撑可扩展、高能效的 AI 基础设施。

    推荐理由:OpenAI 与 Broadcom 合作自研加速器并规划 10 吉瓦部署,可观察其算力自给路径与供应链布局。

10月6日周一
9月23日周二
9月22日周一
8月5日周二
  1. OpenAI News82

    OpenAI 发布 gpt-oss-120b 与 gpt-oss-20b 开源权重模型

    OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两款开源权重语言模型,采用 Apache 2.0 许可。官方称这两款模型在推理任务上优于同规模开源模型,具备较强的工具调用能力,并针对消费级硬件的高效部署做了优化。

    推荐理由:OpenAI 开源两款权重模型并给出尺寸与许可,读者可据此判断本地部署与推理任务的可用性。

5月22日周四
10月1日周二
  1. OpenAI News60

    OpenAI 在 API 中推出 Prompt Caching

    OpenAI 在 API 中推出 Prompt Caching,对模型近期已见过的输入提供自动折扣。该功能面向重复使用相同前缀的调用场景,无需额外配置即可生效。

    推荐理由:OpenAI 为 API 引入提示词缓存,对重复输入自动折扣,读者可据此估算长提示词场景的成本变化。

8月6日周二
7月28日周三
1月25日周一
  1. OpenAI News52

    OpenAI 将 Kubernetes 集群扩展至 7500 节点

    OpenAI 将 Kubernetes 集群扩展到 7500 节点,为 GPT-3、CLIP、DALL·E 等大模型提供可扩展的基础设施,同时也支持小规模快速迭代研究,例如 Scaling Laws for Neural Language Models。

    推荐理由:OpenAI 公开将 Kubernetes 集群扩展到 7500 节点的实践,为大规模模型训练的基础设施选型提供一手参考。