AWS 与 OpenAI 宣布多年战略合作
OpenAI 与 AWS 达成多年期、380 亿美元的战略合作,AWS 将提供基础设施与算力,用于支撑 OpenAI 下一代模型。合作规模为 380 亿美元,属于多年期协议。
推荐理由:读者可了解 OpenAI 与 AWS 达成的 380 亿美元多年合作,及其对算力供应格局的影响。
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
OpenAI 与 AWS 达成多年期、380 亿美元的战略合作,AWS 将提供基础设施与算力,用于支撑 OpenAI 下一代模型。合作规模为 380 亿美元,属于多年期协议。
推荐理由:读者可了解 OpenAI 与 AWS 达成的 380 亿美元多年合作,及其对算力供应格局的影响。
OpenAI 与 Broadcom 宣布多年期战略合作,将部署 10 吉瓦由 OpenAI 设计的 AI 加速器。双方将共同开发下一代系统与以太网方案,计划到 2029 年支撑可扩展、高能效的 AI 基础设施。
推荐理由:OpenAI 与 Broadcom 合作自研加速器并规划 10 吉瓦部署,可观察其算力自给路径与供应链布局。
AMD 与 OpenAI 宣布达成多年战略合作,将部署 6 吉瓦 AMD Instinct GPU,用于支撑 OpenAI 的下一代 AI 基础设施。其中首批 1 吉瓦将于 2026 年开始部署。
推荐理由:OpenAI 与 AMD 达成多年算力合作,读者可据此了解其下一代基础设施的 GPU 供应布局。
OpenAI、Oracle 和 SoftBank 宣布为 Stargate 新增五个 AI 数据中心站点,推进一项 5000 亿美元、10 吉瓦的美国基础设施扩建计划,用于支撑下一代 AI 并创造数万个就业岗位。
推荐理由:Stargate 新增五个站点,读者可据此了解 5000 亿美元、10 吉瓦级美国 AI 基建的推进节奏。
OpenAI 与 NVIDIA 宣布达成战略合作,将部署 10 吉瓦由 NVIDIA 系统驱动的 AI 数据中心,首阶段于 2026 年启动。
推荐理由:OpenAI 与 NVIDIA 达成 10 吉瓦级系统部署合作,读者可据此了解双方在算力基础设施上的绑定规模。
OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两款开源权重语言模型,采用 Apache 2.0 许可。官方称这两款模型在推理任务上优于同规模开源模型,具备较强的工具调用能力,并针对消费级硬件的高效部署做了优化。
推荐理由:OpenAI 开源两款权重模型并给出尺寸与许可,读者可据此判断本地部署与推理任务的可用性。
OpenAI 宣布推出 Stargate UAE,这是其 AI 基础设施平台 Stargate 的首次国际部署。
推荐理由:OpenAI 首次把 Stargate 基础设施部署到美国以外,读者可据此观察其全球算力布局的推进节奏。
OpenAI 在 API 中推出 Prompt Caching,对模型近期已见过的输入提供自动折扣。该功能面向重复使用相同前缀的调用场景,无需额外配置即可生效。
推荐理由:OpenAI 为 API 引入提示词缓存,对重复输入自动折扣,读者可据此估算长提示词场景的成本变化。
OpenAI 在 API 中推出结构化输出,模型输出现在可以可靠地遵循开发者提供的 JSON Schema。
推荐理由:OpenAI 在 API 中加入结构化输出,开发者可据此判断 JSON Schema 约束对下游解析流程的影响。
OpenAI 发布 Triton 1.0,这是一门类 Python 的开源编程语言,让没有 CUDA 经验的研究者也能编写高效的 GPU 代码,性能多数情况下可达到专家水平。
推荐理由:OpenAI 开源 Triton 1.0,让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
OpenAI 将 Kubernetes 集群扩展到 7500 节点,为 GPT-3、CLIP、DALL·E 等大模型提供可扩展的基础设施,同时也支持小规模快速迭代研究,例如 Scaling Laws for Neural Language Models。
推荐理由:OpenAI 公开将 Kubernetes 集群扩展到 7500 节点的实践,为大规模模型训练的基础设施选型提供一手参考。