跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

227条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 201–220 条 · 共 227 条
9月30日周三
  1. InfoQ中文62

    openJiuwen 发布 WorkSwarm 全双工多模态能力,支持边聊边调用 Agent

    openJiuwen 发布 WorkSwarm 全双工多模态能力,让实时音视频对话与 Core Agent 后台执行并行:用户可随时插话打断播报,复杂任务在后台继续搜索、调用工具并生成文件。

    推荐理由:openJiuwen 把实时音视频对话与后台 Core Agent 执行拆成两条并行路径,读者可据此判断边聊边办事的交互如何落地。

  2. 开源中国78

    DeepSeek 开源面向华为昇腾的基础设施组件

    DeepSeek 于 9 月 30 日正式开源面向华为昇腾算力平台的基础设施组件,涵盖 TileLang 高级语言编译工具、计算库和分布式通信库,所有组件与此前面向英伟达平台的开源组件一一对应。其中重点是 TileLang 的昇腾版本,DeepSeek 称要建立新一代自主可控的 GPU 软件生态,需先有通用且编程简单的语言工具。

    推荐理由:DeepSeek 把面向英伟达的组件对应搬到昇腾平台,读者可据此了解国产算力软件栈的补齐进度。

  3. AWS Machine Learning Blog62

    GPT-6.1 Sol 在 Amazon Bedrock 正式可用

    GPT-6.1 Sol 现已在 Amazon Bedrock 正式可用,面向智能体编码、计算机使用和专业工作负载提供更强的推理能力。据 OpenAI 称,它在 DeepSWE v1.1 上达到 GPT-6 Astra 的水平,每任务成本约为后者的五分之一,并比 GPT-6 Sol 的最佳成绩高出 6.4 个百分点。

    推荐理由:原文给出 GPT-6.1 Sol 在 Bedrock 上的可用入口与成本对比,读者可据此判断智能体编码任务的性价比变化。

9月24日周四
  1. Microsoft Research62

    微软研究院:将物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。

    推荐理由:微软研究院系统测量了机器人端侧推理与卸载推理的差异,并给出可复用的 Kubernetes 卸载工具链。

  2. Google DeepMind62

    Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆

    Google DeepMind 公布 Private AI Compute 平台的新技术能力,将持久化服务端记忆引入该平台,让 AI 助手在跨设备场景下保留上下文,同时维持端侧级别的隐私标准。

    推荐理由:Google 给出私有 AI 计算加入持久化服务端记忆的架构思路,读者可了解云端长期记忆如何与端侧隐私标准结合。

9月22日周二
9月17日周四
  1. GitHub Blog · AI & ML70

    GitHub 用 Copilot 把 Copilot 运行时迁移到 Rust

    GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,AI 智能体写了大部分代码,跨 128 个 PR 增量合入 main。

    推荐理由:作者以亲历者身份给出把 43 万行 TypeScript 运行时原地迁移到 Rust 的完整工程方法,可迁移到大型重构。

9月16日周三
9月5日周六
  1. GitHub Blog · AI & ML71

    GitHub 发布 Project HydraFusion:多模型编排实现前沿质量

    GitHub 推出研究预览版 Project HydraFusion,在运行时通过多模型编排完成任务,用户可在 GitHub Copilot CLI 中通过 /experimental 选择 HydraFusion,按各模型标准费率计费。

    推荐理由:GitHub 官方披露 HydraFusion 的三种编排模式与三项基准的成本质量对比,可据此判断多模型编排在编码任务上的取舍。

8月13日周四
7月30日周四
6月24日周三
6月11日周四
  1. Google DeepMind74

    Google DeepMind 发布 DiffusionGemma:文本生成最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式并行生成整块文本,在专用 GPU 上最高实现 4 倍推理提速,单张 NVIDIA H100 上超过 1000 tokens/秒,RTX 5090 上超过 700 tokens/秒。

    推荐理由:官方给出 26B MoE 文本扩散模型的速度数据与硬件门槛,可据此判断本地低并发场景的取舍。

4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,将大规模训练拆分为解耦的计算岛并异步传输数据,从而隔离局部硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入,用 Gemma 4 模型验证其基准 ML 性能与传统训练方法持平。

    推荐理由:原文给出分布式训练在带宽、故障隔离和跨代硬件上的实测结果,可据此判断大规模预训练基础设施的演进方向。

2月28日周六
1月14日周三
11月3日周一
  1. OpenAI News62

    AWS 与 OpenAI 宣布多年战略合作

    OpenAI 与 AWS 达成多年期、380 亿美元的战略合作,AWS 将提供基础设施与算力,用于支撑 OpenAI 下一代模型。合作规模为 380 亿美元,属于多年期协议。

    推荐理由:读者可了解 OpenAI 与 AWS 达成的 380 亿美元多年合作,及其对算力供应格局的影响。

10月13日周一
  1. OpenAI News62

    OpenAI 与 Broadcom 达成战略合作,将部署 10 吉瓦自研 AI 加速器

    OpenAI 与 Broadcom 宣布多年期战略合作,将部署 10 吉瓦由 OpenAI 设计的 AI 加速器。双方将共同开发下一代系统与以太网方案,计划到 2029 年支撑可扩展、高能效的 AI 基础设施。

    推荐理由:OpenAI 与 Broadcom 合作自研加速器并规划 10 吉瓦部署,可观察其算力自给路径与供应链布局。

10月6日周一
9月23日周二