跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

217条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 181–200 条 · 共 217 条
10月4日周日
  1. Show HN58

    digitup 发布面向 AI 建站者的网站安全与可用性检查工具

    作者在 Show HN 发布 digitup,一款面向用 AI 工具建站者的网站检查服务,用大白话提示网站是否正常工作、是否安全,并给出优先修复项。它会检查公开可见的密钥、他人可访问的客户数据、意外开放的站点部分和易被攻击的设置,同时监控站点可用性、注册登录与支付等关键流程,异常时通过 WhatsApp、Telegram 或邮件通知。

    推荐理由:面向 AI 工具建站人群的检查工具,把密钥泄露、数据暴露等问题转成可直接粘贴的修复提示词。

10月3日周六
10月2日周五
10月1日周四
  1. InfoQ中文66

    DeepSeek 开源昇腾平台基础设施组件,覆盖 TileLang、计算库与分布式通信库

    9 月 30 日,DeepSeek 宣布开源面向华为昇腾算力平台的一组基础设施组件,涵盖 TileLang 高级语言编译工具,以及 DeepGEMM、DeepEP、TileKernels、FlashMLA 和 DeepSelect 的昇腾平台实现,与英伟达平台开源组件一一对应。

    推荐理由:DeepSeek 把面向昇腾 950 的算子编译与计算通信组件开源,并给出与英伟达版本的接口对应关系,读者可据此判断迁移成本。

9月30日周三
  1. AWS Machine Learning Blog62

    在 Amazon Bedrock AgentCore Runtime Instances 上构建多智能体音乐制作流水线

    AWS 官方博客演示在 Amazon Bedrock AgentCore Runtime Instances 上部署三智能体音乐制作流水线:作曲智能体用 Claude Sonnet 4.6 生成音乐简报并在实例的 NVIDIA L4 上运行 ACE-Step 渲染音频,交付智能体读取共享卷上的 .wav 做 EQ、压缩与限幅,合规智能体独立复测并比对曲库相似度。

    推荐理由:AWS 官方给出三智能体共享 GPU 实例的完整代码与实测数据,可迁移到其他长时多智能体工作流。

  2. InfoQ中文62

    openJiuwen 发布 WorkSwarm 全双工多模态能力,支持边聊边调用 Agent

    openJiuwen 发布 WorkSwarm 全双工多模态能力,让实时音视频对话与 Core Agent 后台执行并行:用户可随时插话打断播报,复杂任务在后台继续搜索、调用工具并生成文件。

    推荐理由:openJiuwen 把实时音视频对话与后台 Core Agent 执行拆成两条并行路径,读者可据此判断边聊边办事的交互如何落地。

  3. 开源中国78

    DeepSeek 开源面向华为昇腾的基础设施组件

    DeepSeek 于 9 月 30 日正式开源面向华为昇腾算力平台的基础设施组件,涵盖 TileLang 高级语言编译工具、计算库和分布式通信库,所有组件与此前面向英伟达平台的开源组件一一对应。其中重点是 TileLang 的昇腾版本,DeepSeek 称要建立新一代自主可控的 GPU 软件生态,需先有通用且编程简单的语言工具。

    推荐理由:DeepSeek 把面向英伟达的组件对应搬到昇腾平台,读者可据此了解国产算力软件栈的补齐进度。

  4. AWS Machine Learning Blog62

    GPT-6.1 Sol 在 Amazon Bedrock 正式可用

    GPT-6.1 Sol 现已在 Amazon Bedrock 正式可用,面向智能体编码、计算机使用和专业工作负载提供更强的推理能力。据 OpenAI 称,它在 DeepSWE v1.1 上达到 GPT-6 Astra 的水平,每任务成本约为后者的五分之一,并比 GPT-6 Sol 的最佳成绩高出 6.4 个百分点。

    推荐理由:原文给出 GPT-6.1 Sol 在 Bedrock 上的可用入口与成本对比,读者可据此判断智能体编码任务的性价比变化。

9月24日周四
  1. Microsoft Research62

    微软研究院:将物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。

    推荐理由:微软研究院系统测量了机器人端侧推理与卸载推理的差异,并给出可复用的 Kubernetes 卸载工具链。

  2. Google DeepMind62

    Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆

    Google DeepMind 公布 Private AI Compute 平台的新技术能力,将持久化服务端记忆引入该平台,让 AI 助手在跨设备场景下保留上下文,同时维持端侧级别的隐私标准。

    推荐理由:Google 给出私有 AI 计算加入持久化服务端记忆的架构思路,读者可了解云端长期记忆如何与端侧隐私标准结合。

9月22日周二
9月17日周四
  1. GitHub Blog · AI & ML70

    GitHub 用 Copilot 把 Copilot 运行时迁移到 Rust

    GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,AI 智能体写了大部分代码,跨 128 个 PR 增量合入 main。

    推荐理由:作者以亲历者身份给出把 43 万行 TypeScript 运行时原地迁移到 Rust 的完整工程方法,可迁移到大型重构。

9月16日周三
9月5日周六
  1. GitHub Blog · AI & ML71

    GitHub 发布 Project HydraFusion:多模型编排实现前沿质量

    GitHub 推出研究预览版 Project HydraFusion,在运行时通过多模型编排完成任务,用户可在 GitHub Copilot CLI 中通过 /experimental 选择 HydraFusion,按各模型标准费率计费。

    推荐理由:GitHub 官方披露 HydraFusion 的三种编排模式与三项基准的成本质量对比,可据此判断多模型编排在编码任务上的取舍。

8月13日周四