跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

217条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 41–60 条 · 共 217 条
10月8日周四
  1. Show HN58

    Etchv 发布图片、PDF 与视频隐形水印 API

    Etchv 发布隐形水印 API,可在图片、PDF 和 H.264 MP4/MOV 视频交付前嵌入水印,之后通过检测接口回溯到对应的交付记录。官方称水印嵌在像素中而非叠加可见标识,提供 HTTP 接口和六个官方 SDK,并支持 MCP server、Zapier 与 n8n 集成。Etchv 表示检测结果只能识别文件来自哪份副本,不能证明是谁分享的,且经过压缩、缩放或裁剪后不保证仍可检测。

    推荐理由:原文给出两次 API 调用即可嵌入与检测隐形水印的流程,并说明编辑后检测不保证,读者可据此判断适用边界。

  2. Ars Technica · AI58

    Nvidia 押注物理 AI,推出 Halos for Robotics 安全系统

    Nvidia 在物理 AI 领域投入数十亿美元,其 Halos 安全系统于 2025 年推出,为自动驾驶汽车等提供硬件和软件工具以设置安全护栏。2026 年 6 月,Nvidia 将该安全架构扩展至更多物理 AI 技术,发布 Nvidia Halos for Robotics,目标是支持仓库自主移动机器人、工厂人形机器人乃至手术机器人的安全部署。

    推荐理由:梳理 Nvidia 从 Halos 到 Halos for Robotics 的安全架构布局,读者可了解物理 AI 落地中安全环节的推进节奏。

  3. Show HN62

    LLMSchema 发布:把数据库结构导出为紧凑 Markdown 供 AI 智能体使用

    LLMSchema 是一个从 PostgreSQL、MySQL 和 SQLite 提取数据库结构并生成简洁 Markdown 文档的工具,供 AI 编码智能体理解数据模型。它默认输出单个可移植文档,也可按表生成多个文件,让智能体只加载与任务相关的表,避免无关细节占满上下文窗口。工具支持表过滤、排除表、CI 集成,并提供 Go CLI 和库,作者提醒它面向开发数据库,不应用于生产关键文档。

    推荐理由:工具把数据库结构压缩成 Markdown,方便 AI 编码智能体按需加载,减少上下文浪费。

  4. 开源中国62

    微软为 Windows 提出本地云端 Agent 中间层定位

    微软在 10 月 7 日官方博客《Building Windows for hybrid intelligence》中把 Windows 重新定位为「Agent 住的地方」,核心是解决 AI 工作本地跑还是云端跑的路由问题。整理文件、改设置、总结本地文档等小型私密任务交给笔记本自带的模型,需要长推理的大任务再送云端。该博客并未发布全新大模型。

    推荐理由:微软把 Windows 定位为本地与云端之间的 Agent 路由层,读者可据此理解端侧 AI 的落地路径。

  5. 爱范儿72

    微软发布 Surface Laptop Ultra 与 Windows 混合智能更新

    微软在特别发布会上推出 Surface Laptop Ultra,搭载 NVIDIA RTX Spark Superchip,最高 128GB 统一内存,可在本地运行超过 1200 亿参数模型,起售价 2599 美元,10 月 7 日开放预订、10 月 16 日发货。

    推荐理由:微软把 Windows 的 AI 能力从 Copilot 入口推进到系统级 Agent 与本地模型调度,读者可据此判断 AI PC 的硬件与软件路线变化。

  6. 开源中国72

    Docker 推出官方 Agent 工具:YAML 定义、任意 MCP、OCI 镜像分发

    Docker 官方上架新工具 Docker Agent,用声明式 YAML 配置定义 Agent,支持配置工具和多 Agent 编排。它是 docker CLI 插件,安装 Docker Desktop 4.63+ 后可直接使用 docker agent 命令,也可通过 Homebrew 安装,并支持任意 MCP 与 OCI 镜像分发。

    推荐理由:Docker 把 Agent 定义、MCP 接入和 OCI 镜像分发收进 docker CLI,读者可据此判断 Agent 交付方式的变化。

  7. InfoQ中文71

    Vercel Labs 发布实验性编译器 scriptc,可将 TypeScript 编译为原生可执行文件

    Vercel Labs 发布实验性编译器 scriptc,采用 Apache 2.0 许可证,可将普通 TypeScript 编译为不含 Node、V8 或任何 JavaScript 引擎的原生可执行文件,仓库已获约 4900 个 Star。

    推荐理由:材料同时给出启动、内存与吞吐的对比数据,读者可据此判断这类原生编译方案当前适合与不适合的场景。

  8. IT之家62

    英特尔网卡驱动被曝破坏 IPv6 连接,OneNote、OneDrive 与 Microsoft 365 遭殃

    德国科技博客 BornCity 报道,一名用户发现通过 Windows Update 安装的英特尔网卡驱动存在 Bug,会静默破坏 IPv6 连接,导致 OneNote、Microsoft 365、OneDrive、Teams 及 Azure 门户无法正常使用。

    推荐理由:一条由用户借助 Claude 完成数据包级取证定位的驱动缺陷,展示了 IPv6 Flow Label 被清零如何影响微软云服务。

  9. Show HN58

    Railcode 发布面向企业内部软件的安全云平台

    Railcode 发布面向企业内部软件的安全云平台,定位为“公司内部的 Vercel”。作者称其源于员工获得 Claude Code 或 Codex 后本地构建应用与智能体,却因内部政策难以安全分享,或直接部署到 Vercel 造成软件散乱、认证割裂、API key 管理不安全等问题。

    推荐理由:面向企业内部分享 AI 生成工具的场景,给出权限、连接器与审计的集中管理思路。

  10. IT之家71

    GitHub Copilot 支持本地 AI 模型推理,Surface Laptop Ultra 解码吞吐最高每秒 63 词元

    微软在旧金山发布会上宣布,GitHub Copilot 将在本月底前支持本地 AI 模型推理,开发者可在云端模型与设备端模型之间自动或手动切换。用户可在 GitHub Copilot CLI、Copilot 应用与 Visual Studio Code 中设置偏好,通过 Windows ML 选择 MAI Code 1.1 Flash,或连接 OpenAI 兼容的本地端点。

    推荐理由:微软把 Copilot 的推理从纯云端扩展到设备端,并给出本地模型的参数与吞吐数据,可据此判断端侧编程助手的落地条件。

  11. Show HN62

    SheetRelay 发布:把 Google Sheets 变成网页和 AI 智能体的后端 API

    SheetRelay 在 Show HN 发布,可将一张 Google Sheet 连接一次后变成 API,供 AI 助手和代码按设定规则读写。它支持 MCP,Claude、ChatGPT 和 Cursor 可直接连接,每个标签页有读、增、改、删四个独立开关,新标签页默认只读,被隐藏的列不会出现在响应和助手看到的描述中。

    推荐理由:把 Google Sheets 变成带权限和日志的 API,读者可据此判断现有表格能否直接接入 AI 助手与代码。

  12. Show HN58

    Chloe:用 TypeScript 编写的 AI 智能体在 Show HN 发布

    Chloe 是一个用 TypeScript 编写的 AI 智能体,作者在 Show HN 发布并给出与多款同类工具的逐项对比。它把纯代码、AI 调用和带工具的智能体写在同一个任务里,按代码顺序执行,支持任意模型提供商,内置定时运行、按步计费和本地仪表盘,记忆以 Markdown 文件保存在 git 中,采用 MIT 许可并全部运行在本地机器上。

    推荐理由:对比表把代码化智能体与主流框架在调度、成本、记忆等维度逐项摊开,便于判断取舍。

  13. TechCrunch · AI62

    微软发布搭载 Nvidia RTX Spark 芯片的 AI PC 与工作站,并更新 Windows 11

    微软在旧金山 Tech Week 活动上公布新款 Surface Laptop Ultra 的规格与价格,两个基础型号分别 2,600 美元和 3,700 美元起。

    推荐理由:微软公布 RTX Spark 版 Surface 的规格与定价,并给出 Execution Containers 这一智能体沙箱能力,可据此判断端侧 AI 开发硬件的成本门槛。

  14. NVIDIA Blog62

    NVIDIA 与 Microsoft 发布 RTX Spark 笔记本及 Windows 智能体基础设施

    NVIDIA 与 Microsoft 在旧金山 Windows AI and Surface 活动上宣布,将软硬件协同设计用于在 Windows PC 上运行 AI 智能体,并开放 RTX Spark 笔记本预售,10 月 16 日发售,紧凑型台式机 11 月上市。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力一并给出,读者可据此判断本地智能体的落地条件。