跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

217条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 81–100 条 · 共 217 条
10月7日周三
  1. Show HN62

    Schema:为 Postgres、MySQL 和 SQLite 提供可视化 Git diff 的开源工具

    作者发布开源工具 Schema,用 Rust 编写并编译为 WebAssembly,可为 Postgres、MySQL、SQLite 及 Rails schema.rb 生成交互式 ER 图和可视化 Git diff,无需数据库连接或账号。

    推荐理由:作者给出了一个离线可用的 schema 可视化 diff 工具,读者可据此判断它能否替代现有数据库建模流程。

  2. Show HN58

    PanelAlpha Engine 发布:把 VPS 变成可编程托管层,供 AI 智能体管理

    PanelAlpha Engine 发布,可将一台 VPS 变成可编程托管层,支持通过 MCP 连接任意 AI 智能体来部署和管理项目。官方称过去 30 天完成 3,408 次部署,其中 47% 首次尝试即成功。每个项目运行在独立 Docker 容器中,内置备份、SSL、FTP、数据库、CRON、日志、访问统计与 Cloudflare 连接,工具本身免费开源。

    推荐理由:原文给出了一款让 AI 智能体通过 MCP 管理 VPS 部署与运维的开源工具,并附有实际部署数据。

  3. Show HN68

    Token Barometer 上线 LLM API 价格追踪与云端本地成本计算器

    Token Barometer 上线,每日追踪 1302 个模型、3592 个托管报价的 LLM API 列表价格,统一换算为每 1M tokens 的美元价格,并提供完整价格历史与云端对比本地的成本计算器。数据每日从厂商定价页、官方 API 和聚合器刷新,页面标注价格来源与置信度,同时列出最新调价记录。

    推荐理由:收录 1302 个模型、3592 个托管报价的每日价格库,并附云端与本地成本对比计算器,便于横向比价。

  4. Show HN62

    Chorus 发布 Mac 应用:一次向多个 AI 同时提问

    Chorus 是一款原生 Mac 应用,把 ChatGPT、Claude、Gemini 等多个 AI 并排放在一起,用已有账号登录,无需 API key。它通过打开各 AI 官网、模拟输入并发送问题来工作,因此某个站点改版可能导致该处发送或答案检测失效。

    推荐理由:原文说明了多模型并排提问的实现方式与网页改版风险,便于判断这类聚合工具的可用边界。

  5. Show HN71

    Detangle:用 Rust 写的 JavaScript 依赖规则检查工具,VS Code 源码 0.18 秒完成

    作者发布 detangle,一个用 Rust 基于 oxc parser 和 resolver 实现的 JavaScript/TypeScript 依赖分析与架构规则检查工具,检查 VS Code 的 src/(10,118 个模块、113,342 条 import)耗时 0.18 秒,缓存后 84 ms。

    推荐理由:作者给出 detangle 与 dependency-cruiser、madge、ESLint 在同一仓库上的耗时与内存对比,可据此判断依赖检查能否放进日常编辑流程。

  6. Show HN62

    rGPU 发布:让 PyTorch 张量运行在远程 GPU 上

    rGPU 是一个把 GPU 计算放到远程 NVIDIA 机器、应用留在本地的项目,提供两条接入路径:可选用 rgpu 设备的 PyTorch 程序,以及面向现有 Linux CUDA 程序的 CUDA shim,覆盖 libcuda、CUDA Runtime、cuBLAS、cuBLASLt 和 cuDNN。

    推荐理由:项目给出 PyTorch 设备与 CUDA shim 两条接入路径,读者可据此判断远程 GPU 的接入成本与兼容边界。

  7. IT之家62

    华为徐直军称昇腾中国市场份额已超英伟达,950 超节点产能不足暂无全面出海计划

    华为轮值董事长徐直军在华为全联接大会期间的媒体问答中表示,根据华为收集的数据,昇腾在中国市场的份额已经超过英伟达。他称华为目前没有足够产能满足国内需求,因此没有计划将昇腾 950 超节点全面扩展到国际市场,仅向需求强劲的几个国家提供数量相当有限的供应并进行一些测试。徐直军还表示,中国推动芯片自给自足是不可避免的前进道路,华为将推动芯片和整个半导体价值链的完全自给自足。

    推荐理由:华为高管披露昇腾在国内市场份额与产能状况,读者可据此了解国产算力当前的供需格局。

  8. Show HN62

    Zit 发布 0.1.1:用写时复制工作区替代 git worktree 管理多智能体并行改动

    Zit 发布 0.1.1,这是一个 git 扩展,用写时复制工作区替代 git worktree,让多个开发者和编码智能体同时改同一仓库。每个会话在独立副本中工作,可声明文件或符号的占用,改动通过 zit accept 逐个合入,并检查是否与期间落地的改动冲突。

    推荐理由:原文给出多智能体并行改同一仓库时的冲突数据与磁盘占用对比,可据此判断是否值得替换 worktree 流程。

  9. InfoQ中文62

    MCP 新规范移除协议层会话,状态管理转移给应用

    亚马逊云科技介绍了最新版模型上下文协议(MCP)规范如何改变远程 MCP 服务器的部署方式,新规范移除了协议层会话,允许请求到达任意可用的服务器实例。更新后的规范移除了 initialize 和 initialized 握手流程以及 Mcp-Session-Id 标头,传统负载均衡器可将每个请求独立路由到任意实例,并引入可选的 server/discover 操作。

    推荐理由:梳理 MCP 新规范移除协议层会话后的部署变化,以及状态管理向应用侧转移带来的幂等性要求。

  10. Show HN71

    Puppet Master 发布 v0.10.0:统一管理多个编码智能体会话

    Puppet Master 发布 v0.10.0,可在 macOS 和 Linux 上统一生成并监管 Claude Code、Codex、Gemini 等多个编码智能体的真实会话,通过仪表盘、iOS 应用、pm attach 和 TUI 同时查看同一终端。

    推荐理由:原文展示了多智能体会话的统一管理与审批机制,读者可据此判断规模化运行编码智能体的可行路径。

  11. Show HN72

    cairn 发布:为编码智能体绘制多仓库地图

    cairn 是一个为编码智能体构建多仓库地图的开源工具,扫描一个文件夹下的所有 git 仓库并推断它们之间的依赖关系,生成常驻的 INDEX.md 索引和按需读取的仓库卡片,支持 Claude Code、Codex、Gemini CLI 和 Cursor。

    推荐理由:作者公开了多仓库地图的构建方式与基准数据,可据此判断跨仓库编码任务中上下文成本的变化。

  12. Show HN62

    Show HN:单机自托管 USDC 计费,为按量 API 收款,无需 Stripe 与银行

    作者发布一套自托管 USDC 计费方案,用单个 Node.js 进程和 SQLite 在 Base 与 Ethereum 上监听转账,按金额匹配未结订单并在确认后为 API key 充值,月成本 0 美元。

    推荐理由:原文给出了一套自托管 USDC 计费轨道的完整架构与真实结算数据,可迁移到按次计费的 API 场景。

  13. Show HN58

    HiddenContent 发布 MCP 服务器,检查 AI 智能体读取文档中的隐藏文本

    HiddenContent 发布一款 MCP 服务器,可在 AI 智能体读取文档前检测白字、微小字体、图片后文字和修订痕迹等隐藏内容,避免被隐藏指令误导。它通过扩展或 API 接入,支持 Claude 网页版与桌面版、ChatGPT、Claude Code 和 Cursor,GitHub 注册赠送 20 页免费额度,之后每页 1 美分,最低充值 10 美元。

    推荐理由:材料给出 MCP 服务在 Claude、ChatGPT 等客户端的接入步骤与计费方式,可据此判断文档隐藏内容检查如何嵌入现有流程。

  14. Show HN68

    GridCore:让多个本地 LLM 共享一块 GPU 的调度器

    作者发布 GridCore,一个位于应用与 GPU 之间的调度器,通过 OpenAI API 接收请求,按 interactive、background、batch 三类优先级决定谁先占用 GPU,底层仍由 llama.cpp 的 llama-server 逐模型进程执行推理。

    推荐理由:作者公开了调度器的设计取舍与真机压测数据,可看到本地多模型共享单卡的显存记账难点。