跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

217条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 121–140 条 · 共 217 条
10月6日周二
  1. Show HN58

    Sodabase 上线:监控并修复异常的 Supabase 表

    Sodabase 发布,用于发现 Supabase 表出现陈旧、空或数据错误的情况。它会学习每张表正常的更新频率和数据形态,在异常时定位到背后的 cron job、edge function、同步任务或 agent,并把原因和修复建议发到 Slack。

    推荐理由:原文给出监控 Supabase 表异常并定位到具体 cron 或 edge function 的流程,可了解数据管道排障的自动化思路。

  2. Show HN72

    Tofu 发布 MCP 部署工具,让编码智能体上线全栈应用

    Tofu 发布面向编码智能体的部署工具,通过 MCP 接入 Claude Code、Codex、Cursor 等,把托管、数据库、域名、Google 登录、邮件和分析整合为一个账号,官方称约 10 分钟可让应用上线,而按各家文档累加的传统流程约需 5.5 小时。

    推荐理由:Tofu 把托管、数据库、域名、登录等八项服务收进一个账号,由编码智能体通过 MCP 完成部署,可据此判断智能体接管运维的边界。

  3. Show HN62

    Speck 发布:为小型本地 LLM 设计的持久认知运行时

    Speck 是一个面向小型本地 LLM 的认知运行时,把记忆、注意力、证据、规划、元认知等机制从提示词移到持久化软件中,模型可随时卸载、更换或迁移而不丢失任务认知状态。

    推荐理由:作者把记忆、证据、规划等认知机制从提示词搬进运行时,读者可据此判断小模型智能体的架构取舍。

  4. Show HN62

    Thyme 发布 AI 逆向工程 IDE,支持 APK 与 ARM 反汇编

    Thyme 是一款面向 macOS、Linux 和 Windows 的原生逆向工程 IDE,可打开 APK、DEX、JAR/WAR、IPA 和 dylib,还原 Java 源码并输出 A64、A32、T32 的 ARM 反汇编,结果统一落在 DuckDB 工作区,调用图可用 SQL 查询。

    推荐理由:原文列出可解析的格式、免费与付费边界以及本地分析方式,便于判断它能否接入现有逆向流程。

  5. The Decoder58

    Cohere 发布 North 2,定位可接入任意模型的企业 AI 控制台

    Cohere 将企业平台升级为 North 2,用于统一管理 AI 智能体,可自主处理多步工作流并跨会话保留上下文。新编排系统让智能体接入共享知识库和可复用技能,并连接 Slack、SharePoint、Jira 等工具,还能在对话中根据文本提示生成演示文稿、仪表盘和简单应用。

    推荐理由:North 2 把多步智能体工作流、共享知识库与人工审批放进同一企业控制台,可据此判断企业级智能体的落地形态。

  6. Show HN62

    Crowsnest:在本地 macOS 工作区协调 Claude Code 与 Codex 多智能体

    作者发布 Crowsnest,一个本地 macOS 工作区,用于同时协调 Claude Code 和 Codex 两个编码智能体。当一个账号触及 provider 配额时,它可把紧凑简报引用到已登录的第二个订阅账号下继续,并保留回原始会话的可见血缘,属于显式分叉而非原生 resume。

    推荐理由:作者把多账号续接、跨 provider 交接和本地用量统计的具体做法写清楚了,可据此判断多智能体工作流的组织方式。

  7. Show HN62

    jev-browser-wingman 发布:通过 MCP 代理把智能体的浏览器点击交给 TypeSafe 的 Jev

    jev-browser-wingman 是一个 MCP 代理,把 AI 智能体的浏览器点击和输入交给 TypeSafe 的 Jev 决定操作哪个元素,不确定时把该步骤交回智能体。

    推荐理由:原文给出 wingman 与 Playwright 在 17 项浏览器任务上的完成率、成本与耗时对比,可据此判断 MCP 代理接管点击的取舍。

  8. Show HN62

    Figxit:为 macOS 终端提供 IDE 式自动补全

    Figxit 发布,为 macOS 终端提供随输入自动弹出的补全窗口,列出命令、子命令、选项、脚本和 Makefile 目标,并按当前项目的历史使用频率排序。它复用 Fig 的开源补全规格,覆盖 700+ 工具,读取 Atuin 历史做排序,本地运行、无账号、无遥测,仅支持 Apple Silicon 的 macOS 13 及以上。

    推荐理由:Fig 被收购后独立补全消失,这个本地工具把自动弹窗、补全数据和历史排序重新拼在一起,并说明了各 shell 的适配代价。

  9. IT之家62

    GLM-5.3 上架 Amazon Bedrock,智谱与 AWS 按调用量分成

    亚马逊云科技旗下大模型平台 Amazon Bedrock 接入智谱 GLM-5.3,AWS 基于模型调用量与智谱进行收入分成。智谱近期还与多家海外云厂商落地收入分成模式,国内已与阿里云百炼平台签署类似协议,华为云已上架 GLM-5.3 并就类似合作达成意向。财报显示,智谱 2026 上半年营业总收入 9.54 亿元,同比增长 399.7%,归母亏损 20.71 亿元,同比收窄 12.1%。

    推荐理由:智谱在海外云平台采用收入分成模式,读者可据此观察国产大模型的出海商业化路径。

  10. IT之家62

    我国空心光纤在宁夏中卫智算中心间投入商用,时延与损耗直降 30% 以上

    我国下一代通信关键技术空心光纤已率先在宁夏中卫的智算中心间投入商用,传输时延与损耗直降 30% 以上。通信工程师本月在宁夏中卫相距 30 公里的数据中心之间首次大规模部署该光纤,以解决算力需求地与数据中心相隔上千公里带来的超高时延问题。该光纤直径不足 0.4 毫米,内部嵌入 20 根微型玻璃圆柱,光信号在接近真空的空气通道中传输,速度可达光速的 99.7%,高于传统光纤约 69.5% 的物理极限。

    推荐理由:空心光纤在宁夏中卫智算中心间商用,时延与损耗直降 30% 以上,可了解算力网络传输环节的实际进展。

  11. AWS Machine Learning Blog58

    GLM 5.3 上线 Amazon Bedrock

    智谱(Z.ai)的 GLM 5.3 已在 Amazon Bedrock 上线,该模型为 753B 参数的 MoE 架构,面向编码与长周期智能体任务,Z.ai 报告其在 CyberGym 基准上取得 84.5 分。

    推荐理由:原文给出 GLM 5.3 在 Bedrock 上的接入方式与提示词缓存用法,读者可据此评估托管推理的落地成本。

  12. Show HN71

    sondahub 发布免费公共 API 实验室,提供 7 套模拟 API 与 MCP 测试服务器

    sondahub 上线免费公共 API 实验室,提供电商、IoT、银行、社交、客服、航班和公司目录 7 套模拟 API,共 78,076 条关联记录、37 个集合,覆盖 REST、GraphQL、OData、gRPC-Web、SOAP、JSON-RPC、XML-RPC、Socket.IO、WebSocket、SSE、MQTT 和 MCP 等协议。

    推荐理由:材料给出了无需注册即可调用的多协议模拟 API 与 MCP 测试服务器,可用来评估它能否替代自建 mock 服务。

  13. Show HN71

    Ototo 发布:把代码探索交给小模型的 MCP 服务器

    Ototo 是一个面向 Claude Code 和 OpenCode 的 MCP 服务器,把代码探索交给用户自选服务器上的小模型,只把带 path:line 校验的简短答案返回给主智能体,探索过程的上下文用完即弃。

    推荐理由:原文给出了把代码探索交给小模型的上下文节省思路和实测数字,可据此判断是否值得接入现有编码流程。

  14. Show HN58

    CoIsland 发布:把开发告警和编码智能体收进 Mac 刘海

    CoIsland 是一款面向 Apple Silicon Mac(macOS 14 及以上)的原生 Swift 应用,把代码、部署、数据、工单和 on-call 的告警集中到屏幕顶部的刘海,目前支持 35+ 连接器,包括 Snowflake、Databricks、dbt、GitHub、Vercel、Jira、Linear、Sentry、PagerDuty 等。

    推荐理由:作者以自身多工作区经历说明把告警收进 Mac 刘海并交给编码智能体的做法,可看其如何减少工具切换。

  15. Show HN71

    Cold Email Killer:用 Google Apps Script 自动归档 Gmail 冷推销邮件

    作者发布开源脚本 Cold Email Killer,在 Gmail 中识别冷推销邮件并打上 Cold Email 标签后归档,代码运行在用户自己的 Google Apps Script 中,每 10 分钟检查一次。

    推荐理由:原文给出了规则加 AI 的过滤流程、置信度阈值和自托管选项,可据此判断这类脚本能否接入自己的邮箱工作流。

  16. Show HN62

    Spectra-FFT 发布:将 LLM 训练的 AdamW 显存占用降低约 50%

    Spectra-FFT 发布,作为 AdamW 的即插即用替代优化器,在频域存储优化器状态,官方称可将优化器显存占用降低约 50% 以上,用一行代码替换 AdamW(...) 即可接入现有 PyTorch 训练脚本。

    推荐理由:原文给出优化器替换方式与显存占用变化,读者可据此判断受限硬件上全参微调的可行性。

  17. Show HN58

    smol machines 发布 smolvm:支持分支运行中机器与检查点血缘

    smol machines 发布 smolvm 1.18.0 及后续版本,用共享内存和写时复制实现运行中机器的分支,源机器暂停约 80 ms 后继续运行,子机器拥有独立名称、主机名、machine id 和端口,磁盘一并复制。

    推荐理由:对比 Firecracker 快照,说明分支运行中机器与保留检查点血缘的设计取舍,便于判断适用场景。