跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

217条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 101–120 条 · 共 217 条
10月7日周三
  1. Show HN62

    TOD 发布通用决策模型:约 400M 参数,前置拦截高置信度决策

    TOD 发布一个基于 Task Oriented Design 的通用决策模型,读取文本与图像、抽取事实并从可用动作中选出下一步,只处理有把握的回合,其余原样交给现有 LLM。

    推荐理由:TOD 用约 400M 参数的小模型前置拦截高置信度决策,给出了成本、延迟与校准误差的实测数据,可据此判断这类分层方案是否适合自己的工作流。

  2. Show HN62

    Vyasa 发布 Rust 编写的 AI 原生 CMS,作为 WordPress 替代方案

    Vyasa 是一个用 Rust 编写的 AI 原生内容管理系统,定位为 WordPress 的替代方案,内置编辑器写作辅助、AI 主题工作室、语义搜索与相关文章,并提供 MCP server 让智能体在与人相同的权限下工作,可接入 Anthropic 或 OpenAI 兼容的模型服务。

    推荐理由:原文给出 Rust 单二进制加 PostgreSQL 的部署路径,以及插件按声明权限校验的沙箱设计,可据此判断自托管 CMS 的落地成本。

  3. Show HN71

    Delegator 发布:并行调度多个编码智能体,结果汇总到一个收件箱

    Delegator 是一个用于并行调度多个编码智能体的工具,把任务结果集中到一个收件箱,用户无需盯住每个会话的输出流。它支持 Claude、Codex、Goose、OpenCode、GitHub Copilot、Cursor、Pi 以及自定义 ACP 智能体,可随时切换;每个任务分配独立分支和 Git worktree,并可按项目设置并发上限。

    推荐理由:面向同时调度多个编码智能体的开发者,展示任务收件箱、并发上限与 Git worktree 隔离的具体做法。

  4. Show HN78

    Orbit 发布本地优先的编码智能体运行时

    Orbit 是一个本地优先的编码智能体运行时,为 Claude Code、Codex、Cursor、Copilot 等九种 CLI 提供持久任务队列、隔离沙箱 worktree、文件级锁和以 pull request 收尾的门控流水线。

    推荐理由:Orbit 把编码智能体的任务队列、沙箱并行与审计日志做成单机运行时,可据此判断多智能体协作的落地方式。

10月6日周二
  1. Show HN68

    Codebase-guide 发布:让 Claude 读仓库自动生成上手文档

    Codebase-guide 是一个 Claude 插件,指向一个仓库后自动生成单个 HTML 上手文档,说明项目做什么、由哪些部分组成、一次真实请求如何流经代码,以及改某处该打开哪个文件。

    推荐理由:原文给出了从仓库生成离线 HTML 上手文档的完整流程与八段结构,可据此判断它能否替代人工架构说明。

  2. Show HN71

    ADHDev 发布:为任意编码 CLI 提供按仓库共享的任务队列

    ADHDev 发布开源自托管版(AGPL-3.0),为编码智能体提供控制平面:每个仓库一个共享任务队列,跨机器调度 Claude Code、Codex、Kimi、Cursor CLI、Antigravity CLI 等会话,每个任务在独立 git worktree 中运行。

    推荐理由:作者公开了多机任务队列与 Refinery 自动合并的设计细节,可据此判断多智能体并行落地的工程取舍。

  3. Show HN58

    Parseable 开源可观测数据湖发布,每分钟处理 1 亿条时序数据

    Parseable 发布开源可观测数据湖,宣称每分钟可处理 1 亿条时序数据,采用列式设计与对象存储原生架构,支持自托管 OSS、托管云和 BYOC 企业部署。它把日志、指标和追踪统一在一个平台,提供 SQL 与自然语言查询、仪表盘、告警和访问控制,并附带 MCP、Slack Bot、PAI、PB CLI、OTex 等工具。官方称通过 MCP 可将 AI 智能体接入实时遥测数据。

    推荐理由:原文给出开源可观测数据湖的架构与部署方式,读者可据此判断它是否适合自建遥测栈。

  4. Show HN78

    Vev 开源决策模型发布:对截图提问并返回每个答案的概率

    Vev 发布 v0.1 研究预览版,这是一个类似 Jev 的决策模型,可对文本、JSON 记录或截图提出是/否、多选或分级问题,并在约 40 ms 内返回每个允许答案的概率,不生成文本。

    推荐理由:开源决策模型给出逐选项概率而非生成文本,读者可据此判断它在截图判定类任务上的可用边界。

  5. Show HN58

    开源销售教练平台 Sales Coach 发布,对标 Gong 并采用 MIT 许可

    作者开源了 AI 驱动的销售教练与通话评估平台 Sales Coach,定位为 Gong 的开源替代方案,采用 MIT 许可。平台支持上传 MP3、WAV、M4A 通话录音并自动转录,可用 Gemini、OpenAI、Groq、Anthropic、DeepSeek 或 OpenRouter 等多家 LLM 进行评估,也提供无需 API key 的内置规则引擎。

    推荐理由:作者开源了一个可本地零配置运行的销售通话评估平台,读者可据此了解多模型评测与自托管部署的完整实现路径。

  6. Show HN62

    Lask 发布:带类型系统与固定 Docker 环境的任务运行器

    Lask 是一个带小型语言的任务运行器,用类型系统在命令执行前完成名称、参数与类型检查,并把执行环境作为值固定到指定 Docker 镜像上。它定位在 Makefile、Taskfile 与 Dagger 之间,任务即普通函数,支持跨项目按内容哈希固定导入、async/await 并发与密钥遮蔽,同一份定义可在本机和 CI 中运行。

    推荐理由:原文给出带类型系统与固定 Docker 环境的任务运行器设计,读者可据此判断它相对 Make 与 Dagger 的取舍。

  7. Show HN71

    TwinStub 发布:用 YAML 做确定性 API 模拟与签名 webhook 链

    TwinStub 是一个用 YAML 描述有状态场景、以真实 HTTP 服务器回放的确定性 API 模拟工具,支持会话状态、定时 HMAC 签名 webhook 链、重试与投递日志重放,单二进制本地或 CI 运行,MIT 许可。

    推荐理由:原文给出确定性 API 模拟与签名 webhook 链的实现方式,读者可据此判断集成测试中难复现边界用例的覆盖路径。