跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

217条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 61–80 条 · 共 217 条
10月8日周四
  1. IT之家62

    英伟达发布 RTX Spark 超级芯片平台,称已测试超 1200 款应用

    英伟达在旧金山发布会上推出 RTX Spark 超级芯片平台,黄仁勋称这是全球唯一能在设备端原生运行所有应用的电脑,可运行 DirectX、OpenGL 及全部 CUDA 应用。英伟达已测试超过 1200 款应用在该平台上的性能和兼容性,并称几乎所有笔记本、台式机和工作站厂商都已加入合作阵营。黄仁勋表示该设备既是工作工具,也可作为个人助理。

    推荐理由:黄仁勋在发布会上给出 RTX Spark 的兼容性测试规模与生态定位,读者可据此判断本地 AI PC 路线的落地边界。

  2. Show HN68

    Terse:把 Claude Code 回复长度减半的插件

    作者发布 Claude Code 插件 Terse,通过一套写作规则把回复长度减半并去掉套话。在 20 条真实代码库提示词上,Fable 5.1 词数减少 46%、成本降低 51%,Opus 5.5 词数减少 54%、成本降低 32%;规则适用于回复、文档、提交信息和子智能体,并附带状态栏上下文用量表。插件可从 Claude 目录或 GitHub 安装,作者称插件不发起网络请求、不收集数据。

    推荐理由:作者公开了插件规则、基准方法与逐模型数据,读者可据此判断精简输出风格对成本与回复长度的影响。

  3. Show HN68

    Manifestack 发布开源技术栈审计工具,可在编码智能体内运行

    Manifestack 是一个开源技术栈审计工具,可运行在 Claude Code、Cursor、Codex 等编码智能体内,检查前端、后端、worker、基础设施和第三方 API 的预算、配额与合规要求。

    推荐理由:原文给出了在编码智能体内做技术栈审计的具体机制与只读边界,读者可据此判断它能否接入现有工作流。

  4. Show HN58

    Preference Model 开源 RL 环境框架 Karotte

    Preference Model 开源了用于构建稳健 RL 环境的框架 Karotte,需要 Python 3.12+ 和 uv,默认在 VM 中运行,macOS 用 Apple container、Linux 用 Firecracker,也支持 docker 或 podman。

    推荐理由:原文给出安装命令、默认 VM 运行时和任务运行流程,读者可据此判断它是否适合搭建自己的 RL 环境。

  5. The Verge · AI58

    微软 Surface RTX Spark Dev Box 开启预售,售价 5999 美元

    微软面向开发者的高端 AI 迷你主机 Surface RTX Spark Dev Box 开启预售,售价约 6000 美元,11 月开始发货。该机采用 Nvidia Arm 架构的 RTX Spark 平台和 128GB 统一内存,可运行超过 120B 参数的模型,用于测试 AI 模型、原型化 AI 智能体或在本地运行 AI 编码工具。

    推荐理由:面向开发者的本地 AI 迷你主机给出价格、内存与预装工具,可据此判断本地跑大模型的硬件门槛。

  6. Show HN71

    Weft 发布:为多编码智能体协作提供实时编辑校验

    Weft 是一个面向编码智能体团队的协调工具,智能体在编辑时就把工具调用改动提交到按仓库划分的排序器,排序器基于已接受改动校验并返回可操作的诊断信息,人类可查看同一事件流并批准、暂停、留言、撤销或检查证据。

    推荐理由:原文给出多智能体并发编辑的协调协议与可运行演示,读者可据此判断无文件锁协作的可行路径。

  7. Show HN71

    Trigora 发布持久化执行平台,用 TCC 替代历史重放

    Trigora 发布面向长时运行 AI 智能体和程序的持久化执行平台,支持用 TypeScript、Python 或 Rust 编写业务逻辑,可在事件、定时器、外部调用和子程序之间挂起执行,并在故障后从已提交的续体状态恢复,而不重放已完成的执行历史。

    推荐理由:原文给出 TCC 与历史重放两种恢复路径的差异,读者可据此判断长时运行智能体的状态恢复方案。

10月7日周三
  1. Show HN58

    Chelis 发布面向智能体的张量语言,可在运行前检查并证明属性

    Chelis 是一个面向智能体编写、人类监督的数值计算语言,张量在类型中携带具名维度和精度,编译器在运行前检查形状、精度、副作用与所有权,例如维度不匹配会直接报错而非算出错误结果。

    推荐理由:Chelis 把张量维度与精度写进类型并由编译器在运行前拦截错误,还通过 MCP 把检查与证明能力交给智能体调用。

  2. Show HN62

    InBrief:开源 AI 新闻聚合器,用 LLM 过滤 94 个信源

    作者发布开源可自托管的 AI 新闻聚合器 InBrief,从 RSS、Hacker News、Reddit、X、YouTube 和 GitHub Trending 共 94 个信源抓取内容,经 LLM 做相关性过滤、中英双语摘要、标签提取和重要性打分,再用 SimHash 加 pgvector 两阶段去重后存入 PostgreSQL。

    推荐理由:作者公开了聚合 94 个信源的完整抓取与 LLM 筛选管线,可据此评估自建 AI 资讯流的成本与取舍。

  3. Show HN62

    Show HN:一个让 Claude Code 智能体成为看板成员的工单追踪器

    作者发布开源工单追踪器 TaskManager,智能体是看板的一等成员,拥有角色、token 和 REST/MCP 接口,可由编排器或 Claude 作为连接器领取工单、执行并回报。

    推荐理由:作者公开了一个把 AI 智能体当作看板正式成员的开源工单系统,读者可据此了解智能体接入协作流程的具体做法。

  4. Show HN62

    HashCortX 3.0.0 发布:本地优先 AI 工作台,支持 11 家云厂商与 Ollama

    HashCortX 发布 3.0.0 版本,这是一个本地优先的 AI 工作台,可接入 11 家云厂商、Ollama 以及任何支持通用聊天格式的本地模型应用,并使用用户自己的密钥。

    推荐理由:作者公开了本地优先 AI 工作台的完整架构与安全边界,可据此判断本地模型与云端模型混用的可行路径。

  5. Show HN74

    Cockpit 发布 Claude Code 会话实时仪表盘插件

    Cockpit 是一个 Claude Code 插件,在会话旁提供实时面板,显示上下文占用、5 小时与 7 天限额、花费、子智能体、工具调用、改动文件和测试运行,每个区块可展开查看细节。

    推荐理由:原文把长会话里的上下文占用、限额、花费和子智能体状态搬到面板上,并给出安装命令与守卫范围,读者可据此判断是否接入自己的 Claude Code 工作流。

  6. Show HN68

    VeriQuote:开源 LLM 引用核查流水线,双重校验对抗幻觉

    VeriQuote 是一个开源 TypeScript 库和 CLI,要求模型为每条引用附上逐字引文,并用确定性匹配器和 LLM 裁判各查一遍,两者都通过引用才算合格。作者引用一项临床指南问题研究称,前沿模型 98% 的论断逐字引用了来源,但只有 37% 的论断被引文完全支持。代码、基准和原始结果已发布在 GitHub,可通过 npm install veriquote 安装。

    推荐理由:原文给出双重校验的引用核查流程与可复现基准,读者可据此判断引用幻觉的检测边界。

  7. Show HN71

    Nimblegate 发布 AI 智能体 git 推送网关,拦截泄露密钥与不安全推送

    Nimblegate 是一个位于 AI 智能体与真实 git 主机之间的推送网关,对智能体的每次 push 按已启用规则检查,安全推送在一秒内转发到上游,不安全的推送被拦下并给出报告。

    推荐理由:原文给出网关拦截规则与自托管入口,读者可据此判断 AI 智能体推送流程中如何加一道检查。