跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

217条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 21–40 条 · 共 217 条
10月12日周一
  1. IT之家60

    华大九天刘伟平:国产 EDA 工具覆盖率已提升到 85%,部分点工具达到国际先进水平

    华大九天董事长刘伟平在第 26 届中国国际工业博览会上表示,国产 EDA 工具覆盖率已提升到 85%,部分点工具达到国际先进水平,但仍缺乏全产业链支撑能力,部分工具性能有待进一步提升。

    推荐理由:原文介绍了国产 EDA 工具的发展情况,读者可以了解国产 EDA 工具的覆盖率和性能提升。

10月11日周日
10月9日周五
  1. Show HN68

    Wirepane:运行在 Claude Code 内的 HTTPS 调试代理

    Wirepane 是一个 Claude Code 插件,把 Claude Code 变成类似 Proxyman、Charles 或 mitmproxy 的 HTTPS 调试代理,可拦截并解密浏览器、iOS 模拟器、iPhone、Android 模拟器或手机的 HTTP/HTTPS 流量。

    推荐理由:Wirepane 把 HTTPS 抓包代理做成 Claude Code 插件,读者可据此判断移动端调试流程能省掉哪些步骤。

  2. Show HN62

    xcrashlytics:给 AI 编码智能体接入 Crashlytics 崩溃上下文的 macOS CLI

    xcrashlytics 是一个 macOS 命令行工具,把 Firebase Crashlytics 和本地 Xcode Organizer 崩溃报告中的崩溃消息、应用堆栈和影响面数据开放给编码智能体,支持 iOS、Android、macOS 等 Crashlytics 应用。

    推荐理由:作者把 Crashlytics 崩溃证据接进编码智能体,读者可据此判断调试流程能否少一次手工搬运。

  3. Show HN72

    Aura 发布自托管多用户 AI 智能体,支持每人独立图记忆

    Aura 是一个用 Go 编写的自托管、多用户 AI 智能体平台,每位用户拥有独立身份、记忆数据库、工作区和沙箱。它提供图原生记忆(ArcadeDB 存储事实、来源与有效期)、文档检索、延迟工具与 tool_search、MCP 服务器接入、定时任务与自唤醒,以及 CLI、Telegram 和 Web 驾驶舱三种交互渠道。

    推荐理由:原文给出自托管多用户智能体的架构与部署路径,读者可据此判断本地化 Agent 平台的落地成本。

  4. Show HN58

    Rinkata 发布面向编码智能体团队的共享项目上下文 Hub

    Rinkata 发布 Hub UI,为团队和 AI 智能体提供共享的项目事实来源,覆盖目标、规格、决策和完成证据。它通过 rinkata CLI 与 Codex、Claude、ChatGPT、Cursor、Grok、Gemini 集成,智能体可读写项目信息,需要判断时由人在 Needs attention 中 Accept 或 Reject。

    推荐理由:原文给出团队与编码智能体共享项目上下文的完整流程,可据此判断它如何嵌入现有工作流。

  5. Show HN62

    Viberuler 发布:测量 AI 编码上下文都花在哪

    Viberuler 是一个本地运行的 CLI 工具,扫描机器上的 Claude Code 与 Codex 会话日志,计算 token 消耗、每美元 token 数、提交代码行数、连续提交天数等指标并生成 VIBE SCORE 记分卡。

    推荐理由:工具把本地会话日志换算成 token 成本与上下文浪费清单,可据此判断自己的编码智能体开销结构。

  6. Show HN78

    DocFlare AI 开源文档问答机器人上线 Cloudflare 免费层

    DocFlare AI 是一个开源、零成本的文档站搜索与问答组件,完全基于 Cloudflare 原生服务,只需在文档页加一行 script 标签即可获得带来源引用的流式 RAG 问答,无需 OpenAI key、Pinecone 或服务器。

    推荐理由:原文给出了完整的 Cloudflare 免费额度预算与部署步骤,读者可据此判断自建文档问答的成本边界。

  7. Show HN71

    Pocketty 发布 iPhone SSH 终端,智能体阻塞时推送加密通知

    Pocketty 发布 iPhone 和 iPad 上的 SSH 终端,可在智能体被阻塞或完成时向手机推送通知,并直接在真实终端里接管该 Pane。通知由电脑端用手机密钥封装,经 Cloudflare Worker 中继和 APNs 转发,中继与 Apple 只能看到密文,且不存储内容。

    推荐理由:原文给出了端到端加密的智能体通知链路和与 Moshi 的逐项对比,可据此判断手机端接管编码智能体的可行路径。

  8. Show HN58

    Edge Delta 开源 AI SRE Arena,面向 Kubernetes 上 AI SRE Agent 的开放基准

    Edge Delta 在 GitHub 开源 Project Arena,一个面向 Kubernetes 上 AI SRE Agent 的厂商中立基准,可部署一次性集群、注入故障、导入任意产品的调查记录并用可配置的 AI 评委打分。

    推荐理由:开源基准把故障注入、调查记录导入和评分拆成独立步骤,读者可据此复现或对比不同 AI SRE 产品的调查能力。

10月8日周四
  1. Show HN58

    Nucleus 发布:以文档为状态、用类 CSS 规则驱动的 Web 应用架构

    Nucleus 发布了一套名为 ASO 的 Web 应用架构,主张以 HTML 文档本身作为应用状态,用类 CSS 的 Quark 规则观察页面并作出响应,配套的 Todo 示例不到 50 行代码、零应用 JS、无构建流程。

    推荐理由:原文给出了一套以文档为状态、用类 CSS 规则驱动的前端方案,并附可运行的 Todo 示例,便于判断其与现有 UI 框架的取舍。

  2. Show HN62

    Abyss 发布:为 ACP 智能体提供容器隔离与中间件支持

    Abyss 是一个在容器中运行智能体的编排器,用户按普通 ACP 智能体配置编辑器,由它处理 Docker 相关事项。它支持任意 ACP 客户端,提供 ACP 中间件插件、启动脚本与自动配置,并默认不向智能体暴露任何内容,文件系统和 shell 请求都在容器内执行。作者给出的对比显示,Docker Compose 和 Docker Agent 均不支持 ACP 中间件插件。

    推荐理由:原文给出 Abyss 在容器中隔离运行 ACP 智能体的配置方式与能力对比,读者可据此判断它和通用容器方案的差异。

  3. Show HN62

    Porch 发布 Mac 菜单栏工作日志,汇总 Claude Code 与 Codex 会话

    Porch 是一款开源 Mac 菜单栏应用,按项目、日、周、月汇总 Claude Code 和 Codex 的工作记录,包括做了什么、时间花在哪、卡在哪里,超过 10 分钟的休息不计入、并行工作只算一次。

    推荐理由:原文给出了按项目与周期汇总编码智能体工作记录的具体做法,以及本地存储和隐私边界,便于判断它是否适合自己的工作流。

  4. Show HN62

    llm-gauze 发布:为本地开源权重模型加一层 HTTP 网关

    llm-gauze 是一个位于本地 LLM 前的 HTTP 网关,通过 OpenAI 兼容 API 转发请求,并处理瞬时错误不重试、模型静默挂起或循环、空回复或粗糙回复、上下文窗口溢出、推理失控以及工具调用格式错误等问题,每次交互都会记录日志。

    推荐理由:面向本地开源权重模型的 HTTP 网关,把重试、循环检测与工具调用修复集中到客户端之前处理。

  5. Show HN71

    Phobos v0.1.0 发布:自研内核语言在 2019 年 RTX 2080 SUPER 上跑 LLM 推理

    作者发布 Phobos v0.1.0(v0.1.1 随后于 10 月 6 日发布),这是一个全部内核在运行时编译的 LLM 推理栈,不依赖 cuBLAS 或 CUDA toolkit,只需 NVIDIA 驱动。

    推荐理由:作者公开了在 2019 年 RTX 2080 SUPER 上自研推理栈与 llama.cpp 的逐模型对比数据,可据此了解旧卡上的量化推理取舍。

  6. Show HN78

    TinyWebUI 发布:自托管 AI 聊天界面,内置 MCP、搜索与记忆

    TinyWebUI 发布,这是一个本地优先的自托管 AI 聊天界面,可接入 OpenRouter、OpenAI、Groq、Ollama、vLLM、LM Studio 等兼容 OpenAI API 的端点,聊天、文档和工具输出都保存在本机一个 SQLite 文件中,无需托管后端或账号。

    推荐理由:原文给出了自托管聊天界面的完整能力清单与部署方式,读者可据此判断本地优先方案能否替代托管服务。

  7. Show HN71

    Tallyhook 发布:按客户为 Claude Code 和 Codex 日志计价

    Tallyhook 是一个无依赖的 Node.js 单文件工具,读取 Claude Code 和 Codex CLI 已写入本机的会话日志,按仓库、模型和客户折算 API 列表价成本,示例中 30 天 266 个会话合计 2740.96 美元。

    推荐理由:工具把本地会话日志按仓库和客户折算成可开票金额,并给出 MCP 与技能接入方式,适合按客户计费的开发者参考。

  8. The Decoder74

    Zenity Labs 发现 AWS Bedrock AgentCore 漏洞:一条提示词可劫持同账号全部智能体

    安全公司 Zenity Labs 称,AWS Bedrock AgentCore 存在被其命名为 AgentCorruption 的漏洞链,攻击者只需对一个公开可访问的智能体拥有对话权限,用一条提示词就能接管同一 AWS 账号和区域内的所有 AgentCore 智能体,读取私密对话、下载源代码并获取存储的凭证。

    推荐理由:Zenity Labs 披露的 AgentCore 漏洞链条显示,单个公开智能体即可横向接管同账号同区域全部智能体,并给出 AWS 的修复动作。

  9. Show HN58

    Privatrak 发布无代码隐私优先产品分析工具

    Privatrak 发布无代码、隐私优先的产品分析工具,通过可视化 Element Picker 点击元素即可追踪,无需写代码或部署,提供转化漏斗、路径分析、自定义仪表盘和 Click Problems 等功能,全程不使用 Cookie、localStorage 或指纹识别,也不存储 IP 地址。

    推荐理由:原文给出了无 Cookie 追踪与 MCP 接入 AI 助手查询分析的具体做法,可据此判断隐私优先分析工具的落地方式。