跳到正文
原文
Show HN· ggeorgovassilis·· 25 天前精选AI 评分62

llm-gauze 发布:为本地开源权重模型加一层 HTTP 网关

Show HN: Gauze fixes (some) open-weight LLM deficiencies

AI 导读

llm-gauze 是一个位于本地 LLM 前的 HTTP 网关,通过 OpenAI 兼容 API 转发请求,并处理瞬时错误不重试、模型静默挂起或循环、空回复或粗糙回复、上下文窗口溢出、推理失控以及工具调用格式错误等问题,每次交互都会记录日志。

推荐理由

面向本地开源权重模型的 HTTP 网关,把重试、循环检测与工具调用修复集中到客户端之前处理。

来源:Show HN · github.com