跳到正文
原文
Show HN· dannyboland·· 7 天前精选AI 评分60

Sturnus:基于延迟的LLM负载均衡器发布

Show HN: Sturnus, a latency-based LLM load balancer

AI 导读

Sturnus是一个轻量级的负载均衡器,它位于应用程序旁边,公开了与OpenAI兼容的API,并自动将流量切换到当前最快和可用的提供商。

推荐理由

原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

来源:Show HN · github.com