Show HN· dannyboland·· 7 天前精选AI 评分60
Sturnus:基于延迟的LLM负载均衡器发布
Show HN: Sturnus, a latency-based LLM load balancer
AI 导读
Sturnus是一个轻量级的负载均衡器,它位于应用程序旁边,公开了与OpenAI兼容的API,并自动将流量切换到当前最快和可用的提供商。
推荐理由
原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
来源:Show HN · github.com