Pith – 减少LLM输出token的代理

Pith是一个减少LLM输出token消耗的代理工具，通过监控路由、在更便宜的输出配置下重放样本、与基线答案进行比较，仅在结果与基线相当时才固定配置。在Anthropic API上进行了10次实时运行，平均减少了51%的token消耗，同时保持了信息质量。