GitHub · 去对齐工具与仓库·· 20 天前AI 评分50
enhansome 开源 LLM Token 优化资源列表:覆盖提示词缓存、模型路由与压缩策略
enhansome/enhansome-llm-token-optimization
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/enhansome/enhansome-llm-token-optimization
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 仓库 enhansome-llm-token-optimization 汇总降低 LLM token 成本的策略、工具与论文,称 Agent 单任务可消耗 50K-100K tokens,组合优化可降本 80-99%。其中 Prompt Caching 在 Anthropic 可省 90% 输入 token,Batch API 打五折,模型路由可省 60-95%,LLMLingua 压缩提示词 5-20x,并收录 LiteLLM、Portkey、Bifrost 等路由工具。
来源:GitHub · 去对齐工具与仓库 · github.com