跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分50

enhansome 开源 LLM Token 优化资源列表:覆盖提示词缓存、模型路由与压缩策略

enhansome/enhansome-llm-token-optimization

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/enhansome/enhansome-llm-token-optimization

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 仓库 enhansome-llm-token-optimization 汇总降低 LLM token 成本的策略、工具与论文,称 Agent 单任务可消耗 50K-100K tokens,组合优化可降本 80-99%。其中 Prompt Caching 在 Anthropic 可省 90% 输入 token,Batch API 打五折,模型路由可省 60-95%,LLMLingua 压缩提示词 5-20x,并收录 LiteLLM、Portkey、Bifrost 等路由工具。

来源:GitHub · 去对齐工具与仓库 · github.com