跳到正文
GitHub · 灵魂体仓库·· 11 天前AI 评分51

llm-cost-optimizer 开源 LLM 降本工具包,含五层策略与省钱仪表盘

jt-mchorse/llm-cost-optimizer

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/jt-mchorse/llm-cost-optimizer

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

jt-mchorse 在 GitHub 发布 llm-cost-optimizer,一个面向生产环境的 LLM 降本工具包,包含 prompt 缓存包装器、基于 embedding 的语义缓存、不确定性路由的模型回退、Anthropic Batch API 集成和 Streamlit 省钱仪表盘,各层可独立采用。包装器免依赖、以 duck-typing 方式对接 Anthropic SDK,逐调用输出 CacheTelemetry 并区分 0.10x 读折扣与 1.25x 写附加费,建议以 net_dollars_saved 判断缓存是否划算。

来源:GitHub · 灵魂体仓库 · github.com