thriftllm 开源预发布：按每质量点预期成本路由 LLM 调用

Harunercul 在 GitHub 发布 thriftllm 预发布版，一个把 LLM 调用路由到能胜任的最便宜模型的决策层工具。它按 $ per quality point 排序，预测输出长度、分层费率、缓存状态和 reasoning tokens 来计算单次请求的预期成本，而非常见的 input_rate + output_rate 求和；缓存折扣损失在决策时计价，会话亲和性在实测节省超过缓存损失时才切换模型。定价核心及测试已完成，路由器、基准和实测节省数字尚未完成，README 未写节省百分比。