egnaro9 开源 model-drift：追踪 LLM 质量与速度漂移的公开观测看板

作者 Erik Hill 在 GitHub 开源 model-drift，一个 LLM 可观测性看板：冻结测试集按计划对 17 个在线模型每日各跑 35 个任务、每模型 3 次取中值，追踪准确率、速度、冗长度、可靠性与拒绝率五个指标，约 1,800 次调用每晚成本仅几美分。35 个任务全部由确定性评分器（精确匹配、子串、正则、数值比较）机械打分，温度设为 0（拒绝该参数的模型除外）；可靠性低于 50% 的运行不计入准确率点，identity.py 通过回显的模型 id 检测别名或路由降级。