llm-drift-monitor 发布 LLM 行为漂移监控工具

chandresh-pandey-ml 发布 llm-drift-monitor，用固定提示词面板定期探测模型回答，通过 KS、z 与 MMD 检验对比基线与近期窗口，检测回答长度、拒答率和语义分布的变化。项目在合成数据上给出校准结果：单次检验假警报率约 3.7% 至 5.0%，三检验合并经 Benjamini-Hochberg 校正后为 1.9%；要求标记连续两个周期才告警的规则平均延迟 0.97 天、每 100 天 0.2 次假警报。作者同时说明漂移只是线索而非质量结论，行为特征与分布检验互补，生产规模下按类别定位的召回率很低。