新闻、仓库与研究，按时间排列。
jocohen1990 在 GitHub 发布 llm-eval-project，一套针对 RAG 财务问答助手的端到端评测框架，用虚构公司 Kestrel Freight Analytics 的四份文档构造 golden 数据集，含规则 grader、LLM judge 和 CI 质量门。框架用变异测试、人工盲标校准（Cohen's kappa）和重复运行一致性来验证 judge 本身，judge-v2 在 50 条人工标注上 kappa 从 0.83/0.59 提升到 0.87/0.59，57 个植入错误全部被捕获。项目还测出相隔 9 天同一请求有 6/32 答案措辞漂移但无判定翻转，提示单次评测分数差异不能直接当作回归证据。
推荐理由：作者用变异测试、盲标校准和重复运行一致性来验证 LLM judge 本身，还测出相隔 9 天的答案漂移，方法可直接迁移到自己的评测流程。
GitHub 项目 AI-Quality-Evaluation-Pipeline 提供可嵌入 CI/CD 的 AI 质量评测流水线。LLM 评测用 Ollama + Qwen 2.5 3B，12 个用例 PASS 率 8.3%，发现间接提示词注入漏洞，LLM-as-a-Judge 比 keyword 检查更可靠；ASR 评测用 faster-whisper small（int8 量化），干净音频 WER 约 5.23%，噪声音频达 81.48%。
作者 /u/zhebrak 发布了自建基准 BrokenML，测试 Agent 在不同权限级别下修复故障 ML 作业的能力，场景包括双节点 Slurm 集群上的 PyTorch over Gloo 和 Docker Compose 里的 llama.cpp 服务器。故障类型覆盖 rank 间 shape 不匹配、挂起的 collective、straggler 节点、OOM、损坏的 checkpoint、调度问题、低服务吞吐和静默 loss 发散，由独立验证器在全新集群上复跑作业来打分。
apolskiy 发布 AP-Model-QC 仓库（MIT 许可），处于 Phase 3，包含 70 个分级用例：41 evaluator、21 security、8 tool，覆盖 gemini、openai、claude、grok 四个引擎。已记录 851 条候选响应、466 条评判和 14 项模型发现（openai 8、claude 5、grok 1、gemini 0），撤回的 15 项均为自身缺陷。每例观测 3 次、分歧时升至 5 次，11 项发现存在同题异答；录制回放让任何发现无需厂商账号即可复现，如 pytest --engine grok --mode replay --tests 134205。
一位开发者在双人合作游戏中将 Kimi、Claude、GPT、Gemini 两两配对测试协作能力，发现强强组合胜率最高，而加入第三或第四个智能体反而拖累所有模型，人类搭档的表现仍超过全部模型组合。作者来自 Skillprint，该公司通过此类游戏研究人与模型的协调能力。