LLM-Reliability-Lab 发布可靠性测试框架

Vedkhajone 在 GitHub 发布 LLM-Reliability-Lab，一个可复现的 harness，用于在受控条件下研究 LLM 行为可靠性，覆盖指令冲突、误导性上下文、不确定性/幻觉、提示注入鲁棒性、上下文敏感性与响应稳定性六项实验。项目方称软件已实现并通过 97 个离线测试，但测试基于 mock 响应，尚未运行真实模型实验，因此暂无研究发现；117 条种子数据集由模型生成且未经人工审核。 框架支持 Claude、OpenAI、Gemini、本地 Hugging Face 及 mock 适配器，内置成本上限与断点续跑机制；没有密钥的模型会被跳过。项目方称随附的 OpenAI 与 Gemini 模型 id 是未经验证的占位符（2026-11-06 的文档快照彼此不一致），Claude 的 id 来自 Anthropic 公布的列表。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。