hashirab 开源轻量 LLM 评测工具 llm-eval-harness
先了解这件事
开发者 hashirab 在 GitHub 发布开源评测工具 llm-eval-harness（MIT 许可），用于对比不同模型与提示词的效果。工具依赖轻量，对每个模型×提示词×测试用例组合多次运行，以关键事实召回率、幻觉率、不稳定性和延迟打分，并可在质量回退时让 CI 构建失败。支持 Ollama、Gemini 和任何 OpenAI 兼容端点。 作者称，附带的测试显示结构化提示词使 Gemini 3.5 Flash-Lite 和本地 Llama 3.1 8B 的召回率各提升约 5-6 个百分点，硬事实幻觉率不超过 1.5%；其此前论文中还发现简单约束提示词可实现零幻觉并将本地延迟最多降低 85%。作者说明代码由 Claude 作为编码代理编写，评测方法来自其论文，且工具不含 BT 的代码或数据；评测数据为使用 RFC 5737 保留 IP 段的合成安全事件。
AI 根据报道生成 · 18 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库精选hashirab 开源 llm-eval-harness 评测工具，用确定性指标对比模型与提示词
作者在 GitHub 发布 llm-eval-harness，一个轻量依赖的评测工具，对每个模型×提示词×测试用例多次运行，用关键事实召回率、幻觉率、不稳定性和延迟打分，并可在质量回退时让 CI 构建失败。附带的测试显示结构化提示词让 Gemini 3.5 Flash-Lite 和本地 Llama 3.1 8B 的召回率各提升约 5-6 个百分点，硬事实幻觉率不超过 1.5%；作者此前在 BT AI 学生岗位的论文中还发现简单约束提示词实现零幻觉并把本地延迟最多降低 85%。工具支持 Ollama、Gemini 和任何 OpenAI 兼容端点，评测数据为使用 RFC 5737 保留 IP 段的合成安全事件。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月5日 22:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。