hashirab 开源 llm-eval-harness 评测工具，用确定性指标对比模型与提示词

作者在 GitHub 发布 llm-eval-harness，一个轻量依赖的评测工具，对每个模型×提示词×测试用例多次运行，用关键事实召回率、幻觉率、不稳定性和延迟打分，并可在质量回退时让 CI 构建失败。附带的测试显示结构化提示词让 Gemini 3.5 Flash-Lite 和本地 Llama 3.1 8B 的召回率各提升约 5-6 个百分点，硬事实幻觉率不超过 1.5%；作者此前在 BT AI 学生岗位的论文中还发现简单约束提示词实现零幻觉并把本地延迟最多降低 85%。工具支持 Ollama、Gemini 和任何 OpenAI 兼容端点，评测数据为使用 RFC 5737 保留 IP 段的合成安全事件。