跳到正文
我的
GitHub · 灵魂体仓库·· 3 天前精选AI 评分57

neurohive.io 开源 12 项可验证任务的模型评测基准 neurohive-bench

neurohiveexp/neurohive-bench

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/neurohiveexp/neurohive-bench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

neurohive.io 在 GitHub 开源其自用模型测试基准 neurohive-bench,包含 12 项小任务,覆盖俄语文本摘要与纠错、代码修复、JSON 解析和定价逻辑等类别,用于对比本地模型与云端 API 的解题成本。评测采用确定性规则校验而非 LLM 评审,任务文本均为虚构内容以防模型记忆答案;任何人可用 Python 3.10+ 复跑,支持 OpenAI 兼容 API 与本地模型,代码任务在带超时的子进程中运行,官方建议在容器或 VM 中执行。

推荐理由

基准用确定性规则替代 LLM 评审,测试文本全为虚构以避免记忆泄漏,读者可以自行复现本地模型与云端 API 的对比数据。

来源:GitHub · 灵魂体仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。