跳到正文
GitHub · 去对齐工具与仓库·· 6 天前AI 评分44

reasoning-bench:GitHub 开源的可复现 LLM 推理能力基准

01382253386/reasoning-bench

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/01382253386/reasoning-bench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源 reasoning-bench,一个可复现的基准,用于在受控条件下测量 LLM 的特定推理能力,并检验这些能力在问题表面变化后是否保持。v0.1 规划 5 个赛道,其中假设检测赛道含 99 个基础场景(含变体共 367 个测试项),每题生成原始、表面扰动、加干扰项三个版本,每模型每题跑 5 次报告均值与方差,核心指标为鲁棒性差距。项目仅用 Python 标准库(3.8+),支持 GitHub Codespaces 复现,首批结果仅覆盖一个免费模型。

来源:GitHub · 去对齐工具与仓库 · github.com