GitHub · 去对齐工具与仓库·· 18 天前AI 评分43
PaperStrange 开源 Personal-LLM-Benchmark:三任务工作流评测包
PaperStrange/Personal-LLM-Benchmark
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/PaperStrange/Personal-LLM-Benchmark
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
PaperStrange 在 GitHub 发布 Personal-LLM-Benchmark,用合成 fixture 代码库按工作流评测模型与 agent harness,含 T1 架构梳理、T2 三 subagent 协作实现 apply_discount、T3 安装第三方插件三个任务。所有结论带 [REAL]/[SIM]/[OPEN] 证据标签,评测漏斗从免费 T0 确定性门控到按分计费的 Jev 评分、再到仅限 Top 1-2 的深度运行,要求每组合至少 3 次重复并报告 pass@k 与 pass^k。项目采用 MIT 许可证开源。
来源:GitHub · 去对齐工具与仓库 · github.com