跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分43

PaperStrange 开源 Personal-LLM-Benchmark:三任务工作流评测包

PaperStrange/Personal-LLM-Benchmark

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/PaperStrange/Personal-LLM-Benchmark

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

PaperStrange 在 GitHub 发布 Personal-LLM-Benchmark,用合成 fixture 代码库按工作流评测模型与 agent harness,含 T1 架构梳理、T2 三 subagent 协作实现 apply_discount、T3 安装第三方插件三个任务。所有结论带 [REAL]/[SIM]/[OPEN] 证据标签,评测漏斗从免费 T0 确定性门控到按分计费的 Jev 评分、再到仅限 Top 1-2 的深度运行,要求每组合至少 3 次重复并报告 pass@k 与 pass^k。项目采用 MIT 许可证开源。

来源:GitHub · 去对齐工具与仓库 · github.com