跳到正文
GitHub · 灵魂体仓库·· 17 天前精选AI 评分59

karpathy-jev 技能发布:用 Jev 独立证据审查替代 AI 编码 Agent 自评

reliable-era/andrej-karpathy-skills-jev

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/reliable-era/andrej-karpathy-skills-jev

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

reliable-era 发布 karpathy-jev,一个 Claude Code 技能,在首次编辑和声明完成前的固定检查点收集 diff、命令与真实 exit code,交由独立的 TypeSafe Jev 判定 proceed 或 revise。SWE-bench Verified 20 任务上,Claude Code + Sonnet 5 下该方案解决 20/20,虚假完成声明 0 次(原生 2 次),最后一次编辑后真正跑测试的比例 13/20(原生 1/20);解决数差异在 n=20 下不显著,单任务中位耗时 +8%。实验还发现 Sonnet 在 112 次运行中从未主动打开自愿式技能,强制 hooks 是行为改变的关键。

推荐理由

原文同时给出方法和实测数据,读者可以对照三种方案看到强制钩子与提示词自评在行为上的真实差别。

来源:GitHub · 灵魂体仓库 · github.com