GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分60
kolvian 开源 TraceReduce:自动缩减 LLM 请求以保留失败用例
kolvian/trace-reduce
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/kolvian/trace-reduce
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
kolvian 在 GitHub 发布 TraceReduce 的早期 alpha 版本,从已保存的 LLM 请求中删除历史轮次,同时保留指定的失败(如期望的工具调用或参数),并生成可运行的复现脚本和回归测试。工具要求 Python 3.11+,用 JSON 配置,可通过 preserve_messages 固定任务所需事实;结果分 REDUCED、NOT_REPRODUCED、NO_REDUCTION 等五类,验证要求 5 次 baseline 中 4 次出现同一失败原因,候选请求 3/3 复现,最终对原始与缩减请求各交错 10 次调用且至少 8 次匹配。缩减器与 HTTP adapter 已有自动化测试,真实模型案例研究、checkpoint/resume、段落缩减等仍在计划中,项目采用 MIT 许可。
推荐理由
原文给出了缩减判定策略、调用预算和结果分类的具体规则,做 LLM 缺陷调试的读者可以直接评估这套工作流是否适用。
来源:GitHub · 去对齐工具与仓库 · github.com