跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分42

OperatorBench:LLM filter–map 流水线中分歧减少不等于标注改善

vansikasonthalia/operatorbench

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/vansikasonthalia/operatorbench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Vansika Sonthalia 发布 OperatorBench,作为论文 Lower Disagreement Through Exclusion 的代码与证据配套仓库,研究 LOTUS 流水线中减少分歧是否等于标签改善。在 500 篇 arXiv 文档上,将 filter 从"about machine learning"收紧为"machine learning is the primary topic"后,分歧从 36/38 降至 4,但保留文档标签零变化,recall 从 87.83% 跌至 61.74%。仓库含 8,000 请求对照实验代码,MIT 许可;论文为作者预印本,未经同行评审,原始数据因版权未开放。

来源:GitHub · 去对齐工具与仓库 · github.com