arXiv · cs.AI· Yeyin Eva Zhu·· 6 天前AI 评分35
RTL 修复基准实际测量的是什么?
What Do RTL Repair Benchmarks Actually Measure?
来源与原文
arXiv · cs.AI
作者:Yeyin Eva Zhu
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.28595v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者构建 RTLRepairDataset(5,784 组(broken, fixed)训练对)和 RTLRepairBench(459 个保留测试用例,含 374 个语法变异和 85 个行为变异),并支持仿真与形式等价评测。审计发现两个测量混淆:仿真与形式化评分对是否提供规格说明的效应符号相反,六款模型上规格基线与条件化恢复的点估计相差 -8.5 到 +18.3 个百分点。团队据此提出评测控制协议并开源了基准与复现材料。
来源:arXiv · cs.AI · arxiv.org