跳到正文
arXiv · cs.AI· Yeyin Eva Zhu·· 6 天前AI 评分35

RTL 修复基准实际测量的是什么?

What Do RTL Repair Benchmarks Actually Measure?

来源与原文

arXiv · cs.AI

作者:Yeyin Eva Zhu

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.28595v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究者构建 RTLRepairDataset(5,784 组(broken, fixed)训练对)和 RTLRepairBench(459 个保留测试用例,含 374 个语法变异和 85 个行为变异),并支持仿真与形式等价评测。审计发现两个测量混淆:仿真与形式化评分对是否提供规格说明的效应符号相反,六款模型上规格基线与条件化恢复的点估计相差 -8.5 到 +18.3 个百分点。团队据此提出评测控制协议并开源了基准与复现材料。

来源:arXiv · cs.AI · arxiv.org