arXiv · cs.CL· Meriem Terki·· 18 天前AI 评分20
QTestBench：评测 LLM 生成量子代码测试的框架
QTestBench: A Test Framework for Evaluating LLM-Generated Quantum Code
来源与原文
arXiv · cs.CL
作者：Meriem Terki
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13811v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
QTestBench 是一个用独立 benchmark checker 评测 LLM 生成量子代码测试套件的框架，不把测试本身当真值。它在 8 个 PennyLane QHack 挑战和 10 个 Qiskit HumanEval 任务上评测了 5 个 LLM，最佳生成器测试质量仅达 QHack 0.71、Qiskit HumanEval 0.34，说明可执行性高不代表判别力强。对于缺乏自然错误解的任务（10 个 Qiskit 任务中有 3 个），oracle 验证的合成 mutants 可稳定 bug 检测估计。
来源：arXiv · cs.CL · arxiv.org