跳到正文
arXiv · cs.AI· Wesley Lu·· 9 天前AI 评分33

PatternBench:面向 LLM 代码优化的模式驱动评测,分离超越编译器的语义推理能力

Pattern-Driven Evaluation of LLM Code Optimization: Isolating Compiler-Transcendent Semantic Reasoning

来源与原文

arXiv · cs.AI

作者:Wesley Lu

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.24835v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究者提出 PatternBench 基准,用于评测 LLM 在激进编译器优化之后仍能保留的“超越编译器”代码优化,覆盖七类转换,并将运行时测速与基于 AST 的优化忠实度分析结合。对前沿、开源权重及微调模型的实验显示,仅看运行时加速无法完整反映优化能力,忠实度与实际加速强相关,微调可同时提升两者。结果表明评测 LLM 代码优化应同时衡量性能结果与目标转换是否真正执行。

来源:arXiv · cs.AI · arxiv.org