arXiv · cs.AI· Wesley Lu·· 9 天前AI 评分33
PatternBench:面向 LLM 代码优化的模式驱动评测,分离超越编译器的语义推理能力
Pattern-Driven Evaluation of LLM Code Optimization: Isolating Compiler-Transcendent Semantic Reasoning
来源与原文
arXiv · cs.AI
作者:Wesley Lu
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.24835v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 PatternBench 基准,用于评测 LLM 在激进编译器优化之后仍能保留的“超越编译器”代码优化,覆盖七类转换,并将运行时测速与基于 AST 的优化忠实度分析结合。对前沿、开源权重及微调模型的实验显示,仅看运行时加速无法完整反映优化能力,忠实度与实际加速强相关,微调可同时提升两者。结果表明评测 LLM 代码优化应同时衡量性能结果与目标转换是否真正执行。
来源:arXiv · cs.AI · arxiv.org