arXiv · cs.CL· Arslan Bisharat·· 5 天前AI 评分41
ALIAS：评估 LLM 编写 TLA+ 规范的性能与记忆化
ALIAS: Evaluating Performance and Memorization in LLM-Written TLA+ Specifications
来源与原文
arXiv · cs.CL
作者：Arslan Bisharat
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29767v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 ALIAS，用一致标识符重命名（CIR）在 111 个 TLA+-Bench 任务上检测 LLM 记忆化。重命名使 Claude Opus 4.8 正确率从 28% 降至 18%、GPT-5 从 9% 降至 7%，但按行为评分后降幅缩小至约 3 和 0 个百分点，说明大部分下降来自要求精确名称的评分方式。微调实验中重命名移除约一半训练增益，在未见任务上损失 4.9（Qwen）和 1.3（Gemma）个百分点。
来源：arXiv · cs.CL · arxiv.org