arXiv · cs.CL· Yuhe Hu·· 20 天前AI 评分48
量化对 Llama 与 Qwen 工具故障恢复的影响因提示词与评测设计而异
Quantization Effects on Tool-Failure Recovery Vary Across Prompts and Evaluation Designs
来源与原文
arXiv · cs.CL
作者:Yuhe Hu
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.07781v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究比较了 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 的 8-bit 与 4-bit 量化版本在二十个确定性工具使用任务、五个提示词上的故障恢复表现。8-bit 与 4-bit 的恢复差异随提示词和评测目标改变方向:Llama 在同提示词下双版本无故障通过的任务上差异为 0 到 +20.2 个百分点,Qwen 为 -50.0 到 +35.0 个百分点。研究指出单一提示词、单一任务集和单一评分策略无法得出关于量化智能体稳健性的稳定结论。
来源:arXiv · cs.CL · arxiv.org