Reddit · r/LocalLLaMA· /u/Old_Ad_6033·· 17 小时前AI 评分42
Qwen3.8 27B 实测：INT4 AWQ 与 INT8 量化在 Agent 负载下的思考循环对比
Qwen3.8 27b loop testing int4 awq vs int8
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Old_Ad_6033
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xjzm9q/qwen38_27b_loop_testing_int4_awq_vs_int8/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位用户在重度 Agent 负载下对比了 Qwen3.8 27B 的 INT8 与 INT4 AWQ 量化：任务成功率从 92% 降到 78%，每千次调用循环次数从 1.9 升至 4.7，且量化差距随上下文拉大，在 80–120k token 时循环频率达 INT8 的 3.3 倍。循环均发生在推理块中，BF16 上也有人报告类似问题，说明这不纯粹是量化问题；投机解码下循环表现为约 200 tok/s 的速度尖峰，可作 watchdog 信号。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。