跳到正文
更多
热点事件持续更新

用户实测Qwen3.8 27B量化在Agent负载下加剧循环问题

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

一位Reddit用户(/u/Old_Ad_6033)在r/LocalLLaMA发布了对Qwen3.8 27B的实测对比:在重度Agent负载下,INT4 AWQ量化的任务成功率从INT8的92%降到78%,每千次调用循环次数从1.9升至4.7。该用户称两次测试使用相同的采样参数、Hermes框架和循环检测器,各对比了约两周的日志。成功率是循环被截断后的结果,让模型继续仍可完成任务。量化差距随上下文长度扩大:约40k token内INT4循环频率是INT8的1.4倍,80–120k token时达3.3倍。循环均发生在推理块中,BF16上也有人报告类似问题,说明这不纯粹是量化问题;投机解码下循环表现为约200 tok/s的速度尖峰,可作watchdog信号。

AI 根据报道生成 · 16 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. Reddit · r/LocalLLaMA
    Qwen3.8 27B 实测:INT4 AWQ 与 INT8 量化在 Agent 负载下的思考循环对比

    一位用户在重度 Agent 负载下对比了 Qwen3.8 27B 的 INT8 与 INT4 AWQ 量化:任务成功率从 92% 降到 78%,每千次调用循环次数从 1.9 升至 4.7,且量化差距随上下文拉大,在 80–120k token 时循环频率达 INT8 的 3.3 倍。循环均发生在推理块中,BF16 上也有人报告类似问题,说明这不纯粹是量化问题;投机解码下循环表现为约 200 tok/s 的速度尖峰,可作 watchdog 信号。

本事件热度走势

可比范围当前
6
可比范围峰值
1010月31日 12:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。