MiMo 2.6 推理过程满篇 "Hmm",像碰撞测试假人一样反复试探
Reddit r/LocalLLaMA 用户实测发现,MiMo 2.6 的推理线程里高频出现 "Hmm",在分析 AIDL parcel 标记问题时反复猜测、自我纠正,如同碰撞测试假人般不断试错。用户最终定位到 marker + fd 组合会抛错、mk=1 仅在 fd=0 且 nhenv=1 时有效,并调侃满脑子的 "Hmm" 像一首挥之不去的歌。
新闻、仓库与研究,按时间排列。
Reddit r/LocalLLaMA 用户实测发现,MiMo 2.6 的推理线程里高频出现 "Hmm",在分析 AIDL parcel 标记问题时反复猜测、自我纠正,如同碰撞测试假人般不断试错。用户最终定位到 marker + fd 组合会抛错、mk=1 仅在 fd=0 且 nhenv=1 时有效,并调侃满脑子的 "Hmm" 像一首挥之不去的歌。
Hugging Face 上发布了一个 NInfer v3(.ninner)工件,将 orcarouter/Qwen3.8-27B-Uncensored-NVFP4 转换并加入 DFlash2 投机解码支持,草稿模型来自 z-lab/Qwen3.8-27B-DFlash2。该 Qwen3.8-27B 视觉语言模型可在单张 RTX 5090(32 GB)上运行,启动占用约 31.6 GB,实测约 164 tokens/s,DFlash2 草稿接受率约 26%,保留 abliterated 无审查行为,采用 Apache-2.0 许可证。
作者发布 GLM-5.3-Flash 的 EXL3 混合量化(gate/up 2 bit、expert down 3 bit,约 2.4bpw,98.1 GB),并附 2.2 MB 的逐块去拒向量,运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文(77% 专家驻留 VRAM),256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝,原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个;带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959,需配合作者自己的 exllamav3 fork 使用,许可证 MIT。
推荐理由:作者给出逐块去拒方向的构造方法、拒绝率前后对照和KLD量化数据,可自行复现并检验量化与去对齐的实际代价。
Hugging Face 上发布 Huihui-Qwen3.8-27B-abliterated-AWQ-MTP,这是用 abliteration 技术对 Qwen/Qwen3.8-27B 去除拒绝行为后的无审查版本。模型支持 AWQ Marlin kernel 和 MTP 投机解码,在单张 A800 80GB 上(vLLM 0.21.0、MTP 开启、fp8 KV cache)达到 110+ tok/s,支持 65536 上下文长度。发布方警告安全过滤大幅减弱,仅建议用于研究和受控环境。