跳到正文
10月21日周三
  1. Reddit · r/LocalLLaMA18

    MiMo 2.6 推理过程满篇 "Hmm",像碰撞测试假人一样反复试探

    Reddit r/LocalLLaMA 用户实测发现,MiMo 2.6 的推理线程里高频出现 "Hmm",在分析 AIDL parcel 标记问题时反复猜测、自我纠正,如同碰撞测试假人般不断试错。用户最终定位到 marker + fd 组合会抛错、mk=1 仅在 fd=0 且 nhenv=1 时有效,并调侃满脑子的 "Hmm" 像一首挥之不去的歌。

10月15日周四
  1. Hugging Face · 新模型:uncensored32

    Qwen3.8-27B Uncensored 的 NInfer DFlash2 工件发布,单张 RTX 5090 可运行

    Hugging Face 上发布了一个 NInfer v3(.ninner)工件,将 orcarouter/Qwen3.8-27B-Uncensored-NVFP4 转换并加入 DFlash2 投机解码支持,草稿模型来自 z-lab/Qwen3.8-27B-DFlash2。该 Qwen3.8-27B 视觉语言模型可在单张 RTX 5090(32 GB)上运行,启动占用约 31.6 GB,实测约 164 tokens/s,DFlash2 草稿接受率约 26%,保留 abliterated 无审查行为,采用 Apache-2.0 许可证。

10月11日周日
  1. Hugging Face · 新模型:abliterated81

    GLM-5.3-Flash abliterated EXL3 2.4bpw 混合量化发布,附逐块去拒向量

    作者发布 GLM-5.3-Flash 的 EXL3 混合量化(gate/up 2 bit、expert down 3 bit,约 2.4bpw,98.1 GB),并附 2.2 MB 的逐块去拒向量,运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文(77% 专家驻留 VRAM),256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝,原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个;带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959,需配合作者自己的 exllamav3 fork 使用,许可证 MIT。

    推荐理由:作者给出逐块去拒方向的构造方法、拒绝率前后对照和KLD量化数据,可自行复现并检验量化与去对齐的实际代价。

10月4日周日
  1. Hugging Face · 新模型:abliterated32

    Huihui-Qwen3.8-27B-abliterated-AWQ-MTP:基于 Qwen3.8-27B 的去审查 AWQ 版本

    Hugging Face 上发布 Huihui-Qwen3.8-27B-abliterated-AWQ-MTP,这是用 abliteration 技术对 Qwen/Qwen3.8-27B 去除拒绝行为后的无审查版本。模型支持 AWQ Marlin kernel 和 MTP 投机解码,在单张 A800 80GB 上(vLLM 0.21.0、MTP 开启、fp8 KV cache)达到 110+ tok/s,支持 65536 上下文长度。发布方警告安全过滤大幅减弱,仅建议用于研究和受控环境。