跳到正文
  1. Hugging Face · 新模型:abliterated54

    leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版

    leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版,采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头,总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量,经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX(M4 Pro 48GB)上 mtp_enabled 开启时草稿接受率 89.1%,吞吐 78.6 tok/s,较关闭时的约 58.5 tok/s 提升 28–34%;MTP 加速仅支持 oMLX,LM Studio 只能加载基座模型。

    推荐理由:作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据,读者可据此判断这个 MLX 移植在速度与精度上的取舍。

  2. arXiv · cs.AI58

    arXiv 论文提出用低比特精度压缩语言模型 n-gram 嵌入表

    Stephen Chung 在 arXiv 发布论文,研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上,4-bit 表节省约 75% 表内存,同时保留加表带来的验证损失改善的 99% 以上;对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存,困惑度增加低于 1.2%。更低位宽性能下降更大,但短时微调可恢复大部分损失,将省出的内存换成更大表还能超越原全精度表的性能。

    推荐理由:论文系统比较了不同量化和位宽分配方案,给出从零训练与现有大模型两组数据,可帮助读者评估低比特 n-gram 表的实际收益。

  1. Hugging Face · 新模型:uncensored52

    fribourgquants 发布 Qwen3.8-27B TURBO 去对齐 GGUF 微调版

    fribourgquants 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本,主打去对齐与思考 token 缩减。用 Heretic v1.2.0+custom 的 ARA 方法消融后,Stage 1 拒绝数从原版 99/100 降到 0/100,Stage 2 平衡后为 11/100、KL 散度 0.0025;8bit ARC-C 达 0.735、ARC-E 0.882,4bit ARC-C 0.719,均高于原版 Qwen3.8-27B。思考块缩减至原版约 1/2 到 1/10,支持 xhigh/medium/low 三档推理模式;MTP 量化在 Q4_K_S 上约 90 t/s,普通量化约 75 t/s(5090、LMStudio 实测)。

    推荐理由:作者给出了 Heretic 消融前后 100 次拒绝数与 KL 散度的对照数据,以及各量化档位的基准分数,可据此评估该去对齐微调的实际效果。

  2. arXiv · cs.CL54

    SPARE 提出基于路由熵的 MoE 分层剪枝稀疏度分配方法

    论文提出 SPARE,一种免训练、与 selector 无关的方法,用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家,路由越分散的层剪得越激进,并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下,SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配,50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%,DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1

    推荐理由:论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题,给出的路由熵方法无需训练即可提升高剪枝率下的精度。

  3. arXiv · cs.CL61

    研究:去审查不等于无偏差,abliteration 移除拒绝但不移除关于台湾的脚本依赖偏差

    Ju-Chun Ko 在 arXiv 发表论文(arXiv:2610.29342),测试 abliteration(去审查)模型是否同时消除政治审查相关偏差。研究用 NVIDIA Nemotron 3.5 Bolt 74B-A9B 与 Qwen3.8-Flash-Next 及各自的社区 abliteration 版本,以繁体中文、简体中文和英文各回答 22 组陈述对和 27 个开放问题。结果显示脚本影响远大于 abliteration:原版 Bolt 在繁中 Index S 得分 +0.58、英文 +0.57、简中仅 +0.05,且以 0.91 的概率在简中肯定台湾属于 PRC、繁中仅 0.06;abliteration 最多改变 0.06。

    推荐理由:论文用配对模型实测 abliteration 前后偏差,显示去审查不等于去立场偏差,并给出脚本切换与立场方向的量化证据。

  4. arXiv · cs.CL56

    OnQ 论文提出低比特量化下恢复推理能力的新管线

    论文提出 OnQ,一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线,用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上,OnQ 取得九个基准的最高平均分;2-bit 下在每个模型规模的每个基准都超过所有基线,Qwen3-8B 平均比最强基线提升 10.26 分,且响应更短、截断和重复错误更少。论文链接:https://arxiv.org/abs/2610.29378v1

    推荐理由:论文指出现有量化感知训练的固定响应监督缺陷,并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。

  5. Hugging Face · 新模型:abliterated66

    theJuice85 发布 Qwen3.8-27B 去对齐 LoRA 适配器,硬拒绝率降至约 0

    theJuice85 在 Hugging Face 发布面向 Qwen3.8-27B-GGUF(Q4_K_XL)的去对齐 LoRA 适配器 heretic-qwen38-t26,用 directional ablation 搜索找到。实测将硬拒绝率从基座的 33-86% 降到约 0,能力评测(AIME24、GPQA、MMLU Pro 等 43 个成对项)未发现可统计的能力损失;仅 2.5 MB,AGPL-3.0-or-later。注意其只评测了拒绝率与能力回归,未评测下游安全性,且系统提示词是必要条件,缺失时模型会以带说教的方式作答。

    推荐理由:作者给出成对的拒绝率与能力回归数据,硬拒绝从 33-86% 降到约 0 且能力无可测差异,可据此判断这个去对齐适配器的实际效果。

  6. Hugging Face · 新模型:uncensored52

    Qwen-Image-2.1 Uncensored 混合精度 GGUF 量化版发布,4.39 GB 对比 BF16 保真度更优

    Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版,体积 4.391 GB、4.94 bits/weight,相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式,组成 Q4_K×126、Q5_K×105、F16×66;实测平均 PSNR 24.25 dB,高于统一 Q4_K 的 22.44 dB,4 个测试主体中 3 个胜出,可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载,需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。

    推荐理由:作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据,读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。

  1. Hugging Face · 新模型:abliterated56

    PinoCookie 发布 Qwen3Guard-Gen-4B-Abliterated 去对齐版

    PinoCookie 在 Hugging Face 发布 Qwen/Qwen3Guard-Gen-4B 的 abliterated 版本,移除该安全分类器的有害内容标记行为,而非聊天模型的拒绝行为。在 80+80 对照集上,原版标记 78/80 有害对,消融后标记 0/80,良性选择性保持 80/80 Safe,margin 排序 AUC 从 0.988 降至 0.9755;采用 L32 α=6.0 的单层 o_proj+down_proj 消融点,同配方复现三次结果一致,并在不同主体模型的 40+40 新切片上复验。

    推荐理由:原文给出消融方法、逐层消融网格和 80+80 对照数据,可据此判断这次对 guard 模型的去对齐到底去掉了什么、代价多大。

  2. arXiv · cs.AI62

    Agent S4 论文提出演化式智能体界面,在 OSWorld V2 达 21.3% 开源 SOTA

    论文提出 Agent S4,一种自主计算机使用智能体,从任务经验中构建可演化的智能体界面:元智能体在无成功标签的合成任务轨迹上构建并修订界面与用法知识仓库,再通过基于种群的进化按未见验证任务的表现筛选。在 OSWorld V2 上,Agent S4 搭配 Qwen3.8-27B 与演化界面仓库取得 21.3% binary score,为固定界面同模型的 3.8 倍,高于 GPT-5.5(13.0%)和 Claude Opus 4.8(20.6%),成本约为后两者的 4.3% 和 1.5%;在 ScienceBoard 上同模型成功率从 41.4% 提升至 58.6%。代码已开源。

    推荐理由:论文提出让智能体自主演化操作界面,用无标签轨迹和种群进化构建接口库,并给出 OSWorld V2 与成本对比数据。

  3. Hugging Face · 新模型:abliterated52

    DevelopingDad 发布 Qwen3.8-Flash-Next-FP4-Local 去对齐实验版 trial117

    DevelopingDad 在 Hugging Face 发布基于 NVIDIA Qwen3.8-Flash-Next-FP4-Local 的去对齐实验权重 trial117,将 trial 117 实验的拒绝方向干预直接烘焙进 checkpoint,无需运行时 adapter。在两台 DGX Spark 的 TP=2 对照测试中,烘焙版开发集拒绝 0/100、保留集 3/100,与 adapter 的 KL 差异约 0.037 nats;原定的零拒绝目标和 0.20 KL 上限未达成。需 B12X vLLM 运行时,TP=1 冒烟测试通过 5 项基础检查,长上下文、多模态与工具调用能力未经验证。

    推荐理由:作者给出了 adapter 与烘焙权重在拒绝数和 KL 上的对照数据,并明确标注了未验证的能力范围,便于读者自行评估这个实验版本。

  1. Hugging Face · 新模型:abliterated64

    alesha-pro 发布 Qwen3.8-Flash-Next 去对齐 Strata GGUF 量化包

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包,含 S 和 S-small 两种规格,基于 Mirai 的 2-bit trellis 构建,用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次,Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行,S 版解码 82-113 tok/s,支持最高 262144 上下文,需 Linux、CUDA 12.8+ 和约 64 GB 内存。

    推荐理由:作者实测了加拒绝向量前后的拒绝数和各档速度内存数据,读者可以据此判断这个去对齐量化包的实际表现。

  2. arXiv · cs.AI62

    arXiv 论文实证研究越狱评测:ASR 随判定方法从 96.0% 变为 2.7%

    arXiv 论文 2610.26595 研究越狱攻击成功率(ASR)对比高度依赖响应生成与判定方式,用 3 个开放权重模型、8 种攻击和 3 种评测流程做实证。低资源语言攻击在关键词匹配下平均 ASR 达 96.0%,改用按 StrongRELECT 说明的 Qwen3 评测器则仅 2.7%;同一请求在 Ollama 默认温度 0.8 下采样 100 次,关键词匹配下 ASR 为 100% 而 Qwen3 评测器为 50%。作者建议明确成功定义、对齐响应预算、验证评测器,并报告重复交互下的累积失败率。

    推荐理由:论文用具体数据说明越狱成功率如何随评测方法剧烈变化,对任何人引用 ASR 榜单前都是可迁移的核查思路。

  3. arXiv · cs.CL52

    TokenGate 论文提出可学习 token 剪枝,加速长上下文 prefill

    TokenGate 是一个即插即用的小组件,通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝,用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失,较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍,可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型,代码已开源。

    推荐理由:论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比,适合关注长上下文 prefill 效率的读者参考。

  4. arXiv · cs.CL54

    WeAct 论文提出动态权重切换作为 Agent 内部动作

    Rui Shi 等发布 arXiv 论文 WeAct,在冻结骨干上训练能力专属 LoRA 适配器,并把适配器选择加入 Agent 动作空间,用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上,Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少,比最强静态 LoRA 合并方法高 27.5%,并支持不改动骨干的模块化持续扩展。

    推荐理由:把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘,在 8 个 deep-research 基准上给出了与全量微调的对比数字。

  5. arXiv · cs.CL56

    OpenVLHarness:结合多模态记忆的视觉智能体工具使用框架

    论文提出 OpenVLHarness,一个围绕能力层与持久多模态记忆组织的多模态推理框架,统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测,平均比无工具基线提升 9.7-12.6 分,如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9;用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。

    推荐理由:论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本,方法和数字都可对照复核。

  1. Hugging Face · 新模型:uncensored71

    botp 发布 Qwen3.8-Flash-Next 去审查方向文件 china-v1

    botp 发布 china-v1 审查方向文件,推理时在第 4 到 44 层投影掉该方向分量,使 Qwen3.8-Flash-Next 不再对中国敏感话题拒答或用宣传口径,原权重不变、可按请求开关。192 题评测中敏感话题拒答/回避率从 58% 降到 2%,校准回答从 11% 升到 56%;质量对照显示 Agentic 任务 34/34 持平,HumanEval+ 156 对 155、GSM8K 50 对 49、MMLU 96 对 97。方向由 30 组中英对照对比对的残差流均值差构造,已在 Strata 生产环境验证,llama.cpp 原生 --control-vector 是加法而非投影、不能复现结果;作者提示 1989 年六四短问题仍可能回避,法轮功、大饥荒和新疆的数字细节可能夸大。

    推荐理由:原文给出审查方向的构造方法、192 题评测和 paired 质量对照,读者可自行判断去审查效果与能力损失。

  2. Hugging Face · 新模型:abliterated52

    huginnfork 发布 Qwen3.8-Flash-Next-FLARE-Abliterated 去对齐版

    huginnfork 发布基于 local-inference-lab/Qwen3.8-Flash-Next-FLARE 的 abliterated 版本,对 25,188 个张量中的 24,576 个做了拒绝方向编辑,属于不完整编辑。在 16 条提示词、协议 A(关闭思考)下,未编辑母模型拒绝率 100%,该版本为 18.8%,完整参考版为 0%;作者提醒 n=16 区间较宽,残余拒绝来自未编辑的 612 个注意力、共享专家和嵌入张量。

    推荐理由:原文给出拒绝率实测和未编辑张量清单,读者可以据此判断这个不完整消融版本到底去掉了多少对齐。

  3. Hugging Face · 新模型:uncensored68

    Qwen3.8-Flash-Next-Uncensored BF16 消融版发布,拒绝率降至接近零

    Lygodactylus 在 Hugging Face 发布 Qwen/Qwen3.8-Flash-Next 的 abliterated 去对齐 BF16 全精度权重,按 Arditi et al. (2024) 方法从残差流中正交化移除拒绝方向,共编辑 149 个残差写入张量,保留完整视觉与视频塔(333 个 visual.* 张量)和 MTP 头。

    推荐理由:原文给出按 Arditi et al. 2024 方法消融拒绝方向后的拒绝率与能力对比数据,读者可据此评估这个去对齐版本的实际代价。

  1. Hugging Face · 新模型:abliterated54

    Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 量化版发布

    alpha2beta 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 W4A16 量化版(sym、group-128),面向 vLLM XPU 后端并在 Intel Arc Pro B60 上验证,截至 2026-10-18 是该模型在 Hub 上唯一的 GPTQ 量化。实测 decode 40.183 tok/s、TTFT 0.460 s,MTP 投机解码 k=4 时相对关闭草稿提速 2.08 倍;12,288 token 长上下文下 decode 从 40.200 降至 37.315 tok/s(-7.2%)。

    推荐理由:作者给出了在 Intel Arc Pro B60 上的实测吞吐、长上下文衰减和 16 题质量分,并记录了校准偏差与评测陷阱,便于复现和横向对比。