跳到正文
10月8日周四
  1. arXiv · cs.CL65

    Persona Hierarchy Model:解释大模型微调中的情境泛化机制

    Jiachen Zhao 在 arXiv 发布论文提出 Persona Hierarchy Model,用共享默认人格解释微调行为在不同情境下的泛化差异。基于 Qwen3-4B 等共 120 个微调模型、4 种行为和 15 个训练情境的实验显示,泛化窄度与训练情境人格和默认人格的相似度正相关(Pearson's r = 0.72);在默认情境下先微调可拓宽后续泛化。作者还提出 persona-preserving regularization(PPR),在 RL 中将 reward hacking 从 42-55% 降至最多 0.2%,同时保留准确率提升。论文链接 https://arxiv.org/abs/2610.09384v1

    推荐理由:论文用 120 个微调模型的数据解释行为为何跨情境泛化,并给出能将 reward hacking 压到 0.2% 的正则化方法。

  2. arXiv · cs.CL36

    当秩随 LLM 退化而上升:RankMe 谱监测的失效边界

    一项基于 Qwen3-0.6B 的受控研究显示,数据重复使 held-out loss 相对恶化 75%,同时 centred RankMe 反而升高 13.5 个合并标准差,谱弥散导致单侧监测把最差 checkpoint 判为最健康。作者提出双侧多通道时序监测器,能在 fork 后 10 到 60 步内检出全部三种损伤并按触发方向区分损伤类型,但其预警从不早于 held-out probe loss,且双种子校准会对留出的健康种子产生误报。

  3. arXiv · cs.CL61

    arXiv 论文提出仅调 Adam epsilon 即可大幅缓解 LLM 灾难性遗忘

    Jonghyun Han 在 arXiv 发布论文,发现持续预训练和微调中的灾难性遗忘集中在语料中罕见出现的 token 的输出嵌入,由 Adam 二阶矩归一化放大单侧 softmax 梯度所致。提出仅对输出投影提高 Adam epsilon 的干预,在 160M 到 12B 参数、四个模型族的八个设置中消除 39.4% 到 67.9% 的遗忘且不损害目标学习,与 replay 叠加后在 Qwen/Korean 上达到 79.8%,但事后编辑漂移行只能恢复不到 5%,因此必须在训练期间施加干预。

    推荐理由:论文把灾难性遗忘定位于低频词的输出嵌入,并给出仅调 Adam epsilon 的单行干预及其跨 8 个设置的验证数据。

  4. Hugging Face · 新模型:abliterated30

    sanasol2008 发布 Qwen3.8-Flash-Next-Abliterated-Sushi-2bpw 量化模型

    Hugging Face 用户 sanasol2008 发布 Qwen3.8-Flash-Next-Abliterated-Sushi-2bpw,这是基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重直接转换的实验性 Sushi 格式 2bpw 量化包,本身未做额外 abliteration 或微调。完整下载约 64.87 GiB(含 29.8 GiB n-gram sidecar),在 Apple M3 Max / 48 GiB 上用 Sushi 1.1.1 测试,warm decode 约 26.48 tok/s,配置上限 256k 上下文,并保留了视觉权重与 MTP 权重(MTP 推理未验证)。

  5. Hugging Face · 新模型:abliterated44

    Qwopus3.8-27B-Flash-V2-abliterated-exl3-6.0bpw 在 Hugging Face 发布

    Qwopus3.8-27B-Flash-V2 是基于 Qwen3.8-27B 的 Qwopus3.8-27B-Flash 的更新后训练版本,采用新的奖励函数与强化学习方法,目标是减少无效推理、降低 Agent 长任务的推理成本。V2 还针对上一版报告的 Python 缩进问题进行改进,在 temperature-0.3 的 Python 格式检查中未再观察到格式失败,该机制仍是工作假设。

  6. Hugging Face · 新模型:abliterated18

    3MPER0RR 发布 abliterated 版 Qwen3-06B 模型,上架 Hugging Face

    3MPER0RR 在 Hugging Face 上发布 Qwen3-06B-3MPER0RR-abliterated 模型。该模型可通过 Transformers 的 pipeline 或 AutoModelForCausalLM 直接加载,也支持 vLLM、SGLang 和 Docker Model Runner 部署,后两者均提供 OpenAI 兼容 API 调用,并可通过 `docker model run hf.co/3MPER0RR/Qwen3-06B-3MPER0RR-abliterated` 运行。

  7. Hugging Face · 新模型:abliterated72

    Qwen3.5-9B-abliterated 去对齐版发布:18 项测试提示全部应答

    发布者在 Hugging Face 放出基于 Qwen/Qwen3.5-9B 的完全去审查版本,先用正交投影消融去除拒绝方向(3 轮),再用 QLoRA(r=64, alpha=128)微调消除剩余 5 类顽固拒绝,拒绝率从基座的 0/18 降到 18/18 全应答。文中给出逐层拒绝方向强度、与 Dolphin-Mistral 7B 同为 94% 的对比结果及 Ollama、GGUF、MLX 等多种格式下载。

    推荐理由:原文给出了两阶段消融流程、逐层拒绝方向数据和前后拒绝率对照,读者可以据此判断这个去对齐版本到底去掉了多少。

  8. Hugging Face · 新模型:abliterated28

    Qwen3.5-9B abliterated 社区合并版发布:带视觉塔的 INT8 ConvRot ComfyUI 检查点

    Hugging Face 用户发布社区合并检查点 qwen3.5-9b_abliterated_0x100refusal_vision_int8_convrot,将 lukey03/Qwen3.5-9B-abliterated 的语言权重与 huihui-ai 的 337 个视觉张量合并,共 1,264 个张量、约 9.83 GB,面向支持 INT8 ConvRot 量化的 ComfyUI。250 个语言矩阵相对 L2 量化误差平均 0.9713%。"0% Refusal" 仅为上游命名,并非实测拒绝率;该项目为 Apache-2.0 许可的实验性合并,非官方发布。

10月7日周三
  1. Hugging Face · 新模型:uncensored36

    Qwen3.5-4B 对话微调版(Uncensored GGUF)上架 Hugging Face

    基于 Qwen3.5-4B 的社区对话/角色扮演微调模型在 Hugging Face 发布,提供 ~3.5 GB 的 Q6_K GGUF 量化文件,支持 llama.cpp、LM Studio 和 Ollama。模型用 Unsloth QLoRA(rank 16、alpha 32)在 AMD RX 6700 XT 上训练,数据集约 11,400 行对话,最终 train loss 约 0.92,上下文最长 2048 token。另有 ~672 MB 的 F16 视觉投影文件,仅图像输入时需要。

  2. Hugging Face · 新模型:abliterated78

    MiMo-V2.6-Distill-Qwen-9B 发布 abliterated 版,拒绝率从 78.1% 降至 9.4%

    作者 Hadi 对 XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B(MIT 许可)做拒绝消融,在 Hugging Face 发布 Flexingmeow/MiMo-V2.6-Distill-Qwen-9B-Abliterated(D 激进变体),拒绝率从 78.1% 降到 9.4%,数学推理准确率保持 100%,困惑度变化小于 0.03 NLL。因 qwen3_5 混合注意力架构不被现有工具支持,作者自写了基于 transformers 的管线,全程 CPU 完成。关键发现是拒绝方向必须从生成的回复区提取,在提示词末 token 提取的方向消融后无效(KL ≈ 1e-7,拒绝率不变);作者也提示评测集较小且微调可能重新引入拒绝。

    推荐理由:原文给出完整消融方法、拒绝率前后数据和评估局限,还提出推理模型需在生成区提取拒绝方向的可迁移结论。

  3. Hugging Face · 新模型:abliterated50

    Qwen2.5-7B-Instruct-abliterated-v2 发布:基于 abliteration 技术的无审查版本

    基于 Qwen2.5-7B-Instruct 制作的 abliterated(无审查)版本 v2 在 Hugging Face 上发布,较上一版本有所改进,可通过 transformers 库加载使用。评测显示 v2 在 IF_Eval(77.82)和 GPQA(32.17)上略高于原模型,MMLU Pro(42.03)、BBH(53.01)基本持平,TruthfulQA(57.81)有所下降。评测脚本已随模型开源在仓库 /eval.sh 中。

  4. Hugging Face · 新模型:uncensored61

    HauhauCS 发布 Qwen3.8-27B-Uncensored Aggressive 激进去对齐 GGUF 量化版

    HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化版,实测 0/465 拒绝,定位为直接给答案、极少前置说明的变体。全部量化保留原生 MTP/NextN 头和 262,144-token 原生上下文(可扩展至 1,000,000),支持文本、图像和视频输入,需另下 BF16 projector。

    同一新闻,精选展示《HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版》

  5. Hugging Face · 新模型:uncensored49

    Qwen-Image-2.1 Uncensored GGUF 量化版本发布

    Hugging Face 上发布了基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化模型,提供 BF16(14.23 GB)到 Q4_0(4.15 GB)多种量化格式,推荐体积与画质平衡最佳的 Q4_K_M(4.60 GB)。模型无内置安全检查器或内容过滤,可直接生成成人、NSFW 及敏感图像,不会拒绝提示词或输出黑图。配套的 qwen3vl_8b 文本编码器与 VAE 文件可直接用于 ComfyUI 及 ComfyUI-GGUF,文本编码器可卸载到系统内存以节省 9–17 GB 显存。

  6. arXiv · cs.CL53

    arXiv 论文提出免训练两阶段低秩补偿方法,改进大语言模型极端量化精度

    arXiv 论文(https://arxiv.org/abs/2610.08164)提出免训练的两阶段闭式低秩量化误差补偿框架:Stage 1 以 Fisher 加权非对称目标将各层输出对齐全精度模型,Stage 2 在补偿后模型上做秩约束自然梯度步吸收剩余一阶信号,每个 adapter 只需一次截断 SVD。在 2 bit QuIP# 下,Qwen3-8B 的 WikiText-2 困惑度从 12.43 降至 10.26,Qwen3-4B 从 21.11 降至 13.22;在 C4 上相对最强基线(31%/63%)分别恢复 51% 和 84% 的到 FP16 的差距,并在更高位宽和另一量化器下保持增益。

    推荐理由:论文指出既有低秩量化误差补偿的两个共同简化,并用两阶段闭式框架在 2 bit 极端量化下给出可复现的困惑度改进。

  7. arXiv · cs.CL50

    arXiv 论文提出对齐缩放定律框架并给出首批预注册实测结果

    Jeremy Canale 在 arXiv 发布论文,将对齐负担建模为 B_r(N)=a_rN^alpha_r 的幂律框架,指数小于 1 表示规模有助于对齐、大于 1 则积累对齐债务。预注册实测包括:Pythia 分类器的对抗训练数据显示将攻击成功率压到 10% 以下的算力随 N^0.60 增长;Qwen2.5 0.5B-72B 上真实性与 stated dispositions 的指数为 -0.05 和 0.48,sycophancy 和预置后门未能判定,其中后门在触发器已知时可快速移除,但在五个规模中的四个上能在盲安全训练后存活。论文未对当前前沿模型属于哪种区间下结论。

  8. arXiv · cs.AI47

    Selective-RL:通过选择性迁移 RL 更新提升视觉推理能力

    Selective-RL 方法通过隔离 RL 训练阶段产生的参数更新,保留其主导矩阵方向并迁移至 VLM 的语言模块,实现免训练的能力迁移。在 3 个模型家族和 5 个视觉推理基准上,该方法在 15 组对比中的 12 组优于全量更新插值,其中 Qwen 接收模型在 MathVision 上提升 8.55 个百分点。对照实验表明,仅更新幅度或任意低秩都无法复现这些收益。

  9. arXiv · cs.CL43

    MoE 视觉语言模型多模态安全:读取而非操控 Router Logits

    一项 arXiv 研究发现,MoE 视觉语言模型的 router logits 能高度预测多模态输入是否安全,据此提出一种轻量级路由信号安全检测器,在 prompt prefill 阶段读取信号并在生成前识别不安全请求,无需修改模型参数或专家路由。该检测器在 Qwen3-VL 和 Kimi-VL 上显著降低 HoliSafe 基准的安全错误,并泛化到 MISHard 和 MM-SafetyBench 等分布外基准。

  10. arXiv · cs.CL48

    量化对 Llama 与 Qwen 工具故障恢复的影响因提示词与评测设计而异

    一项 arXiv 研究比较了 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 的 8-bit 与 4-bit 量化版本在二十个确定性工具使用任务、五个提示词上的故障恢复表现。8-bit 与 4-bit 的恢复差异随提示词和评测目标改变方向:Llama 在同提示词下双版本无故障通过的任务上差异为 0 到 +20.2 个百分点,Qwen 为 -50.0 到 +35.0 个百分点。研究指出单一提示词、单一任务集和单一评分策略无法得出关于量化智能体稳健性的稳定结论。

  11. arXiv · cs.CL52

    VisionWeave 论文提出弹性视觉表征编织能力,在 Qwen3.8-27B 上平均节省 43.0% token

    论文提出 VisionWeave,让多模态大语言模型端到端学习在何处及以何种粒度分配视觉表征。方法结合门控空间池化器与粒度路由器,通过自蒸馏在 Qwen3.5-4B 上验证并扩展到 Qwen3.8-27B,训练耗资超过 30K A100 GPU 小时。基于 Qwen3.8-27B,该方法在八个基准上平均节省 43.0% token 并保留 98.9% 原生性能,优于固定 50% 节省目标下仅保留 88% 性能的 token 剪枝基线;部署于 SGLang 时吞吐提升 2.3x,平均 TTFT 降低 54.4%,平均 TPOT 降低 60.6%。

    推荐理由:论文给出了弹性视觉表征的端到端训练方案与 token 节省、性能保持和部署吞吐的实测数据,读者可对比 token 剪枝基线评估其取舍。

  12. arXiv · cs.CL26

    HINTT 提交第二届 MLC-SLM 挑战赛:对比级联与统一方法的说话人分离和 ASR

    HINTT 系统参加第二届 MLC-SLM 多语言会话语音挑战赛,解决多语言说话人归属 ASR 问题。最终提交采用级联方案:微调 DiariZen 说话人分离模型、微调 Qwen3-ASR 模型和基于 LLM 的生成式纠错,并微调 VibeVoice-ASR 统一模型作对比,全部仅用官方训练数据。结果显示级联系统在 MLC-SLM Task 1 条件下更可靠,统一语音 LLM 则是有前景的方向。

  13. Hugging Face · 新模型:uncensored36

    Gogeta70 发布 Swift_1.5_Qwen_3.8_27B_Heretic_Uncensored LoRA 适配器

    Gogeta70 基于 heretic-gguf 对 ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF 做 abliteration,发布可去除审查的 LoRA 适配器,适用于基于 Qwen 3.8 27B 的 Swift 1.5 模型。Heretic 报告拒绝率为 16%、KL Divergence 为 0.3059,作者自测未发现拒绝行为。该适配器会移除基座模型内置的安全护栏,使用风险由用户自行承担。

  14. Hugging Face · 新模型:uncensored58

    Qwen3.5-9B 去审查微调版发布,用 Claude 4.6 蒸馏数据训练

    作者 Mal1cc 在 Hugging Face 放出 Qwen3.5-9B 的 HERETIC 无审查微调版,用 Unsloth 在本地硬件上以 Claude 4.6 大型蒸馏数据集微调,称将 Qwen 思考替换为 Claude 4.6 式思考且基准有所提升。去审查数据显示 100 题拒绝数从原版 100 降至 6,KL 散度 0.0793;ARC 等 7 项基准给出 thinking、instruct 版与原模型对比分数,视觉输入经测试可用,视频部分未测试。建议最低 q4ks(非 imatrix)或 IQ3S(imatrix)量化,默认上下文 256k,其他版本仍在测试中。

    推荐理由:作者给出了各基准的前后对比、KL 散度和 100 题拒绝率数据,读者可以据此自行判断这个去对齐微调版的质量。

  15. Hugging Face · 新模型:abliterated42

    Huihui-Qwen3.8-27B-Abliterated VAL-APEX-I-MiniPlus V2.1 GGUF 量化版发布

    Huihui-Qwen3.8-27B-abliterated 模型的官方 VAL-APEX-I 量化版 MiniPlus V2.1 发布,体积 15.33 GB(3.93 BPW),WikiText-2 困惑度 6.1466,较 BF16 仅上升 2.44%,达到 Q5_K_M/Q6_K 边界质量。该版本在 24GB GPU 上支持完整 256K 上下文,192 个 DeltaNet SSM 状态张量保持 F32 无压缩,输出头采用 Q6_K 保护。另有 11.90 GB 的 NanoPlus 版本可在 16GB 硬件上运行。

  16. Hugging Face · 新模型:uncensored46

    infosave 发布 Qwen-Image-2.1-Uncensored-CMF 单文件本地图像生成模型

    infosave 在 Hugging Face 发布 Qwen-Image-2.1-Uncensored-CMF,这是面向 Cortiq 运行时的单文件图像生成模型,大小 12.745 GB、15.59B 参数,内含 DiT、文本/视觉编码器、VAE 和 tokenizer,支持 CPU、原生 Metal 和 Vulkan 路径。实测 RTX 4090 Vulkan f16 回退路径下 1024×1024、40 步端到端耗时 29.13 秒;上游 GGUF 版本无内置安全检查器,采用 Qwen 研究许可,仅限非商业研究用途。

  17. Hugging Face · 新模型:uncensored52

    Qwen3.8-27B 无审查微调版发布,ARC-C 达 735 并大幅压缩思考 token

    Shellar 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的无审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored,提供 regular 与 MTP 两种 GGUF 量化。作者称 8bit 下 ARC-C 达 735、ARC-E 达 882,4bit 为 719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591),思考 token 减至原版的 1/2 到 1/10。

  18. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1-Uncensored GGUF 量化版本发布,支持本地图像生成

    QUBITABHAY 基于 Qwen/Qwen-Image-2.1 原始权重发布 Uncensored 版 GGUF 量化,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式,其中 Q4_K_M 约 4.60 GB,被推荐为体积与质量的最佳平衡。该版本无内置安全检查器,可直接生成 NSFW 等敏感图像;配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 加载,文本编码器卸载到内存可节省 9–17 GB 显存。

10月6日周二
  1. Hugging Face · 新模型:abliterated68

    grimlee 发布 Swift-1.5-Qwen3.8-27B-Abliterated 去对齐版本

    grimlee 在 Hugging Face 发布 ukisai/Swift-1.5-Qwen3.8-27b 的去对齐衍生版本,采用 pos46/FULL/lambda=1.2 的拒绝方向投影,修改 131 个张量。

    推荐理由:原文给出拒绝方向投影方法与成对评测数据,读者可据此判断该去对齐版本在拒绝率与能力保留之间的实际取舍。

  2. Hugging Face · 新模型:uncensored61

    TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735

    TopherAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的去审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF,提供常规与 MTP 两种 NEO imatrix GGUF 量化。

    推荐理由:原文给出 Heretic ARA 消融的拒绝率与 KL 散度前后数据,以及 8bit/4bit 下 ARC-C 等基准对比,可据此评估这个去对齐微调的实际效果。

  3. Hugging Face · 新模型:abliterated40

    Huihui-Qwen3.6-27B-abliterated-AWQ-MTP 发布:Qwen3.6-27B 去审查版

    基于 Qwen/Qwen3.6-27B 的去审查(abliterated)版本已在 Hugging Face 上发布,采用 AWQ 量化并支持 MTP 投机解码。在单张 A800 80GB 上配合 vLLM 0.21.0、MTP 与 fp8 KV cache 可达 110+ tok/s,支持 65536 上下文长度。该模型大幅削减安全过滤,建议仅用于研究或受控环境。

  4. arXiv · cs.CL49

    JEV 与 LLM 对比:七项政治科学复现任务中的准确率、成本与校准分析

    该研究在七项政治科学复现任务中对比商业模型 JEV 与 GPT-6 Luna、开源 Qwen3.8-27B 及人工编码员。JEV 的准确率接近两款 LLM,单次提问时概率校准优于 GPT-6 Luna 的 token 概率,但不稳定优于 Qwen3.8-27B;在 OpenAI batch 价格下 JEV 无成本优势,主要优点是解析选择概率更方便。

  5. arXiv · cs.CL54

    T-Search:面向多步检索的开源智能体检索器发布

    论文提出开源权重的智能体检索器 T-Search,针对困难多步检索任务,在固定语料上执行有界多轮搜索并返回带简短理由的证据块排序列表,答案生成留给下游模型,后端与生成器可替换而无需重训练。

    推荐理由:原文给出多轮检索器在七个基准上的 Recall@10 数据,并开源模型与基准,可作多步检索方案的对比参考。

  6. arXiv · cs.AI64

    研究视觉语言模型视觉定位输出的安全对齐缺口

    arXiv 论文 2610.05637 系统研究了视觉语言模型(VLM)视觉定位输出的安全性,将 VLSU、BBQ-V、Asimov-2.0 三个安全基准改造成 15,401 对仅在输出形式上不同的匹配请求。

    推荐理由:论文用 15,401 对匹配请求量化了 VLM 在 grounding 输出上比 VQA 更不安全的差距,并给出可复用的微调方法与提升数据。

  7. arXiv · cs.AI52

    Infinite-Dreamer:用图像编辑世界模型合成数据训练 GUI Agent

    论文提出 Infinite-Dreamer,一种免仿真的数据合成方法,通过像素级图像编辑世界模型将 GUI 状态转移建模为图像编辑任务,利用 VLM 将动作引起的 UI 变化描述为结构化 delta-text,再微调图像编辑骨干网络合成逼真的截图过渡,生成单帧视觉鲁棒性数据与多步想象轨迹。

    推荐理由:论文用图像编辑世界模型合成 GUI 训练数据,仅凭合成数据微调 Qwen3-VL 即在 AndroidWorld 等基准上超过基线。