跳到正文
10月9日周五
  1. Hugging Face · 新模型:abliterated64

    Maximilian228 发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 NVFP4 GPTQ 量化包

    Maximilian228 在 Hugging Face 发布了 huihui-ai 消融版 Qwen3.8-Flash-Next 的 NVFP4 量化包,全部路由专家用 GPTQ(而非 RTN)从 BF16 检查点量化,可在单张 RTX 20-50 显卡(12 GB 以上显存、64 GB 以上内存)上通过 Strata NVFP4 运行 125B 混合 MoE。在留出 token 上,GPTQ 的加权相对误差为 RTN 的 33.5%,48 层全部优于 RTN;实测 182.8 tok/s 解码、2810 tok/s prefill,解码成本与 RTN 持平。

    推荐理由:原文给出完整的 GPTQ 量化方法和 48 层误差对比数据,读者可以据此评估 NVFP4 消融模型的精度与部署成本。

  2. Hugging Face · 趋势模型60

    Cloudflare 开源 30B-A3B 多模态 MoE 模型 Clef-Omni

    Cloudflare 在 Hugging Face 发布 Clef-Omni,一个 30B-A3B 的 MoE 多模态模型,从 Qwen/Qwen3-Omni-30B-A3B-Instruct 后训练而来,把状态与类型化问题 schema 在单次前向中转为每个选项的概率,不做自由文本生成和输出解析。模型支持文本、JSON、图像、音频、视频输入,附联合 schema head 与 Jev/SystemOne 兼容 API,Apache-2.0 协议,bfloat16 下骨干约需 64 GB 显存。官方给出 Decision Index 0.2.1 内部跑分,如 BFCL 98.2、MMLU 92.7、GPQA Diamond 47.4,以及四条业务工作流的决策准确率。

    推荐理由:官方同时放出权重、加载代码和 Decision Index 0.2.1 逐项跑分,可对照 Clef 系列与 Jev 评估其决策型输出路线。

  3. Hugging Face · 新模型:uncensored75

    OrcaRouter Qwen3.8-Flash-Next-Uncensored 发布 GPTQ 量化 NVFP4 权重包

    Maximilian228 在 Hugging Face 发布 OrcaRouter Qwen3.8-Flash-Next-Uncensored 的 NVFP4 (GPTQ) 量化包,供 Strata NVFP4 引擎在单张 12 GB 以上 VRAM 的 RTX 20-50 显卡加 64 GB 内存上运行这个 125B 混合 MoE 模型。模型为 abliterated 去对齐微调,权重中移除了拒绝方向,不拒绝有害请求。作者用 GPTQ 从 BF16 checkpoint 重量化全部路由专家, held-out 误差为 ModelOpt RTN 量化的 33.4%,48 层全部低于 RTN,解码速度与 ModelOpt 包基本持平(约 185.6 对 191.6 tok/s)。

    推荐理由:作者给出完整的 GPTQ 重量化方法和逐层误差对比,NVFP4 去对齐版相对 ModelOpt 量化把误差降到约三分之一。

  4. arXiv · cs.CL45

    HarnessSQL:在真实数据库环境中对 SQL Agent 进行 Harness 原生训练

    HarnessSQL 是一个 harness 原生的后训练框架,让 Text-to-SQL 模型在监督微调和强化学习全程保留与真实数据库的有状态多轮交互结构。在 Spider 2.0-SQLite 上,Qwen3-8B 执行准确率从 15.5% 提升至 45.2%,Qwen3-14B 从 22.2% 提升至 54.8%,并能迁移到 BIRD-Interact、LiveSQLBench 等分布外交互式基准。

  5. arXiv · cs.CL51

    arXiv 论文 SGUID 提出筛选紧凑技能库用于模型蒸馏与共同进化

    论文提出 SGUID 方法,用于在技能蒸馏前筛选紧凑技能子集,发现在策略蒸馏中少于 25% 的检索技能能提供有效蒸馏信号。在 Olmo 与 Qwen 四个模型上,仅蒸馏 6 个精选技能即可匹敌或超过最大 11 倍规模的全库蒸馏;第二轮循环为 Qwen3-8B 新选 3 个技能,将其成绩从 64.3% 提升到 66.3%,而未过滤更新使 Qwen3-4B 的 HMMT25 下降 0.3 个百分点,SGUID 则在两轮后分别提升 0.5 和 1.1 个百分点。论文链接:https://arxiv.org/abs/2610.12367v1

  6. Hugging Face · 趋势模型72

    Underdog 发布 Saluki 27B 量化版,7.89GB 跑通 Qwen3.8-27B 并保留工具调用

    Underdog 在 Hugging Face 发布 Underdog-Saluki-27B-1.0,基于 Qwen3.8-27B 的 GGUF 量化版,仅 7.89GB(全尺寸 54GB),可在标准 llama.cpp 上运行。Underdog Bench 上工具调用 88/120,超过全尺寸模型的 84;并行工具调用 42 对 35,9 项基准平均保留 96%。竞赛数学保留约 82% 到 85%,弱点在字母级指令谜题,部分并行调用回复有小格式错误;可选 0.6 到 0.9GB 的 mmproj 文件添加视觉能力,Apache 2.0 许可。

    推荐理由:原文给出与全尺寸模型同 harness 的工具调用和基准对比数据,读者可以据此判断这个 8GB 量化版本到底保住了多少能力。

  7. Hugging Face · 新模型:abliterated45

    Huihui-Qwen3.8-Flash-Next-abliterated 推出 Orinfer E8P Q2A8 量化版,面向 Jetson AGX Orin 64GB 部署

    immiq 发布 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署包,专为 Jetson AGX Orin 64GB 设计,源模型通过 abliteration 减少拒答。模型支持文本、多图、thinking、prefix caching 和原生 MTP(最多 7 drafts),上下文容量 262,144 tokens,只读权重约 51.4 GB。在 Jetson AGX Orin 64GB 实测中,文本预填充 8,192 tokens 达 809 tokens/s,Python 代码生成解码速度 53.84 tokens/s,权重采用 Qwen Community License 1.0 许可。

  8. arXiv · cs.CL37

    BeliefScope:诊断大语言模型的证据驱动修正与压力诱导偏移

    研究者提出 BeliefScope,一个受控黑盒框架,用于区分大语言模型响应变化究竟来自相关证据还是无关的用户压力。框架通过概率报告、类别判断和行动建议测量响应变化,并在 36 个 Qwen/Llama 模型族及 12 族(含 Gemma3-12B)的针对性检查中发现,模型层面的差异会随控制条件、解码方式或响应接口而改变。结果以条件化信念-响应画像呈现,并附明确的诊断有效性边界。

  9. arXiv · cs.CL49

    Residual Advantage:面向可验证奖励 RL 的学生相对教师引导方法

    研究者提出 Residual Advantage(RA),将师生概率残差视为有界单步奖励,并结合 GRPO 或 REINFORCE++ 改进 RLVR 训练。在 Qwen3-1.7B-Base 和 Qwen3-4B-Base 学生搭配 Qwen3-8B 教师的实验中,RA 在三个数学 benchmark 的全部 24 组对比中均优于基础序列优势算法,macro Avg@8 提升 1.7–3.6 点,Pass@8 提升 3.9–6.3 点。其 CoRA 变体进一步带来 1.0–1.5 Avg@8 点提升,两种组合均超越仅用教师的 OPD。

  10. arXiv · cs.CL35

    WebLoop:面向网页生成的执行驱动循环学习方法

    清华团队等提出 WebLoop,一个在共享策略中联合学习生成、批判与修正的执行驱动框架,为无需执行的 Critic 引入需求级判别力与下游有用性互补信号。基于 Qwen3.5-9B 的 WebLoop 在 WebRise 上达 41.5 Overall,在 WebGen-Bench 上达 38.9% 准确率,分别比基座模型提升 11.3 和 15.4 个点。增益可迁移到首次生成、27B 规模及多模态输入,且受控分析表明仅靠额外一轮修正无法解释该提升。

  11. arXiv · cs.CL42

    Elastic Expert Routing:平滑稀疏 MoE 的 top-k 路由边界

    arXiv 论文提出 Elastic Expert Routing,通过在以 k 为中心的局部离散分布中随机采样激活专家数,将静态 top-k 路由的硬阈值软化为渐进概率分布,并保持推理算力预算不变。在监督微调中,该方法使 OLMoE-1B-7B 和 Qwen3-30B-A3B 的下游宏平均分别提升 +0.84 和 +2.02 分;从头预训练时平均比静态 top-k 基线高 1.6 分。

  12. Hugging Face · 新模型:uncensored40

    Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 版本发布,0/465 拒答

    HauhauCS 基于 Qwen3.6-35B-A3B 发布无审查 Aggressive 版本,测得 0/465 拒答,数据集与能力无改动。模型为 MoE 架构,总参数 35B、每 token 激活约 3B,原生支持 262K 上下文和文本、图像、视频多模态,并提供 Q8_K_P 到 IQ2_M 多档 GGUF 量化(含 K_P 自定义量化),兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  13. Hugging Face · 新模型:uncensored37

    Connect AI Lab 发布 Qwen3-0.6B 实验性“去审查方向移除”模型 Uncensored

    Connect AI Lab 基于 Qwen3-0.6B 制作了一个实验性方向移除模型 Uncensored:通过激活值差异选出第 24 层方向,修改 57 个写入路径,修改后权重约 0.75B。在 CPU FP32 测试中,原始模型拒绝短语匹配 4/4,修改版本为 0/4,但作者明确说明这只是课堂实验,并非所有拒绝都被解除。权重尚未开放下载,准备的 GGUF 文件约 805 MB,已在 LM Studio 中验证可加载并运行 API。

  14. Hugging Face · 新模型:uncensored77

    jakeatx 发布 Swift 1.5 Qwen3.8-27B 无审查版 2.3bpw GGUF 量化,面向 12 GB 显卡

    jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版,基于 UkisAI 的 Swift 1.5(构建于 Qwen3.8-27B)的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight,含 MTP 草稿层,面向 12 GB 显卡约 200K 上下文。

    推荐理由:发布者给出了拒绝率降低说明、KL 散度和 LiveCodeBench 实测对比,读者可以据此判断这个 2.3 bpw 极致量化在 12 GB 显卡上的实际表现。

  15. Hugging Face Blog70

    Hugging Face 博客:如何用 ML Intern 以约 103 美元自制 7 个小模型

    作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型(含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等),总算力成本约 103 美元。文中公开全部提示词(GitHub 仓库 yvrjsharma/ml-intern-prompts),并总结了三条关键写法:让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示;例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B,测试集准确率从基座 14.9% 提升到 52.8%,成本约 1.90 美元。

    推荐理由:作者把 7 个提示词原样公开,预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。

  16. Hugging Face · 新模型:abliterated68

    Dankpaws 发布 Swift 1.5 Qwen3.8-27B Abliterated 的 EXL3 4.25bpw 量化版

    Dankpaws 将 grimlee 的 abliterated 版 Swift 1.5 Qwen3.8-27B 转换为 EXL3 4.25bpw 量化格式,面向双 RTX 5060 Ti 16 GB 硬件,支持三路并发、每路 115,200 tokens 上下文,包含原生 MTP 和视觉权重。作者在 PCIe 拓扑受限的测试机上实测了单请求 66.1 tok/s、三短请求 41.9-43.3 tok/s 等吞吐数据,并明确说明未做额外微调或新的 abliteration,也未与 BF16 做成对评测;许可上同时适用 Swift Open License v1.0 和 Apache License 2.0。

    推荐理由:原文给出了完整的量化参数、实测吞吐和内存数据,读者可以按自己的双卡配置复现这套 EXL3 本地部署。

  17. Hugging Face · 新模型:abliterated62

    haddockaihamburg 发布 Qwen3-0.6B-abliterated 去对齐权重

    haddockaihamburg 用 heretic 工具(方向消融加 TPE 参数优化)自动产出 Qwen/Qwen3-0.6B 的 abliterated 版本并开放权重。25 条有害提示的独立测量显示拒绝数从基座 6/25 降到 0/25,lm-eval 各任务能力与基座相当,MMLU 提升 +3.5 在噪声范围内;作者警告样本仅 25 条、单种子单模型,另一次同配置运行只剩 3/25 拒绝,建议消融后独立验证拒绝行为。模型为思考型,使用时模板需设 enable_thinking=False 以匹配测量状态。

    推荐理由:原文给出拒绝率前后对照、能力评测和可复现性警告,读者能据此判断这次消融的实际效果与局限。

  18. Hugging Face · 新模型:abliterated66

    davetha 发布 Huihui-Qwen3.8-27B-abliterated 的 AutoRound INT4 量化版,可单卡 Intel Arc Pro B70 运行

    davetha 在 Hugging Face 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated(基于 Qwen/Qwen3.8-27B 的去拒绝版本)的 4-bit AutoRound 量化构建,采用 INT4 主体加 baked lm_head/MTP 和 INT8 embedding,面向单张 Intel Arc Pro B70(32 GB)在 vLLM XPU 下运行。

    推荐理由:作者给出了量化方法、perplexity 对比和 B70 上的实测速度数据,读者可以评估这个 4-bit 去对齐版本的质量与可用性。

  19. Hugging Face · 新模型:abliterated47

    Huihui-Qwen3.8-27B-abliterated GGUF 版本发布

    huihui-ai 基于 Qwen/Qwen3.8-27B 发布经 abliteration 处理的去审查 GGUF 版本 Huihui-Qwen3.8-27B-abliterated-GGUF,MTP 与视觉部分未修改。多个系列(UD、GSQ-RCO、UD-DW、Ternary、Swift)仅对第 22-52 层(0 起始索引)做 abliteration,其余层保留原样;Q2_K_L-Q6_K_L 等版本将需 abliteration 的权重转为 Q8_0 以提升回复质量。该模型安全过滤大幅降低,仅建议用于研究与测试,可在最新版 ollama 和 llama.cpp 中运行。

  20. Hugging Face · 新模型:abliterated34

    huihui-ai 发布 Huihui-Qwen3.8-Flash-Next-abliterated-GGUF 去审查模型

    huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 发布去审查版 Huihui-Qwen3.8-Flash-Next-abliterated-GGUF,用 abliteration 技术移除模型拒绝行为。新增 Unsloth 与 Swift 系列 GGUF,支持最新版 Strata 和 llama.cpp,Strata 提供 SHA256 校验,llama.cpp 可运行 UD-Q4_K_XL 量化版本并设置 -c 262144 上下文。模型安全过滤被大幅削弱,建议仅用于研究和受控环境,使用者需自行承担法律与伦理责任。

  21. Hugging Face · 趋势模型63

    NVIDIA 发布 Qwen3.8-Flash-Next-FP4-Local 量化版,支持单卡本地部署

    NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local,是用 Model Optimizer 量化感知蒸馏(QAD 1.0,nvidia-modelopt v0.47.0)制作的 Qwen3.8-Flash-Next FP4 量化版,checkpoint 约 96 GiB。模型总参数 125B、激活 6B,另有 51B n-gram embedding 和 4B MTP,原生上下文 262K 可扩展至 1M tokens;精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%,ToolEvalBench 从 89.4% 降至 88.7%。

    推荐理由:官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案,量化细节可参考。

10月8日周四
  1. Hugging Face · 新模型:uncensored43

    Qwen-Image-2.1 Uncensored GGUF 量化版发布:支持 ComfyUI 本地图像生成

    用户 Kikik3636 基于 Qwen/Qwen-Image-2.1 上游原始权重发布 GGUF 量化版本,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多档量化文件,体积从 4.15 GB 到 14.23 GB 不等,其中 Q4_K_M 被推荐为体积与质量的最佳平衡。该版本内置 ComfyUI 配套的 text encoder(qwen3vl_8b)与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 节点运行。此版本无内置安全检查器或内容过滤,可直接生成 NSFW 内容,采用 Qwen Research License 授权。

  2. Hugging Face · 新模型:uncensored51

    Qwen3.8-27B TURBO 微调版发布:Heretic 去审查并压缩思考 token

    作者发布基于 Qwen3.8-27B 的多阶段微调 GGUF 模型,称 8bit ARC-C 达 0.735、ARC-E 达 0.882,并宣称将思考 token 压缩至原版的 1/2 到 1/10。去审查采用 Heretic v1.2.0+ 的 Arbitrary-Rank Ablation 方法,阶段1拒绝率从 99/100 降至 0/100(KL 0.0535),阶段2后为 11/100(KL 0.0025);提供常规与 MTP 两类量化,4bit Q4_K_S 下约 75 t/s,MTP 可超 90 t/s(5090 实测)。

  3. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next 的 MLX 量化包发布,4-bit 混合精度约 63 GB 可在 128 GB Mac 上运行

    作者发布了 Qwen/Qwen3.8-Flash-Next 的 mlx-serve 4-bit 混合量化包(4-bit experts、8-bit 其余),该模型为 Qwen4 preview 架构(model_type: qwen4_exp),全量 checkpoint 为 125B trunk + 51B n-gram + 4B MTP,共 180B(bf16 360 GB)。实测在 M4 Max 128 GB 上常驻约 67-69 GB,decode 29-34 tok/s,25k token prompt prefill 约 400 tok/s。n-gram 表以单独 4-bit 文件 mmap 方式按需反量化,不占常驻显存;MTP 头可加载但当前比串行 decode 慢,默认关闭。

    推荐理由:作者在 M4 Max 上给出了显存占用、decode 与 prefill 速度等实测数据,读者可以据此评估这个 180B 模型能否在自己机器上跑。

  4. Hugging Face · 新模型:abliterated66

    Ostrich-27B-261008-Qwen3.8-Abliterated 发布,基于 Qwen 3.8 27B 去除拒绝行为

    etemiz 发布 Ostrich-27B-261008-Qwen3.8-Abliterated,基于 Qwen 3.8 27B 做 abliterated 处理移除拒绝行为。自评显示总体对齐分从原版 Qwen 3.8 的 37%(几何平均)提升到 82%,消融测试拒绝率很低。相比 260903 版本新增 Agentic RAG 训练、-100..100 真值打分适配器、9 项自动化拟人测试(总分 0.928),并开始提供 EXL3 量化(3.0 至 6.0 bpw)与 GGUF 下载,可在约 18 GB 显存的消费级 GPU 上 4-bit 运行。

    同一新闻,精选展示《etemiz 发布 Ostrich-27B-261008-Qwen3.8-Abliterated EXL3 量化版》

  5. Hugging Face · 新模型:abliterated69

    etemiz 发布 Ostrich-27B-261008-Qwen3.8-Abliterated EXL3 量化版

    etemiz 在 Hugging Face 发布基于 Qwen 3.8 27B 的 Ostrich-261008 abliterated 版本,提供 3.0 至 6.0 bpw 四档 EXL3 量化(13 到 22 GB),可通过 ExLlamaV3 / TabbyAPI 在消费级 GPU 本地运行。该版本经 abliteration 移除拒绝行为,官方数据显示整体对齐率从基座的 37% 升至 82%,并新增了 Agentic RAG 训练、真值打分适配器和 0.928 分的自动化 9 项人格化测试;训练采用进化搜索管线,累计 841 代、9500 条谱系,蒸馏领域覆盖健康、宗教、比特币等。

    推荐理由:原文给出了按领域的对齐率对比和拒绝率数据,读者可以据此判断这个 abliterated 版本的实际去对齐程度和量化选择。

  6. Hugging Face · 新模型:uncensored37

    Qwen3.6-35B-A3B Uncensored Genesis Hermes GGUF 版本发布

    burningfeet 发布基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 的 Genesis Hermes GGUF 模型,基础模型 refusal 记录为 0/465。该模型总参数 35B,每次前向激活约 3B(MoE,256 专家、8 路由 + 1 共享),采用 Gated DeltaNet 线性注意力与全 softmax 混合架构(3:1),40 层,原生 262K 上下文(YaRN 可扩展至 1M),本地多模态。作者使用 Genesis 后训练算法通过 Marchenko–Pastur 定律修复 tensor 中的训练噪声,不涉及训练或微调。

  7. Hugging Face · 新模型:abliterated28

    abliterated 模型 k8scert/Qwen3.8-27B-ABLITERATED-Q8_0 上架 Hugging Face

    用户 k8scert 在 Hugging Face 发布 abliterated 版模型 Qwen3.8-27B-ABLITERATED-Q8_0,采用 Q8_0 量化。页面给出通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行该模型的命令,并附 Pi、Hermes Agent、OpenClaw 等接入本地 llama.cpp 服务器的配置示例。

  8. Hugging Face · 新模型:uncensored27

    Qwen3.6-35B-A3B-Uncensored-Genesis-Final GGUF 发布

    burningfeet 在 Hugging Face 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Final 的 GGUF 版本,基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive,拒答数为 0/465。该模型经 Genesis 张量修复处理,基于 Marchenko–Pastur 分布做自定义 SVD 降噪,不改变已学知识。模型总参数 35B,每次前向激活约 3B(MoE,256 专家、每 token 8 路由+1 共享),原生 262K 上下文(YaRN 可扩展至 1M),兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  9. Hugging Face · 新模型:abliterated20

    mradermacher 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 模型的 GGUF 量化版本,包含 imatrix 量化及约 0.1GB 的 imatrix 文件供用户自行创建量化。静态量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。作者感谢 nethype GmbH 提供服务器及 @nicoboss 提供私有超算支持。

  10. Hugging Face · 新模型:abliterated76

    Blackfrost 发布 Qwen3.8-27B-ABLITERATED GGUF 量化版,残留拒绝率2.4%

    Blackfrost 发布了 Qwen3.8-27B 的 abliterated 版本 GGUF 量化包,权重级降低拒绝行为,附完整 K-quant 阶梯(Q2_K 至 Q8_0)和视觉投影文件。450例拒绝基准(150 AdvBench、150 StrongREJECT、150 XSTest)经人工复核后残留11例真拒绝,占2.4%;W4A4 NVFP4 衍生版的 WikiText-2 词困惑度为9.3677,上游 BF16 为8.4764。每个主量化内嵌 MTP 投机头,可单文件在 llama.cpp 运行;可选 BF16 DFlash2 sidecar 在 RTX PRO 6000 上配 Q4_K_M 达到109.31 tok/s 中位解码速度,需固定实验性 llama.cpp 实现。

    推荐理由:原文给出450例拒绝基准的分阶段残留数据和量化档位清单,读者可据此判断该去对齐版本的拒绝率与部署成本。

  11. Hugging Face · 新模型:abliterated23

    mradermacher 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 的 GGUF 静态量化版本

    mradermacher 在 Hugging Face 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 的 GGUF 静态量化版本,提供从 Q2_K 到 f16 共 12 种规格,体积介于 0.4-1.1 GB,其中 Q4_K_S/Q4_K_M 被标注为快速且推荐,Q8_0 为最佳质量。weighted/imatrix 量化暂不可用,用户可通过 Community Discussion 提出请求。

  12. Hugging Face · 新模型:abliterated28

    mradermacher 发布 Qwen3-06B-3MPER0RR-abliterated 静态 GGUF 量化版本

    mradermacher 在 Hugging Face 发布 Qwen3-06B-3MPER0RR-abliterated 模型的静态 GGUF 量化版本,提供从 Q2_K(0.4 GB)到 f16(1.3 GB)共 13 种量化类型。其中 Q4_K_S、Q4_K_M 标注为快速且推荐,Q6_K 质量很好,Q8_0 快速且质量最佳。加权/imatrix 量化版本可在其模型页面获取,使用方法可参考 TheBloke 的 README。

  13. Hugging Face · 新模型:abliterated36

    huihui-ai 发布 Qwen3.8-Flash-Next 的 abliterated 无审查 GGUF 版本

    huihui-ai 在 Hugging Face 上发布 Huihui-Qwen3.8-Flash-Next-abliterated-GGUF,这是用 abliteration 技术移除拒绝行为的 Qwen/Qwen3.8-Flash-Next 无审查版本。GGUF 文件来自 unsloth 系列,支持最新 llama.cpp 和 Strata,可用 llama-cli 加载,上下文设为 -c 262144。发布方提醒该模型安全过滤已大幅削弱,仅建议用于研究、测试或受控环境,使用后果由用户自行负责。

  14. Hugging Face · 新模型:abliterated75

    Qwen3.8-27B-ABLITERATED GGUF 量化全梯子发布,450 例基准残余拒绝率 2.4%

    Xeldia 在 Hugging Face 发布 Qwen3.8-27B-ABLITERATED 的 GGUF 版本,提供 Q2_K 到 Q8_0 全部标准 K-quant 及视觉投影器,由 Blackfrost-AI 的 BF16 去对齐权重转换而来,保留 262,144 token 上下文和原生 MTP 投机头。发布页给出 R1-HARMFUL-BENCH-450 拒绝基准:经三阶段筛选后残余 11 例真拒绝(2.4%),并附 WikiText-2 困惑度对比与 DFlash2 投机解码实测中位 109.31 tok/s;DFlash2 路径需固定 llama.cpp PR #27342 实现。

    同一新闻,精选展示《Blackfrost 发布 Qwen3.8-27B-ABLITERATED GGUF 量化版,残留拒绝率2.4%》

  15. arXiv · cs.AI42

    RECAST:通过自适应证据路由学习计算正确的上下文

    RECAST(Routing Evidence through Computation, Access, and Synthesized Tools)提出一个学习式框架,把证据构建建模为对异构检索与计算操作的序列决策,让证据被主动推导而非仅仅检索。其 RouterLM 经 SFT 与 GRPO 训练,在 6 个基准家族上平均成功率 75.6%,超最强基线 15.9%;在 3 个 held-out 基准上平均领先 15.0%,Qwen3.5-9B RouterLM 超 Gemini 3.5 Flash 5.0%。

  16. arXiv · cs.AI16

    QCATS:查询上下文感知的 Transformer 切片框架,实现高效数据库内预测查询

    QCATS 是一个查询上下文感知的 Transformer 切片框架,利用查询谓词和元数据统计在模型执行前预选上下文对齐的 FFN 切片,实现数据库内高效稀疏推理。框架包含离线专家构建和轻量查询级路由,并引入异步 CPU-GPU 流水线与路由感知批处理等系统优化。在 BERT-base 和 Qwen-0.6B 的四项预测查询工作负载上,QCATS 延迟最多降低 4.42x,预测精度与稠密基线相当。

  17. arXiv · cs.CL45

    EncBank:将预训练 LLM 的编码器缓存为跨查询可复用的紧凑记忆

    研究者提出 EncBank,把预训练 LLM 的低层视为可复用的文档编码器并紧凑存储其输出,供适配后的上层读取器使用,且各存储精度共享自蒸馏 suffix adapter、无需针对量化重训。在三个不同规模的 Qwen 骨干上的五个 benchmark 套件中,4-bit 存储与原生精度 EncBank 各项 aggregate 差距在一个分数点内;在固定 Qwen3-8B 负载下仅保留 28.1% 的原生精度 GPU 常驻存储,并实现 1.40x prefill 加速(RULER 准确率损失 3.12 分),原生精度 Qwen3.8-27B 还通过 Terminal-Bench 2.1 的 89 项任务中的 70 项。

  18. arXiv · cs.CL46

    BehaviorTrace:在线 RL 训练数据归因的极限

    论文发布 BehaviorTrace,一个开源评测框架,用于检验在线 RL(GRPO)微调中能否定位教会模型新行为的训练 rollout。在 Qwen2.5-1.5B 上跨三个 seed 的实验显示,仅按梯度大小排序的对照方法可达 4.2 至 4.5 倍随机水平,多数表观归因信号来自混淆因素;控制流畅度后,逐 rollout 结果随 seed 和生成采样波动。唯一在全部三个 seed 上成立的信号是触发 token 的梯度与行为实际发生处构建的目标对齐。