跳到正文
10月17日周六
  1. Hugging Face · 新模型:abliterated20

    huihui-ai 发布 Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF 去审查版本

    huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 通过 abliteration 技术移除拒绝行为,发布去审查的 GGUF 版本 v2。相比第一版调整了消融重点,且未对专家(experts)进行消融,适合小说写作和编程。该版本安全过滤大幅降低,建议用于研究、测试或受控环境,支持最新 llama.cpp,示例命令上下文长度为 262144。

  2. Hugging Face · 新模型:uncensored28

    VicTeam Agency 发布 Qwen3.8-27B-Uncensored GGUF 量化版

    VicTeam Agency 基于 Alibaba Qwen 的 Qwen3.8-27B(Apache 2.0)发布去审查版 GGUF 模型,采用 huihui-ai 社区的 abliteration 去除拒答、Unsloth 动态量化,面向单显卡本地智能体开发。提供 Q4_K_XL(约 17.4 GB,质量优先)和 IQ4_XS(约 14.4 GB,可完整装入 16 GB 显存、速度更快)两种量化,可通过 llama.cpp(llama-server --jinja)和 llama-swap 运行。

  3. Hugging Face · 新模型:uncensored60

    tatekuperus 发布 Qwen3.6-27B-Fable-Fusion-711 无对齐 GGUF 量化版

    tatekuperus 在 Hugging Face 发布基于 Qwen/Qwen3.6-27B 的多阶段微调与合并模型 Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic GGUF 量化版,作者称其为首个在 8bit 和 4bit 下 ARC-C 超过 700 的该规模微调。去审查由 trohrbaugh 用 Heretic v1.2.0+custom 的 Arbitrary-Rank Ablation 方法完成,拒绝率从原版 99/100 降至 4/100,KL 散度 0.0469;作者给出的基准显示该模型在 7 项基准中 6 项超过 Qwen3.6-27B 基座。

    推荐理由:作者给出 Heretic 消融方法与去审查前后拒绝率对比,并附多组基准和第三方实测数据,可核对去对齐是否损伤模型能力。

  4. Hugging Face · 新模型:uncensored18

    FrosT-LyRo 发布 Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking 的 i1-GGUF 量化版本

    FrosT-LyRo 在 Hugging Face 发布 Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking 的 imatrix 加权 i1-GGUF 量化版本,提供从 i1-IQ1_S(8.8 GB)到 i1-Q6_K(32.2 GB)的多档量化文件,其中 Q4_K_S 被标注为大小、速度与质量的最优平衡,Q4_K_M 为推荐选项。该模型为视觉模型,mmproj 文件放在单独的 static 仓库中,静态量化版本另行提供。

  5. Hugging Face · 趋势模型69

    NVIDIA 发布循环架构模型 Dory1.0-4B,可调循环数换推理精度

    NVIDIA 在 Hugging Face 发布 4B 参数的循环(latent-recurrent)模型 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16,采用 normalized-GPT 架构,通过重复应用共享 Recurrent 块(8 层输入、20 层循环、8 层输出)让每个 token 获得更多计算。单一 checkpoint 可设 1-4 个循环,无需重训即可权衡算力与精度,官方推荐默认 2 循环,并支持 last-loop KV caching 使 KV cache 开销保持在一循环大小。

    推荐理由:同一个 checkpoint 可调循环次数换精度,作者还给出各 loop 数的实测对比与 KV cache 省显存方案,适合关注小模型推理成本的人。

  6. arXiv · cs.AI54

    FUTRANSFORMER 论文:在 Hopper 上用 FP8 prefill 与 INT4 decode 加速 Llama 风格推理

    Wei Wang 在 arXiv 发布 FUTRANSFORMER,一个面向 NVIDIA Hopper GPU 的 Llama 风格 Transformer 推理 CUDA 实现,prefill 用 FP8、decode 用 INT4 权重和 INT4 KV-cache,并采用块对角 Hadamard 变换降低缓存量化误差。

    推荐理由:论文给出 Llama 推理在 H100 上 FP8 prefill 与 INT4 decode 的具体实现和量化精度代价,数字可核对、方法可参考。

  7. Hugging Face · 新模型:abliterated56

    edp1096 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local 量化检查点

    edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local,将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点,变更投影重建后取整为 BF16 并编码为 MXFP8,NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。

    推荐理由:原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录,读者可以据此判断该检查点的实际可用状态。

10月16日周五
  1. Hugging Face · 新模型:uncensored52

    Qwen3.8-27B TURBO 微调版发布 GGUF 权重,ARC-C 达 735 并大幅压缩思考 token

    TTPPCC121 等多人协作发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本,8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。模型用 Heretic v1.2.0+ARA 方法去对齐,Stage 1 拒绝率从 99/100 降到 0/100,KL 散度 0.0535;思考 token 减至原版的 1/2 到 1/10。提供常规与 MTP 两种 GGUF,Q4_K_S 下常规约 75 t/s、MTP 可超 90 t/s(5090、LMStudio 实测),支持 256k 上下文与视觉(需另下 mmproj 文件)。

    同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》

  2. Hugging Face Blog75

    Reflection 发布开源 MoE 模型 Beam 501B,Hugging Face 提供推理与训练全流程支持

    Reflection 新实验室的首个模型 Beam 在 Hugging Face 开源,为 501B 参数 MoE(每 token 激活 23B),支持 1M token 上下文,采用 Apache 2.0 许可,主打编码与智能体场景。提供 BF16、FP8、NVFP4 三种检查点,transformers、vLLM、SGLang 均已 day-0 支持,并附 LoRA SFT 与 Miles GRPO 训练配方;Hub 上分享用 Beam 构建的项目可竞争 10,000 美元额度。

    推荐理由:官方博客给出架构细节、三档精度的实测跑分和从推理到 SFT、RL 的完整部署与训练配方,便于评估上手成本。

  3. Ollama Blog64

    Reflection 开放权重模型 Beam 上线 Ollama Cloud,限时免费

    Reflection 首个开放权重模型 Beam 于10月16日发布,Ollama 作为 day-zero 合作伙伴限时免费提供,Beam 端点全程零数据保留(ZDR)。Beam 是 MoE 模型,总参数约501B、每 token 激活23B,上下文窗口100万 token,采用 Apache 2.0 许可,面向软件工程、推理和长程 Agent 任务,可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。

    推荐理由:官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表,读者可直接比较 Beam 在各编码基准上的位置。

  4. Hugging Face · 新模型:abliterated24

    Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 韩语校准 3.7bpw GGUF 量化版发布

    donghanasd 在 Hugging Face 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的韩语校准混合精度 GGUF,约 12.60 GB、3.69 bits per parameter,从上游 BF16 GGUF 直接量化。量化使用 708 个 512 token 块收集的 importance matrix,张量精度分配沿用 Qwen3.8-27B-Ridge-GGUF,保留 tokenizer、chat template 和 MTP tensors,未做韩语额外训练也未验证韩语质量提升。

  5. Hugging Face · 趋势模型50

    OrcaCyber Nano 1.0:27B 本地离线防御安全模型发布 GGUF 权重

    Orca 发布 27B 视觉语言推理模型 OrcaCyber Nano 1.0,主打防御安全场景,以 GGUF 格式开源,可在本地硬件离线运行,支持逆向工程、漏洞分析、安全代码审查、事件分诊与视觉输入。模型上下文长度 262,144 tokens,内置 MTP 投机解码并支持 DFlash2 draft 文件,主权重 15.70 GB,另有适配 16 GB 显卡的 12.99 GB 版本;基准成绩包括 MATH-500 98.60%、AIME 2025 96.23%、SWE-bench 78.4%,可直接在 llama.cpp 中加载。

  6. Hugging Face · 新模型:abliterated42

    Huihui-Qwen3.8-27B-abliterated GGUF 发布:Qwen3.8-27B 去审查版本

    huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版本,通过 abliteration 技术移除模型拒绝回答的行为,仅消融部分层(如 22 至 52 层),MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化格式,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行,支持 -c 262144 上下文。模型安全过滤大幅降低,建议用于研究测试而非生产环境。

  7. Hugging Face · 新模型:abliterated22

    Huihui-Qwen3.8-Flash-Next-abliterated-GGUF 发布:Qwen3.8-Flash-Next 去审查版本

    huihui-ai 基于 abliteration 技术发布 Qwen/Qwen3.8-Flash-Next 的去审查 GGUF 版本,移除模型拒绝回答行为,无需 TransformerLens。新增 Unsloth 系列与 Swift 系列 GGUF,均支持最新版 Strata 和 llama.cpp,可用 llama-cli 加载 UD-Q4_K_XL 量化文件并将上下文设为 262144。该模型安全过滤大幅降低,可能生成敏感或不当内容,建议仅用于研究、测试或受控环境。

  8. Hugging Face · 新模型:uncensored18

    Hugging Face 上架 dolor4dollar/supergemma4-26b-uncensored-gguf-v2 GGUF 模型

    Hugging Face 发布 uncensored 模型 dolor4dollar/supergemma4-26b-uncensored-gguf-v2 的 GGUF 版本,提供 Q4_K_M 量化。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等工具本地运行,支持启动 OpenAI 兼容 API 服务器或在终端直接推理,并可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。

  9. Hugging Face · 新模型:uncensored76

    candor-lab 发布 Qwen3.5-9B 去对齐版 GGUF 权重

    candor-lab 用自研权重编辑工具 Candor 移除 Qwen3.5-9B 的拒绝行为,以 rank-1 编辑每层 attention 与 MLP 输出矩阵,发布单个 Q4_K_M GGUF 文件(5.78 GB)。实测 288 条 StrongREJECT 有害提示拒绝数从 279 降到 0,无害提示拒绝 5 降到 2,GSM8K 正确数与原模型差异在噪声内;与 heretic 最佳试验相比,有害提示中位思考 token 为 996 对 1648,数学超预算次数也更少。基于 Qwen/Qwen3.5-9B 原始 16 位权重,不含视觉编码器,Apache 2.0 协议,仅用 llama.cpp b11524 在思考开启下实测,LM Studio 和 Ollama 等未验证。

    推荐理由:原文给出与原模型和 heretic 对照的拒绝率、KL 散度和 GSM8K 数据,可据此判断这次权重编辑的代价与效果。

  10. Hugging Face · 新模型:abliterated40

    Huihui-Qwen3.8-27B-abliterated GGUF 发布:Qwen3.8-27B 去审查版本

    huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查 GGUF 版本,通过 abliteration 技术移除模型拒答行为,仅对部分层(如 22 至 52 层)做消融,MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化格式,支持最新版 ollama(huihui_ai/Qwen3.8-abliterated)和 llama.cpp(-c 262144),适合研究测试用途。

  11. arXiv · cs.CL19

    去碎片化 Nawatl 神经机器翻译:面向 Masewalkopa 变体的单变体特化

    一项 arXiv 研究提出“变体碎片化”问题,指出混合纳瓦特语(Nawatl)多种变体的语料会生成不属于任何语言社区的人为语域。研究基于 70,000 双语对多变体基础,用 2,665 平行对和 192 句长者转写句子,将 mT5-large 特化为 Santa Ana Tlacotenco 的 Masewalkopa(nhn)变体,所得 LoRA-v9c-b 模型取得 58.46 dev chrF++;有限状态分析器将未分析表层形式从 82.0% 降至 19.9%,CTranslate2 int8 量化把 CPU 延迟从 137.5 秒降至 1.8-2.6 秒,支持低成本 Cloud Run 部署。

  12. Hugging Face · 新模型:uncensored56

    HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版,附 FastMTP 加速

    HauhauCS 在 Hugging Face 发布 Qwen3.8-27B 的无对齐 Aggressive 变体 GGUF 量化,实测 0/465 次拒绝,直接作答且几乎无前导语。全系列保留原生 NextN 头并附带 FastMTP 32K 加速 sidecar,在 Q8_K_P 上文档 TG 最高达非 MTP 的 3.02x、推理 TG 1.93x,比标准内嵌 MTP 再快 35.2%/21.1%;提供 Q8_K_P 到 IQ2_M 多档量化与 BF16 视觉 projector,基于 Apache 2.0 许可,需 llama.cpp 补丁启用 FastMTP。

    同一新闻,精选展示《HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版》

  13. arXiv · cs.CL45

    DPA-MoE:面向 MoE 推理的运行时精度控制框架

    研究者提出 DPA-MoE,一个运行时精度控制框架,让 MoE 模型中被路由的专家支持任意精度。该方法用 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的分块,并在推理时依据实时 router gate 分数分配。在 Qwen3-30B-A3B 和 DeepSeekMoE-16B 上的实验显示,相同预算下 DPA-MoE 比均匀分块分配改善了 KL 散度和下游准确率,原型系统稳态吞吐开销适中。

  14. arXiv · cs.CL32

    校准语言如何影响多语言模型中的 Block Influence 剪枝

    一项 arXiv 研究发现,Block Influence(BI)深度剪枝的排序依赖校准分布:在 Qwen2.5-1.5B-Instruct、Llama-3.2-1B 和 Gemma-2-2B 上,印地语、马拉地语和泰米尔语的后期 block BI 比英语高 20.7-55.5%,仅用英语校准会系统性漏选这些层。用等量的英语、印地语和马拉地语数据平均校准可缓解困惑度损害,但效果并非在所有架构和剪枝预算下通用,需逐一验证。

  15. arXiv · cs.CL46

    HyCo:面向端云混合推测解码的高效草稿生成方法

    HyCo 将服务器模型的 MTP 头部署到设备端执行,结合一次 SLM 前向作为备选分支,通过量化、受限词表和 1K-token 窗口适配移动 NPU。在 Galaxy S26 Ultra 上经 LTE/5G 测试,HyCo 在 Spec-Bench 上较服务端 MTP 自推测减少 38.6% 的服务器 GPU 时间,在 32K-token 摘要任务上减少 29.2%;相比仅用 SLM 草稿多节省 9.0 个百分点、提速 1.9x,且输出质量与 Cloud+MTP 基本持平。

  16. Hugging Face · 新模型:uncensored72

    AtomicChat 发布 NVIDIA Nemotron 3.5 Super VL 120B-A12B 无拒绝 GGUF 版

    AtomicChat 将 NVIDIA Nemotron 3.5 Super VL 120B-A12B 的拒绝行为从权重中移除,发布 Atomic Dynamic GGUF 量化版本。JailbreakBench 拒绝率从 95.1% 降到 0%,俄语红队提示从 76% 降到 2%,MMLU 保持 85.05% 到 85.10% 基本不变;方法基于 Arditi et al. 2024 的单一方向拒绝机制,对写入残差流的 128 个矩阵做投影编辑,提供 AD-Q4_K_S、AD-IQ3_XXS、AD-Q2_0_L 三档量化,上游 llama.cpp 可直接运行。

    推荐理由:原文给出拒绝率前后对比、MMLU 对照和量化误差数据,读者可以据此判断这次去对齐编辑的代价到底有多大。

  17. Hugging Face · 新模型:abliterated24

    notfakerv 发布 LFM2.5-24B-A2B-abliterated 的 MLX 4-bit 量化版

    notfakerv/LFM2.5-24B-A2B-abliterated-MLX-4bit 是 abliterated 版 LFM2.5-24B-A2B 的 MLX 4-bit affine 量化转换,权重 13.49 GB,直接由 BF16 检查点转换而非 GGUF 重量化,需 MLX LM >= 0.32.0 与 MLX >= 0.32.2。该模型为 always-thinking 推理模型,建议 24 GB 统一内存起步;验证限于冒烟与数值检查,未做 Apple Silicon 运行时测试或速度基准。

  18. Hugging Face · 新模型:uncensored40

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地图像生成

    DollasAndSpence 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式,支持 ComfyUI 本地图像生成。该版本无内置安全检查器,可直接生成成人及 NSFW 内容;推荐 GGUF 使用 Q4_K_M(4.60 GB),MLX 格式针对 Apple Silicon 优化,文本编码器可卸载至系统内存以节省 9–17 GB VRAM。