跳到正文
10月11日周日
  1. Hugging Face · 新模型:abliterated67

    msuiche 发布 Gemma 3 27B it 的 GLP 投影控制向量去拒绝方案

    Matt Suiche 发布针对 google/gemma-3-27b-it 的 projective control vector(GLP),不改动权重,在语言模型 11–61 层的残差流上以 alpha 0.25 运行时投影,打包为 glp.* GGUF 文件。验证套件显示 stock 模型本就通过 refusal32 的 29/32,加向量后 31/32 comply,benign32-holdout 32/32 不受影响,三个 stock 拒绝的 prompts 全部变为连贯 on-topic 输出;1–10 层因低于置空对照 5x 门槛被排除,作者警告 alpha 不可跨模型移植。

    推荐理由:原文给出了完整的 alpha 阶梯、拒绝率和 benign 对照数据,还解释了为何只覆盖 11 到 61 层,方法与证据都比较清楚。

  2. Hugging Face · 新模型:uncensored19

    Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP 推出 MLX 版本

    DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP 模型现提供 MLX 优化版本,用于 Apple Silicon 推理。该版本由 Q8_0 GGUF(30.24 GB)转换而来,866 个张量全部反量化为 float16(约 55 GB,12 个分片),质量与原 GGUF 权重一致、无精度损失。架构为 Qwen3.5 dense(65 层、5120 hidden、24 heads、248320 vocab),采用 Apache-2.0 许可证。

  3. Hugging Face · 新模型:abliterated65

    Matt Suiche 发布 gemma-3-4b-it 去对齐投影控制向量 GLP

    Matt Suiche 在 Hugging Face 发布针对 google/gemma-3-4b-it 的投影控制向量 GLP-28-L6-33-a0.25,在残差流第 6–33 层运行时施加投影(alpha 0.25),不修改权重。验证显示 stock 模型本已通过 32 个拒绝样本中的 30 个,steering 后 32/32 全部配合,良性留出集同样 32/32,无输出损坏;作者提醒 alpha 校准仅限该 checkpoint,不可移植到其他模型,且需本地权重和实现 glp.mode=project 的运行时。

    推荐理由:作者给出了完整的拒绝率对照、alpha 阶梯和空转门控数据,读者可以据此评估这个去对齐方向向量的实际效果与局限。

  4. Hugging Face · 新模型:abliterated70

    msuiche 为 google/gemma-3-1b-it 发布无权重修改的 GLP 去对齐投影向量

    Matt Suiche 在 Hugging Face 发布针对 google/gemma-3-1b-it 的投影控制向量(GLP)文件,运行时在残差流后层按 h <- h - alpha * (h . d) d 施加,作用于第 4、5 和 8–25 层,alpha 0.25,不修改任何权重。验证显示 stock 模型 refusal32 本就通过 29/32,steering 后 32/32 全部交付,benign32-holdout 保持 32/32,alpha 0.25/0.5/1.0 阶梯平坦且零损坏输出;alpha=0.0 对照组 64/64 与 stock 完全一致。

    推荐理由:原文给出了投影向量的推导方法、alpha 阶梯与拒绝率对照数据,读者可以据此评估去对齐的实际幅度与适用边界。

  5. Hugging Face · 新模型:uncensored28

    ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 发布 AutoRound W4A16 量化版本

    Kre80r 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 的 AutoRound W4A16 量化版,采用对称 4-bit 权重、group size 128,体积从 54.7 GB 降至 18.7 GB,上下文长度 262,144 保持不变。量化在 2x RTX 3090 上约 8 小时完成,已在 vLLM 0.29.0 中通过加载和文本、图像、工具调用冒烟测试,但未做质量评测。该模型经 Heretic 去审查处理、安全对齐大幅削弱,仅限研究与实验用途,许可为 PolyForm Small Business 1.0。

  6. Hugging Face · 新模型:uncensored49

    Zyszztggd 发布 Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored-NM-DAU-NEO-MTP-GGUF 微调模型

    Hugging Face 用户 Zyszztggd 发布基于 Qwen 3.8 27B 的多阶段微调模型,8 bit 量化 arc-c 达 699,4 bit 达 692,高于原版 Qwen 3.8 27B。该模型将 thinking tokens 减少至原来的 1/2 到最低 1/20,提供 5 种推理模式和 5 种 instruct 模式(可经 API 或对话中即时切换),instruct 模式零推理 token。模型以 GGUF 格式发布,含 regular 与 MTP Neo MAX 量化版本,为强去审查(uncensored)版本,基于 Unsloth 在消费级硬件上训练。

  7. Hugging Face · 新模型:abliterated22

    gorbatjovy 发布 Swift1.5-Qwen3.8-Flash-Next-abliterated EXL3 4.05bpw 量化版模型

    Hugging Face 上新模型 gorbatjovy/Swift1.5-Qwen3.8-Flash-Next-abliterated-EXL3-4.05bpw_h6_ng6-v2,是基于 ukisai/Swift1.5-Qwen3.8-Flash-Next 的 abliterated EXL3 4.05bpw 量化版本,供 veloGB10 使用。该模型为多模态图像文本到文本模型,文档提供 Transformers、vLLM、SGLang 及 Docker 的调用示例,均支持 OpenAI 兼容 API。

  8. Hugging Face · 新模型:uncensored78

    Swift-1.5-Qwen3.8-27B 无对齐 GGUF 版发布,合并 MTP 头并附拒绝率实测

    pierpaolo 在 Hugging Face 发布了 Swift-1.5-Qwen3.8-27B-NVFP4-Uncensored-MTP 的 GGUF 构建,基于 UkisAI Swift 1.5 对 Qwen3.8-27B 的微调,把安全拒绝方向从权重中投影移除,并从带审查的上游版本合并 MTP 头以支持 llama.cpp 的 --spec-type draft-mtp 推测解码。

    推荐理由:作者给出了拒绝方向的投影方法、消融后拒绝率前后对比和 MTP 接受率数据,读者可据此判断这个去对齐版本的去对齐程度和性能代价。

  9. Hugging Face · 新模型:uncensored45

    SargeDev 发布 JEV-27B-VL-Uncensored EXL3 量化版

    SargeDev 发布 JEV-27B-VL-Uncensored 的 EXL3 量化版,将 AutoTrust System-1 决策模块合并进 huihui-ai 去审查版 Qwen3.8-27B 骨干,量化约 3.0 bpw 路由权重。在 jev-distill-corpus-v3 的 test_set_30k(27,695 行)评测中,noul AUROC 0.992 通过门槛,但 choice top-1 0.870 与 score top-1 0.814 未达门槛。EXL3 精度校准测试尚未完成,refit 温度未经此精度验证。

  10. Hugging Face · 新模型:abliterated30

    Huihui-Qwen3.8-Flash-Next-abliterated-GGUF 发布:Qwen3.8-Flash-Next 的去审查版本

    huihui-ai 发布 abliterated 版 Qwen3.8-Flash-Next,通过 abliteration 技术在不使用 TransformerLens 的情况下去除模型的拒绝回复行为。GGUF 文件来自 unsloth 系列,支持最新版 Strata 和 llama.cpp,可用 llama-cli 以 262144 上下文长度运行。该模型安全性过滤被大幅削弱,仅建议用于研究和受控测试环境,不适合生产或公开商业应用。

  11. Reddit · r/SillyTavernAI59

    SillyTavern 通用预设 Voyage v5 发布

    /u/Kahvana 发布 SillyTavern 通用预设 Voyage v5,把与 LLM 的交互框定为TTRPG手册式回合制叙事,提供 Hugging Face 等下载地址。默认 32K 上下文、4K 输出,默认配置约 1750 tokens,最重约 2700 tokens;作者在 Gemma 4 31B IT QAT 等 8 个模型上实测,附 PbtA 检定、A-Life 与 Nemesis 规则、防slop命名与文风开关,并列出从 v4 EXP 2 起的详细变更。

    同一新闻,精选展示《Kahvana 分享 Voyage v5 提示词实验心得:NPC 框架、正面表述与 markdown 召回》

  12. Hugging Face · 新模型:uncensored60

    Qwen3.8-27B-Uncensored 的 EXL3 4.00bpw 量化版发布,单卡 24 GB 跑满 262K 上下文

    sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版,权重、lm_head、视觉塔和 MTP 头均为 4-bit,仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测:加载后显存 21.0 GB,无思考模式 155–167 tok/s,MTP 起草接受率 81%;作者注明只做了短测,最长提示词 9K tokens,质量未对照 BF16 源模型。许可为 Apache 2.0,去对齐工作来自 llmfan46。

    推荐理由:作者给出了单张 24 GB 卡上的实测数据,包括显存、速度和 MTP 接受率,对想本地跑同款量化的人有直接参考价值。

  13. Hugging Face · 新模型:abliterated72

    GLM-5.3-Flash-abliterated-Maya-M-GGUF 发布:运行时移除拒绝的量化模型与引擎补丁

    alesha-pro 发布 GLM-5.3-Flash-abliterated-Maya-M-GGUF,基于 Project Maya 的 Maya-M 量化,附带 2.2 MB 拒绝方向向量和 Maya 引擎补丁,可在推理时逐层移除拒绝。在 4x RTX 3090 上开启向量后 256K 上下文解码 56 tokens/s;178 条 AdvBench 与 JailbreakBench 请求中仅 2 条仍拒绝(自杀与自残相关),未开启向量的 EXL3 2.05 bpw 量化上原模型拒绝 144/146,开启后 438 条回答 0 拒绝。

    推荐理由:作者给出拒绝向量构造方法与178条请求的拒绝率前后对比,并附KLD数据,读者可自行判断去对齐幅度。

  14. Hugging Face · 新模型:abliterated75

    Qwen3.8-Flash-Next abliterated 版以 fngine 单卡包形式发布

    satellitedown 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated fngine 单 GPU 推理包,迁移 huihui-ai 的消融结果,48 层单拒绝方向拟合最小余弦 0.9999985。在 RTX 5090 上对 32 个轻度提示词,未消融版拒答 8 个、该包 0 个,数学、Python 与知识测试两版得分相同,速度无可测差异。pack 约 89 GiB,要求 sm_120a GPU、约 60 GB 主机内存,提供 OpenAI 兼容接口与 256K 上下文。

    推荐理由:给出了 abliteration 的迁移方法、消融方向拟合与拒绝率前后对照,可复核的去对齐发布。

  15. Hugging Face · 新模型:abliterated81

    GLM-5.3-Flash abliterated EXL3 2.4bpw 混合量化发布,附逐块去拒向量

    作者发布 GLM-5.3-Flash 的 EXL3 混合量化(gate/up 2 bit、expert down 3 bit,约 2.4bpw,98.1 GB),并附 2.2 MB 的逐块去拒向量,运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文(77% 专家驻留 VRAM),256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝,原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个;带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959,需配合作者自己的 exllamav3 fork 使用,许可证 MIT。

    推荐理由:作者给出逐块去拒方向的构造方法、拒绝率前后对照和KLD量化数据,可自行复现并检验量化与去对齐的实际代价。

  16. Hugging Face · 新模型:uncensored62

    beginning-ai 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 混合精度量化版

    beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored(去拒绝的 BF16 版)的 NVFP4 混合精度量化,目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个;checkpoint 占盘 120 GiB(BF16 源为 335 GiB),GPU 上约 78 GB 权重,47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s(2K 上下文)、约 240 tok/s(200K),KV cache 786K token、上下文 524K。

    推荐理由:原文给出了逐张量对比、校准数据与拒绝行为说明,读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。

  17. Hugging Face · 新模型:abliterated25

    Holo4-27B-abliterated EXL3 6bpw 量化版本发布

    Hugging Face 用户发布基于 Hcompany/Holo4-27B 的 abliterated 版本的 EXL3 量化模型,目标 6 bpw,转换器报告码率为 6.0,并移除了悬空的 MTP 配置。该模型源自 timteh673/Abliterix 制作的 refusal-direction ablation 版本,采用 CC BY-NC 4.0 仅限非商业使用,同时附带原始 Qwen 基座的 Apache-2.0 许可。发布前已通过 EXL3 加载生成非空文本的冒烟验证,但不包含任何 benchmark 分数,需使用 EXL3 兼容推理软件。

10月10日周六
  1. Hugging Face · 新模型:uncensored51

    SargeDev 发布 JEV-27B-VL-Uncensored,将 System-1 决策模块合并进 abliterated Qwen3.8-27B

    SargeDev 在 Hugging Face 发布 JEV-27B-VL-Uncensored,把 AutoTrust 的 System-1 决策模块合并进 huihui-ai 的 abliterated Qwen3.8-27B backbone,使决策输出不经过原模型的拒绝机制。在 27,695 行测试集上,noul AUROC 0.985、choice top-1 降至 0.855、score top-1 降至 0.797,KL 0.055,重校准后各 ECE 指标达标;10 条 prompt 测试拒绝率为 0.0。

  2. Hugging Face · 新模型:uncensored62

    SargeDev 发布 JEV-27B-Uncensored,将 AutoTrust 决策模块合入 abliterated Qwen3.8-27B

    SargeDev 在 Hugging Face 发布 JEV-27B-Uncensored,是 JEV 27B 家族首个 uncensored 成员,将 AutoTrust 的 System-1 决策模块合入 huihui-ai 的 abliterated Qwen3.8-27B 骨干(第 18-51 层消融,视觉塔未动),使决策引擎在无拒绝线路下输出。

    推荐理由:原文给出了消融层范围、决策指标前后对比和拒绝率实测,读者可以据此判断去对齐带来的能力代价。

  3. Hugging Face · 新模型:uncensored61

    SargeDev 发布 JEV-27B-Uncensored GGUF,去审查骨干合并 System-1 决策块

    SargeDev 在 Hugging Face 发布 JEV-27B-Uncensored-GGUF,将 AutoTrust 的 System-1 决策块合并进 huihui-ai 消融版 Qwen3.8-27B(layers 18-51 ablated)骨干,使决策引擎在无拒绝接线下输出。在 jev-distill-corpus-v3 的 27,695 行 held-out 测试集上,与原 JEV-27B 相比 choice top-1 降 4.9 分、score top-1 降 9.3 分,noul AUROC 0.985 通过门槛,10 条 prompt 电池拒绝率为 0;附带 24 槽决策头、校准文件、serve_decide.py vLLM 服务器及 Q8_0 / Q4_K_M / f16 量化。

    同一新闻,精选展示《SargeDev 发布 JEV-27B-Uncensored,将 AutoTrust 决策模块合入 abliterated Qwen3.8-27B》

  4. Hugging Face · 新模型:uncensored22

    Nova-Zero 发布 Gemma-4-E4B-it-Uncensored-GGUF 量化模型

    Nova-Zero 在 Hugging Face 发布 Gemma-4-E4B-it-Uncensored-GGUF 无审查 GGUF 量化模型,提供 Q5_K_M 量化版本。该模型可通过 llama.cpp、Ollama、Docker、LM Studio、Jan 等多种方式本地运行,支持启动 OpenAI 兼容本地服务器和终端直接推理,也可在 Pi、Hermes、OpenClaw 等 Agent 工具中配置使用。

  5. Hugging Face · 新模型:abliterated17

    Longleaf-35B-A3B-Abliterated 上架 Hugging Face:仅有元数据的开发预览,权重未发布

    redhillsmediafl 在 Hugging Face 上架 Longleaf-35B-A3B-Abliterated 开发预览页,目前仅有元数据,尚无权重或已接受的 abliterated 版本。该模型是基于 Qwen3.6-35B-A3B(Apache-2.0 上游许可)的计划版本,面向编程和 agent 工作流,目标设备为 Mac Studio(M1 Ultra、64 GB 统一内存),以 Q4 为目标。当前版本的质量、速度和内存均未测得,无 SWE-bench 或 Terminal-Bench 等声明。

  6. Hugging Face · 新模型:uncensored54

    YueFong 发布 Qwen-Image-2.1 Uncensored GGUF 量化版

    YueFong 在 Hugging Face 上发布基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化版,用于本地图像生成。该版本移除内置安全检查器,可直接生成成人及敏感图像而不出现提示词拒答或黑图;提供 BF16 到 Q4_0 等多档量化(如 Q4_K_M 为 4.60 GB),并附配套文本编码器 qwen3vl_8b 与 VAE 文件、ComfyUI 及 ComfyUI-GGUF 的部署与低显存配置说明。

    推荐理由:原文列全了各量化档位的文件体积与显存占用,还给出 ComfyUI 的部署步骤和文本编码器卸载方案,照做即可跑通本地生图。

  7. Hugging Face · 新模型:uncensored67

    YueFong 发布 Qwen-Image-2.1-Turbo 去拒绝文本编码器 GGUF,英文拒绝率从 88.9% 降至 1.2%

    AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored-GGUF,将 Qwen-Image 的文本编码器 Qwen3-VL-8B-Instruct 的拒绝方向投影移除,作为 stable-diffusion.cpp 的 --llm 使用。编码器作为聊天模型时,英文拒绝率从 88.9% 降至 1.2%,俄语从 38% 降至 0%,MMLU 保持 77.35% 不变;实测显示 Qwen-Image 开源管线本就无过滤,45 条敏感提示词的结果一条都没有改变,图像仅有约 0.088 的 LPIPS 偏移。

    同一新闻,精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器,拒绝率从 88.9% 降至 1.2%》

  8. Hugging Face · 新模型:abliterated57

    swdq 发布 Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 4-bit 量化版

    swdq 在 Hugging Face 放出 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX affine 4-bit 权重,并把检查点自带的 MTP 头量化为 mtp-4bit.safetensors,供 TensorFold 的 Qwen3.6 MoE CUDA 家族使用。在一台 NVIDIA DGX Spark(GB10)上用 TensorFold 0.6.6、--mtp-drafts 2 --prefill-f8 实测,8k tokens 预填充 5,700–7,200 tok/s、解码 98–128 tok/s;相比之下 BF16 检查点在 vLLM 0.29 加 FP8 在线量化加 MTP 2 下解码约 53/69 tok/s。

    推荐理由:原文给出了完整的量化方法、实测吞吐数据和复现命令,读者可以直接拿来在单机上部署这个 4-bit 版本。

  9. GitHub · 去对齐工具与仓库52

    societysim 开源:用多厂商 LLM 智能体玩狼人杀来测量说谎与识谎能力

    polter-dev 发布 societysim,一个让不同厂商的 LLM 智能体互玩狼人杀的开源框架,记录每步行动和私有推理日志,测量各模型说谎、识谎、说服与合作的水平。引擎为确定性 Python 实现,规则为 7-9 人的 Ultimate Werewolf;标签由自 tagging、TypeSafe 的 Jev 分类器和游戏事实三种来源生成,报告含 Wilson 置信区间、OpenSkill 评分、Brier score 和检测 AUC。参与模型包括 Qwen3-235B、Llama-4-Maverick、gpt-oss-120b、DeepSeek-V3.1 及 Gemini 和 GPT 系列闭源模型,日志数据集与排行榜将发布在 Hugging Face。

  10. Hugging Face · 新模型:uncensored76

    AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器,拒绝率从 88.9% 降至 1.2%

    AtomicChat 在 Hugging Face 发布去对齐版 Qwen-Image-2.1-Turbo 文本编码器 GGUF,将 Qwen3-VL-8B-Instruct 的拒绝方向从权重中投影去除。作为聊天模型,英文拒绝率从 88.9% 降到 1.2%,俄语从 38% 降到 0%,MMLU 保持 77.35% 不变;45 条敏感图像提示词测试中无一翻转,图像输出仅有约 0.088 的 LPIPS 漂移。提供 BF16 到 Q2_K 量化分档,配 stable-diffusion.cpp 的 --llm 参数本地运行,方法基于 Arditi et al. 2024 的单方向拒绝机制研究。

    推荐理由:原文完整给出拒绝方向消融方法、拒绝率前后对照和量化分档对画面的影响,可据此自行评估这个去对齐编码器的实际改动幅度。

  11. Hugging Face · 新模型:abliterated73

    anlord 放出 Gemma-4-E2B-it 消融版,拒绝率从 99/100 降至 4/100

    anlord 在 Hugging Face 发布 google/gemma-4-E2B-it 的 abliterated 版本,用方向消融直接原地改权重,无微调无 LoRA,拒绝率从 99/100 降到 4/100,KL 散度为 2.9072。方法为 Anlord Abliterator 1.6.0 加 Optuna TPE 多目标搜索(100 trials,seed 42),仅修改 35 层文本塔,视觉与音频编码器保留原权重;仓库附带 4 点 Pareto 前沿的更温和变体参数和完整逐字节复现包,GGUF 量化在配套仓库 anlord/gemma-4-E2B-it-abliterated-GGUF 提供 F16 至 Q4_0。

    推荐理由:原文给出了完整的消融方法、拒绝率与KL偏移数据及四点Pareto前沿,读者可按需选择去对齐强度并逐字节复现。

  12. Hugging Face · 新模型:abliterated57

    anlord 发布 google/gemma-4-E2B-it 的 abliterated GGUF 量化版

    anlord 在 Hugging Face 发布 gemma-4-E2B-it-abliterated 的 GGUF 量化合集,原模型消融拒绝行为后每 100 条有害提示的拒绝数从 99 降到 4。提供 bf16 到 Q4_0 共 12 个量化文件,全部由同一 F16 源用 llama-quantize 转换,8 GB 显存的 GPU 可完整容纳 Q4_K_M 至 Q8_0,仅含文本塔,多模态推理需用父仓库 safetensors,许可沿用 Gemma 条款。

    推荐理由:原文给出拒绝率前后对比和各量化档位的实测说明,读者可按显存预算直接挑选合适档位。

  13. Hugging Face · 新模型:uncensored56

    Qwen3.5-9B-Claude-4.6-HighIQ-INSTRUCT-HERETIC-UNCENSORED 微调模型发布,拒绝率从 100/100 降至 6/100

    cookies55 在 Hugging Face 发布了 Qwen3.5-9B 的去审查微调版,用 Unsloth 在本地硬件以 Claude 4.6 大型蒸馏数据集训练,经 Heretic 消融后拒绝率从 100/100 降到 6/100,KL 散度为 0.0793。该版本为 INSTRUCT 模式并修改了 jinja 模板,图像输入经测试可用,视频部分未测试,建议最低 q4ks(非 imatrix)或 IQ3S(imatrix)量化。

    推荐理由:作者给出了消融后的 KL 散度和拒绝率前后对比,以及七项基准分数变化,读者可自行判断去对齐的代价。

  14. Hugging Face · 新模型:uncensored60

    HauhauCS 发布 Qwen3.8-27B Uncensored Aggressive 变体的 GGUF 量化与 FastMTP 加速方案

    HauhauCS 在 Hugging Face 发布基于 Qwen3.8-27B 的 Uncensored Aggressive 无对齐变体 GGUF 量化,实测 0/465 次拒绝,无前导客套地直接回答。所有文本 GGUF 保留原生 NextN/MTP 头,并附带 HauhauCS FastMTP 32K 加速 sidecar,在 RTX PRO 6000 上对比关闭 MTP 时文档 TG 最高达 3.02x、推理 TG 最高 1.93x,Q8_K_P 档位比标准内嵌 MTP 快 35.2%/21.1%;提供 Q2 至 Q8 及 IQ 系列量化、BF16 视觉 projector、llama.cpp 补丁与部署命令,附 Ed25519 签名清单校验。

    同一新闻,精选展示《HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版》

  15. Hugging Face · 新模型:uncensored79

    Qwen3.8-27B-Uncensored GGUF 量化版发布,拒绝率从 98/100 降至 12/100

    作者发布了 Qwen3.8-27B-Uncensored 的 GGUF 量化版本(IQ2_M 到 Q8_0),用 Heretic 移除拒绝方向,保留 MTP 头,拒绝行为显著减少但未消除,从 100 个有害提示中的 98 个降至 12 个。权重编辑带来约 0.043 的困惑度增加(相对约 0.7%),MMLU、ARC-Challenge、HellaSwag、Winogrande 四项基准平均下降 0.5 分且均在标准误内。模型卡同时给出 imatrix、自建低比特量化方法和 MTP 投机解码实测(n_max 1 时约 1.19x-1.28x 加速)。

    推荐理由:作者给出了 Heretic 消融方法、拒绝率从 98/100 降到 12/100 以及困惑度和基准的前后对照数据,可以据此判断权重编辑的实际代价。

  16. Reddit · r/LocalLLaMA27

    开源物理决策模型 Vega:800M 参数、73k 上下文、支持图像

    Laya 开发者开源了名为 Vega 的 physics-based typed decision model,参数量 800M(另有 4B 版本),支持 73k token 上下文和图像输入,单次推理在多项 JEV benchmark 上超越前者。模型采用引擎加适配器实现的 Test-Time Training 架构,将观测、问题与候选结果投影为向量,用「能量球落入山谷」的方式选出答案。博客、GitHub 和 HuggingFace 模型卡与 Space 均已发布。

  17. GitHub · 灵魂体仓库50

    speculcom/ai-quantized-llm:本地部署量化模型选型索引站

    speculcom/ai-quantized-llm 是一个帮助用户选择本地部署量化模型的开源索引站,只从 Hugging Face 公开 API 读取许可、体积、架构、上下文等元数据并整理成可横向对比的表,不跑 benchmark、不托管模型文件。项目实测覆盖 11 个系列、16 个模型仓、132 个量化档、1253 个 GGUF 文件和 55 位量化者,每个数字都标注出处,并把数据分为客观事实、参数推导、主观判断三级加以区分。

  18. Hugging Face · 新模型:uncensored63

    gemma-4-31B-it-uncensored-heretic 的 EXL3 4-bit 量化发布,24 GB 单卡跑 194K 上下文

    sjoe1244 发布了 llmfan46 的 gemma-4-31B-it-uncensored-heretic 的 ExLlamaV3 4.00bpw-h4-vb4 量化版,权重、head、视觉塔和 KV cache 均为 4-bit,在单张 RTX 4090 上实现约 194K token 上下文池(视觉开启),写入速度 45 tok/s(32K prompt 时 41.9 tok/s)。量化 KL mean 0.0262 与 4.00bpw-h6 相同,困惑度 16.687(BF16 源为 16.586);仅支持 TabbyAPI 或 ExLlamaV3,Apache 2.0 许可,去对齐工作出自 llmfan46。

    推荐理由:原文给出了完整的 KL、困惑度、VRAM 和速度实测数据,读者可以据此判断这个 4-bit 量化在一卡上换取超长上下文的代价。