跳到正文
#量化
10月11日周日
  1. arXiv · cs.AI34

    VLCQ：基于变长编码的深度神经网络训练后量化方法

    研究者提出 VLCQ，一种无需访问训练数据或微调模型的训练后量化方法，通过变长编码突破定点编码限制，在更低位宽下保持性能。per-channel 量化下相比 FP32 最高压缩 6x（比 PWLQ 高 1.7x），优先压缩时可达 12.25x 压缩且性能损失低于 4%；per-tensor 量化下与 DFQ 相当且更灵活。论文发表于 Future Generation Computer Systems。

  2. Reddit · r/LocalLLaMA17

    LocalLLaMA 用户求助：Flash-Next + Strata 在 32GB 内存下的 Q2 mmap 慢速困境

    一位配备 5060 Ti 16GB 与 32 GB DDR5 的 LocalLLaMA 用户发帖求助：Strata 的 Q2 版本必须用 mmap，导致专家交换速度极慢，希望找到能高效换入专家的推理引擎或参数方案。他还提到 Flash-Next 的 Q1 版本质量差但恰好装得进内存，想在 Q2 或 Q3 下有效运行，并询问 Ista DasLab 的 Q2 版能否跑 Strata、在世界知识上能否胜过 27B 的较高量化版本。

  3. Reddit · r/SillyTavernAI23

    SillyTavern 新对话前应预留多少 VRAM？LM Studio 实测经验分享

    一位 SillyTavern 用户在测试不同模型时探讨开启新对话需预留多少 VRAM，其上下文设置为 44k。实测发现 VRAM 并不随聊天推进而增长；即便上下文超出显存容量，占用也会封顶在 15.5/16 GB，超出部分卸载到共享内存，导致响应明显变慢。结论是只要不触及 15.5 GB 且共享内存保持在 0.1-0.3，LM Studio 中设置的上下文上限即可放心使用。

  4. Hugging Face · 新模型：abliterated72

    GLM-5.3-Flash-abliterated-Maya-M-GGUF 发布：运行时移除拒绝的量化模型与引擎补丁

    alesha-pro 发布 GLM-5.3-Flash-abliterated-Maya-M-GGUF，基于 Project Maya 的 Maya-M 量化，附带 2.2 MB 拒绝方向向量和 Maya 引擎补丁，可在推理时逐层移除拒绝。在 4x RTX 3090 上开启向量后 256K 上下文解码 56 tokens/s；178 条 AdvBench 与 JailbreakBench 请求中仅 2 条仍拒绝（自杀与自残相关），未开启向量的 EXL3 2.05 bpw 量化上原模型拒绝 144/146，开启后 438 条回答 0 拒绝。

    推荐理由：作者给出拒绝向量构造方法与178条请求的拒绝率前后对比，并附KLD数据，读者可自行判断去对齐幅度。

  5. Hugging Face · 新模型：abliterated75

    Qwen3.8-Flash-Next abliterated 版以 fngine 单卡包形式发布

    satellitedown 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated fngine 单 GPU 推理包，迁移 huihui-ai 的消融结果，48 层单拒绝方向拟合最小余弦 0.9999985。在 RTX 5090 上对 32 个轻度提示词，未消融版拒答 8 个、该包 0 个，数学、Python 与知识测试两版得分相同，速度无可测差异。pack 约 89 GiB，要求 sm_120a GPU、约 60 GB 主机内存，提供 OpenAI 兼容接口与 256K 上下文。

    推荐理由：给出了 abliteration 的迁移方法、消融方向拟合与拒绝率前后对照，可复核的去对齐发布。

  6. Hugging Face · 新模型：abliterated81

    GLM-5.3-Flash abliterated EXL3 2.4bpw 混合量化发布，附逐块去拒向量

    作者发布 GLM-5.3-Flash 的 EXL3 混合量化（gate/up 2 bit、expert down 3 bit，约 2.4bpw，98.1 GB），并附 2.2 MB 的逐块去拒向量，运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文（77% 专家驻留 VRAM），256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝，原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个；带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959，需配合作者自己的 exllamav3 fork 使用，许可证 MIT。

    推荐理由：作者给出逐块去拒方向的构造方法、拒绝率前后对照和KLD量化数据，可自行复现并检验量化与去对齐的实际代价。

  7. Reddit · r/LocalLLaMA43

    48GB 显存兼顾速度与质量：Qwen 3.8 27B Swift 1.5 W8A16 量化版实测

    一位用户自制的 Qwen 3.8 27B Swift 1.5 量化版（8 bit AWQ + GPTQ，W8A16）可在 48GB VRAM 上兼顾速度与质量。用 vLLM 与 MTP=5 在 2 张 RTX 3090 上运行，解码速度接近 100 tok/s，开启 128k context 和 FP16 KV cache 时每卡占用约 21.6GB。作者称其比原版 3.8 27B 更少过度思考，是他认为 48GB VRAM 下的最佳折中方案。

  8. arXiv · cs.AI40

    决策基础模型研究：面向临床智能的参数高效微调与反事实可解释性

    研究者基于 Qwen3.5 骨干的 9B 参数决策模型 Clef-Flash，用 QLoRA 微调在 Symptom2Disease 基准的 24 类疾病分类上达到 95.42% 准确率、macro F1 0.9551，超过 ClinicalBERT 的 90.90%。单次前向推理每条记录耗时不足 80 毫秒，报告称较生成式 LLM 基线提速 31 倍。其提出的 Leave-One-Symptom-Out 反事实扰动框架可揭示症状级证据。

  9. Hugging Face · 新模型：uncensored62

    beginning-ai 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 混合精度量化版

    beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored（去拒绝的 BF16 版）的 NVFP4 混合精度量化，目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个；checkpoint 占盘 120 GiB（BF16 源为 335 GiB），GPU 上约 78 GB 权重，47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s（2K 上下文）、约 240 tok/s（200K），KV cache 786K token、上下文 524K。

    推荐理由：原文给出了逐张量对比、校准数据与拒绝行为说明，读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。

  10. Hugging Face · 新模型：abliterated80

    GLM-5.3-Flash 去拒绝向量版发布：EXL3 2.05bpw 量化加运行时消融

    作者 alesha-pro 发布 GLM-5.3-Flash 的去拒绝版本，复用 turboderp 的 EXL3 2.05bpw 量化权重，仅新增一个 2.2 MB 的逐块向量文件（44 个块各 3 个方向）并在自研 exllamav3 fork 中运行时减除。在 4x RTX 3090 上以 256K 上下文、视觉、工具调用和 MTP 达 75 tokens/s；438 条 AdvBench 与 JailbreakBench 请求中，加向量后拒绝数从 222 降至 0（严格二分类判定为 1/438），代价是 KLD 从 0.1219 升至 0.1318。作者同时提供 2.4bpw-mix 与 GGUF 版本，并列出仅有单一硬件、无人工标注等限制。

    推荐理由：原文给出逐块去拒绝向量的构造方法、438 条请求的拒绝率前后对比和 KLD 代价，可复现也可据此评估损失。

  11. Hugging Face · 新模型：abliterated25

    Holo4-27B-abliterated EXL3 6bpw 量化版本发布

    Hugging Face 用户发布基于 Hcompany/Holo4-27B 的 abliterated 版本的 EXL3 量化模型，目标 6 bpw，转换器报告码率为 6.0，并移除了悬空的 MTP 配置。该模型源自 timteh673/Abliterix 制作的 refusal-direction ablation 版本，采用 CC BY-NC 4.0 仅限非商业使用，同时附带原始 Qwen 基座的 Apache-2.0 许可。发布前已通过 EXL3 加载生成非空文本的冒烟验证，但不包含任何 benchmark 分数，需使用 EXL3 兼容推理软件。

10月10日周六
  1. Hugging Face · 新模型：uncensored75

    dealignai 发布 GLM-5.3-UNCENSORED-FP8 去对齐权重

    dealignai 发布 GLM-5.3-UNCENSORED-FP8，对基于 zai-org/GLM-5.3（753B）的 FP8 量化版做权重级去对齐，声称仅修改 bf16 residual writer 张量、非 LoRA 或运行时钩子。HB-320 评测中非版权行为的 TRUE_COMPLY 达 91.7%（off），v2 修复了 v1 约 2% 的推理循环问题并使 GARBAGE 降为 0，代价是整体 TRUE_COMPLY 约降 4pp；MMLU 87.43% 较基线 +1.85pp。文中还给出 vLLM 部署参数与 reasoning_effort 只认 low/high 等注意事项。

    推荐理由：原文给出完整拒绝率与 MMLU 对比数据，还附带 vLLM 部署注意事项，读者可据此评估这个去对齐版本的实际表现。

  2. Hugging Face · 新模型：uncensored22

    Nova-Zero 发布 Gemma-4-E4B-it-Uncensored-GGUF 量化模型

    Nova-Zero 在 Hugging Face 发布 Gemma-4-E4B-it-Uncensored-GGUF 无审查 GGUF 量化模型，提供 Q5_K_M 量化版本。该模型可通过 llama.cpp、Ollama、Docker、LM Studio、Jan 等多种方式本地运行，支持启动 OpenAI 兼容本地服务器和终端直接推理，也可在 Pi、Hermes、OpenClaw 等 Agent 工具中配置使用。

  3. Hugging Face · 新模型：uncensored66

    HauhauCS 发布 Qwen3.8-27B Aggressive 无对齐 GGUF 量化并附 FastMTP 加速方案

    HauhauCS 在 Hugging Face 发布基于 Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化系列，测得 0/465 次拒绝，主打直接作答、无拒绝行为。每个文本 GGUF 保留原生 NextN/MTP 头，配套 FastMTP 32K 草稿侧车在 Q8_K_P 下实现文档 TG 3.02x、推理 TG 1.93x（对比关闭 MTP），并提供 llama.cpp 补丁、部署命令、Ed25519 签名清单与 RTX PRO 6000 Blackwell 及 RTX 6000 Ada 的实测速度表。

    同一新闻，精选展示《HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版》

  4. Hugging Face · 新模型：uncensored69

    GLM-5.3-Flash 无对齐 FP8 权重发布：HarmBench-320 零拒绝且 MMLU 超原版

    dealignai 以 CRACK 方式对 GLM-5.3-Flash 做权重级去审查，发布 FP8 版本（320B 总参数、每 token 激活 18B），HarmBench-320 上 320/320 全配合、0 拒绝，MMLU 87.33% 高于原版 86.74%。2026-08-28 修复了重复循环问题并请用户重新下载；低推理档仍保留部分拒绝，推荐用 reasoning-off 或 max 档。

    同一新闻，精选展示《GLM-5.3-Flash UNCENSORED FP8 发布，权重级去对齐且 MMLU 反超基座》

  5. Hugging Face · 新模型：uncensored54

    YueFong 发布 Qwen-Image-2.1 Uncensored GGUF 量化版

    YueFong 在 Hugging Face 上发布基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化版，用于本地图像生成。该版本移除内置安全检查器，可直接生成成人及敏感图像而不出现提示词拒答或黑图；提供 BF16 到 Q4_0 等多档量化（如 Q4_K_M 为 4.60 GB），并附配套文本编码器 qwen3vl_8b 与 VAE 文件、ComfyUI 及 ComfyUI-GGUF 的部署与低显存配置说明。

    推荐理由：原文列全了各量化档位的文件体积与显存占用，还给出 ComfyUI 的部署步骤和文本编码器卸载方案，照做即可跑通本地生图。

  6. Hugging Face · 新模型：uncensored67

    YueFong 发布 Qwen-Image-2.1-Turbo 去拒绝文本编码器 GGUF，英文拒绝率从 88.9% 降至 1.2%

    AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored-GGUF，将 Qwen-Image 的文本编码器 Qwen3-VL-8B-Instruct 的拒绝方向投影移除，作为 stable-diffusion.cpp 的 --llm 使用。编码器作为聊天模型时，英文拒绝率从 88.9% 降至 1.2%，俄语从 38% 降至 0%，MMLU 保持 77.35% 不变；实测显示 Qwen-Image 开源管线本就无过滤，45 条敏感提示词的结果一条都没有改变，图像仅有约 0.088 的 LPIPS 偏移。

    同一新闻，精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器，拒绝率从 88.9% 降至 1.2%》

  7. arXiv · cs.CL51

    FidelityQ：面向超低比特语言模型量化的预测保真度保持框架

    arXiv 论文提出 FidelityQ 标量量化框架，在权重低至 2 bit 时保持大语言模型的预测保真度。核心包括 Hadamard 混合的 IAC 编码与基于教师-学生散度尾部分配校准预算的 KIC 方法；LLaMA-2-7B 在 W2A16 下 WikiText2 困惑度为 6.62，将 W2A4KV4 此前最好结果从 8.31 提升至 6.96，线性层权重内存相对 FP16 减少 8.0x。论文链接 https://arxiv.org/abs/2610.14934v1。

  8. Hugging Face · 新模型：abliterated66

    Swift-1.5-Qwen3.8-Flash-Next GSQ-RCO 量化模型发布 abliterated 去对齐 GGUF 版本

    cc1244578151 在 Hugging Face 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF，通过字节级张量移植从 orcarouter 的 Uncensored 版本替换 144 个写入残差流的张量，去除拒绝方向。98% 的目标参数（ffn_down_exps，40.3B）与 base 逐字节相同，每层 blake2b 校验确认 144 个变更、1080 个不变。提供 IQ3_S / IQ3_XXS / IQ2_XS / Q2_0 四档，文件比上游略小；IQ2_XS 下 decode 慢 2.2%、思考 token 均值 552 vs 471（p=0.607 无显著差异），代码任务 15/15 通过。

    同一新闻，精选展示《Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 上架 Hugging Face：144 张量字节级移植去对齐》

  9. GitHub · 3D 生成新仓库59

    Tesla V100 32GB 上 Ollama 与 llama.cpp 本地模型速度实测

    作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度，请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位，如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%，而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口；作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信，超过 31B 稠密模型约 44 tok/s 的物理上限。

    推荐理由：作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异，并指出引擎配置和内存预算比引擎本身影响更大。

  10. GitHub · 3D 生成新仓库48

    ZigVideo 开源：让低显存老旧 GPU 也能本地跑 AI 视频生成

    GitHub 上新仓库 ZigVideo 发布 0.1 早期 MVP，提供硬件感知的本地 AI 视频生成引擎，可自动检测 GPU、VRAM、系统内存和 CUDA 代次并制定生成计划。项目已在 GTX 1660 SUPER 6 GB 上验证 CogVideoX-2B FP16 端到端文生视频，实测 30 步约 43.2 分钟出可辨识画面，而 8 步仅约 15.8 分钟但输出近乎全黑。核心采用 Apache-2.0 许可，推理后端是下一里程碑。

  11. Reddit · r/LocalLLaMA16

    4GB VRAM 本地部署：有没有比 llama.cpp 更快的替代方案？

    一位用户在 r/LocalLLaMA 发帖求助：他目前用 llama.cpp 在 4GB VRAM 的 RTX 上跑本地模型，想找推理速度更高（tokens/sec）且不依赖 PyTorch 等重型库的替代方案。他表示调研后仍未找到合适选择——许多方案基于 Python 和 PyTorch，会在模型加载前就耗尽显存，其余或只支持非量化模型、已过时、面向 MNN 等其他设备，或只是没有实际实现的论文。

  12. Reddit · r/LocalLLaMA71

    作者自制 CUDA megakernel 让 Qwen3.8-27B 在单张 RTX 3090 上跑出 140 tok/s 代码生成速度

    作者 /u/Adorable_Weakness_39 用 Claude Opus 5.5 编写 CUDA megakernel，在单张 RTX 3090 上加速 Qwen3.8-27B，比 llama.cpp（启用 MTP）快 1.4-1.9 倍：写代码 140 tok/s 对 73，带 4K token 文件上下文编码 95 tok/s 对 56，prefill 约 1,600 tok/s 对约 1,100。加速来自把整个投机解码周期放进一次 kernel launch，检查 4-5 个草稿 token 的成本约等于检查一个。

    推荐理由：作者实测给出同硬件下 megakernel 与 llama.cpp 的逐项速度对比和适用限制，可迁移到单卡本地推理的加速尝试。

  13. Hugging Face · 新模型：abliterated57

    swdq 发布 Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 4-bit 量化版

    swdq 在 Hugging Face 放出 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX affine 4-bit 权重，并把检查点自带的 MTP 头量化为 mtp-4bit.safetensors，供 TensorFold 的 Qwen3.6 MoE CUDA 家族使用。在一台 NVIDIA DGX Spark（GB10）上用 TensorFold 0.6.6、--mtp-drafts 2 --prefill-f8 实测，8k tokens 预填充 5,700–7,200 tok/s、解码 98–128 tok/s；相比之下 BF16 检查点在 vLLM 0.29 加 FP8 在线量化加 MTP 2 下解码约 53/69 tok/s。

    推荐理由：原文给出了完整的量化方法、实测吞吐数据和复现命令，读者可以直接拿来在单机上部署这个 4-bit 版本。

  14. GitHub · 去对齐工具与仓库57

    Bobcat/llm-pool 发布 FastAPI 多后端模型池服务，统一本地与远程模型 API

    Bobcat 开源 llm-pool，一个通过单一 API 运行本地与远程大语言模型的 FastAPI 服务，支持模型加载卸载、GPU 状态查询与多模态输入。它适配 CT2、ExLlamaV3、llama_cpp、vLLM、llama_server、trtllm_serve、sglang_serve 及 OpenAI 兼容远程后端，内置按模型的客户端公平调度队列，并在 RTX PRO 6000 上给出 vllm_serve MTP 推测解码约 430+ tok/s 等本地实测吞吐数据。

    推荐理由：README 详列多种后端接入方式、公平调度与本地实测吞吐数据，适合自建多模型统一推理服务时参考迁移。

  15. Hugging Face · 新模型：uncensored76

    AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器，拒绝率从 88.9% 降至 1.2%

    AtomicChat 在 Hugging Face 发布去对齐版 Qwen-Image-2.1-Turbo 文本编码器 GGUF，将 Qwen3-VL-8B-Instruct 的拒绝方向从权重中投影去除。作为聊天模型，英文拒绝率从 88.9% 降到 1.2%，俄语从 38% 降到 0%，MMLU 保持 77.35% 不变；45 条敏感图像提示词测试中无一翻转，图像输出仅有约 0.088 的 LPIPS 漂移。提供 BF16 到 Q2_K 量化分档，配 stable-diffusion.cpp 的 --llm 参数本地运行，方法基于 Arditi et al. 2024 的单方向拒绝机制研究。

    推荐理由：原文完整给出拒绝方向消融方法、拒绝率前后对照和量化分档对画面的影响，可据此自行评估这个去对齐编码器的实际改动幅度。

  16. Reddit · r/LocalLLaMA26

    LocalLLaMA 求助：不换量化模型，如何在 AMD RX 6700 XT 上提升 llama.cpp tokens/s

    一位 Reddit r/LocalLLaMA 用户晒出 llama.cpp Vulkan 配置，在 AMD RX 6700 XT 12GB + R5 5600x、ctx 100,000 下运行 Tiel-Coder-35B-A3B 达到 30tps，希望在不改 q8/q4_k_xl 量化的前提下冲到 40tps。其测试显示 threads=6 优于 4/8/12，配置已开启 flash-attn、q8_0 KV cache、draft-mtp 推测解码与 DIO 加载，向社区征求进一步优化建议。

  17. Hugging Face · 新模型：uncensored43

    HauhauCS 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 去审查模型

    HauhauCS 在 Hugging Face 发布基于 Qwen3.6-35B-A3B 的去审查（abliterated）模型 Aggressive 版本，宣称 0/465 次拒绝，数据集和能力与原版完全一致。模型总参数 35B、每次前向激活约 3B（MoE），256 个专家中每个 token 路由 8 个，原生 262K 上下文，支持文本、图像、视频多模态。提供 K_P 自定义量化（等效提升 1-2 个量化等级、文件仅大 ~5-15%），兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  20. Reddit · r/LocalLLaMA35

    Strata 运行 Qwen3.8 Flash Next UD-Q4_K_XL 实测：解码速度对比 vLLM 提升约 46%-49%

    Reddit r/LocalLLaMA 用户在单张 RTX PRO 6000（96GB）上用 Strata 后端运行 Unsloth 的 Qwen3.8-Flash-Next UD-Q4_K_XL，配置 INT8 KV cache、256K 上下文和 MTP-4 投机解码。单请求解码速度较 vLLM（NVFP4 量化）提升约 46%-49%，四类任务均达 185.8-320.4 tokens/s。作者称该模型编码任务表现高效出色。

  21. GitHub · 灵魂体仓库34

    Legal-LLM-Fine-Tuning-and-MLOps：基于 MLRun 与 AWS 的法律 LLM LoRA 微调 MLOps 平台

    该项目构建了一个用于 LoRA 微调开源权重 LLM 的 MLOps 平台，覆盖数据准备、训练、部署、监控、回滚与版本化，技术栈为 MLRun 编排框架加 AWS 基础设施及 PyArrow、Hugging Face 等开源库，输入提示词最长可达 11,000 tokens。模型任务是从 Contract NLI 数据集的多页 NDA 合同中理解、抽取并分类风险/限制/义务条款。CI/CD 采用 MLRun 官方推荐的部署到现有平台的方式，而非每次运行临时搭建 Kubernetes 集群。

  22. Hugging Face · 新模型：abliterated57

    anlord 发布 google/gemma-4-E2B-it 的 abliterated GGUF 量化版

    anlord 在 Hugging Face 发布 gemma-4-E2B-it-abliterated 的 GGUF 量化合集，原模型消融拒绝行为后每 100 条有害提示的拒绝数从 99 降到 4。提供 bf16 到 Q4_0 共 12 个量化文件，全部由同一 F16 源用 llama-quantize 转换，8 GB 显存的 GPU 可完整容纳 Q4_K_M 至 Q8_0，仅含文本塔，多模态推理需用父仓库 safetensors，许可沿用 Gemma 条款。

    推荐理由：原文给出拒绝率前后对比和各量化档位的实测说明，读者可按显存预算直接挑选合适档位。

  23. Hugging Face · 新模型：uncensored56

    Qwen3.5-9B-Claude-4.6-HighIQ-INSTRUCT-HERETIC-UNCENSORED 微调模型发布，拒绝率从 100/100 降至 6/100

    cookies55 在 Hugging Face 发布了 Qwen3.5-9B 的去审查微调版，用 Unsloth 在本地硬件以 Claude 4.6 大型蒸馏数据集训练，经 Heretic 消融后拒绝率从 100/100 降到 6/100，KL 散度为 0.0793。该版本为 INSTRUCT 模式并修改了 jinja 模板，图像输入经测试可用，视频部分未测试，建议最低 q4ks（非 imatrix）或 IQ3S（imatrix）量化。

    推荐理由：作者给出了消融后的 KL 散度和拒绝率前后对比，以及七项基准分数变化，读者可自行判断去对齐的代价。

  24. Reddit · r/LocalLLaMA68

    作者发布 strata-mlx：在 Mac 上用 MLX 引擎运行 Strata 的 GGUF 模型

    作者花了约一天半写出非官方 MLX 引擎 strata-mlx，直接读取 Strata 的 GGUF 文件、不改权重，在 Mac 上运行 Qwen3.8-Flash-Next 这个 125B 参数 MoE 模型。内存不足以装下整个模型时按需从 SSD 读取专家；模拟测试中 66 GB 的 Q2_0 文件在 16 GB、24 GB、32 GB 内存档位分别跑出 6–7、19–23、28–47 tokens/秒，提示词读取约 273–287 tokens/秒。代码与实验日志在 https://github.com/yibie/strata-mlx。

    推荐理由：作者用限内存实测给出不同 Mac 内存档位的运行速度数据，对想在 Mac 上跑超内存大模型的人有参考价值。

  25. Hugging Face · 新模型：uncensored60

    HauhauCS 发布 Qwen3.8-27B Uncensored Aggressive 变体的 GGUF 量化与 FastMTP 加速方案

    HauhauCS 在 Hugging Face 发布基于 Qwen3.8-27B 的 Uncensored Aggressive 无对齐变体 GGUF 量化，实测 0/465 次拒绝，无前导客套地直接回答。所有文本 GGUF 保留原生 NextN/MTP 头，并附带 HauhauCS FastMTP 32K 加速 sidecar，在 RTX PRO 6000 上对比关闭 MTP 时文档 TG 最高达 3.02x、推理 TG 最高 1.93x，Q8_K_P 档位比标准内嵌 MTP 快 35.2%/21.1%；提供 Q2 至 Q8 及 IQ 系列量化、BF16 视觉 projector、llama.cpp 补丁与部署命令，附 Ed25519 签名清单校验。

    同一新闻，精选展示《HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版》

  26. Hugging Face · 新模型：uncensored79

    Qwen3.8-27B-Uncensored GGUF 量化版发布，拒绝率从 98/100 降至 12/100

    作者发布了 Qwen3.8-27B-Uncensored 的 GGUF 量化版本（IQ2_M 到 Q8_0），用 Heretic 移除拒绝方向，保留 MTP 头，拒绝行为显著减少但未消除，从 100 个有害提示中的 98 个降至 12 个。权重编辑带来约 0.043 的困惑度增加（相对约 0.7%），MMLU、ARC-Challenge、HellaSwag、Winogrande 四项基准平均下降 0.5 分且均在标准误内。模型卡同时给出 imatrix、自建低比特量化方法和 MTP 投机解码实测（n_max 1 时约 1.19x-1.28x 加速）。

    推荐理由：作者给出了 Heretic 消融方法、拒绝率从 98/100 降到 12/100 以及困惑度和基准的前后对照数据，可以据此判断权重编辑的实际代价。

  27. GitHub · 灵魂体仓库50

    speculcom/ai-quantized-llm：本地部署量化模型选型索引站

    speculcom/ai-quantized-llm 是一个帮助用户选择本地部署量化模型的开源索引站，只从 Hugging Face 公开 API 读取许可、体积、架构、上下文等元数据并整理成可横向对比的表，不跑 benchmark、不托管模型文件。项目实测覆盖 11 个系列、16 个模型仓、132 个量化档、1253 个 GGUF 文件和 55 位量化者，每个数字都标注出处，并把数据分为客观事实、参数推导、主观判断三级加以区分。

  28. GitHub · 去对齐工具与仓库27

    ceke567 开源 Hands-on-LLM-Training：10 周大模型训练实操仓库

    GitHub 用户 ceke567 开源了 10 周大模型训练实操仓库 Hands-on-LLM-Training，包含可复现的训练代码、实验配置与每周结论。计划覆盖从零训练 Mini GPT、100M–300M 模型训练工程、DDP/FSDP/ZeRO 多卡对比、7B LoRA/QLoRA SFT、DPO 偏好优化、评估 pipeline 到模拟万卡 Scaling 问题，每周投入 10–18 小时。当前第 1 周实际使用 1 张 BW 异构加速卡（PyTorch 2.9.0 已识别该设备），各周实验均未开始。