跳到正文
#量化
10月23日周五
  2. Hugging Face · 新模型：abliterated22

    TristanUK 发布 onyx-qwen2.5-7b-abliterated-lora-GGUF 量化模型

    TristanUK 在 Hugging Face 发布 abliterated 版 Qwen2.5 7B 的 GGUF 量化模型（Q4_K_M），提供去审查变体供本地推理使用。该模型可通过 llama.cpp 直接运行，支持 llama serve 启动 OpenAI 兼容本地服务器或命令行推理，也提供 Ollama（ollama run）、Docker Model Runner、Lemonade 等拉取运行方式。此外可接入 Pi、Hermes Agent、OpenClaw 等本地 Agent 工具，作为默认模型使用。

  3. Reddit · r/LocalLLaMA60

    两台 £300 骁龙迷你主机实测：ToRc 引擎跑 Qwen3.6 35B A3B 达 315/43 tok/s

    作者用两台 £299.99 的 Lenovo IdeaCentre Mini（Snapdragon X X1-26-100，32GB LPDDR5，无 GPU）以 USB4 相连，实测 llama.cpp、Janas 和自研 ToRc 引擎跑量化模型的读写速度。统一测试负载下，ToRc 双机跑 Qwen3.6 35B A3B Q4_0 达 315/43.3 tok/s（读/写），编码对话 59.6 tok/s；95GB 的 Qwen3.8 Flash Next IQ4_NL 靠 NVMe 流式读取专家权重，双机达 46.2/20.3 tok/s。MTP 加速依赖文本类型，代码任务普遍提速而 Alice 散文上 llama.cpp 反而变慢。整套方案约 £600、负载功耗各约 35W，ToRc 引擎尚未发布。

    推荐理由：作者在两台 300 英镑的骁龙迷你主机上实测多款推理引擎跑 Qwen 大量化模型的读写速度，并给出统一测试负载和完整数据。

  5. Hugging Face · 新模型：uncensored36

    Qwen3.8-Flash-Next-Uncensored Q5_K_S Splash 重打包版发布

    tegsvenson 发布 Qwen3.8-Flash-Next-Uncensored 的 Q5_K_S 重打包 GGUF，将 96 个 hyper-connection inject 张量改为 F32 存储，使其可被 Splash 1.4.0 加载，其余 1,128 个张量与 orcarouter 原版逐字节一致，体积仅增加 12.42 MiB。该版本移除安全对齐（abliterated），在 M4 Max 128 GB 的 MacBook Pro 上经 oMLX 0.7.2 测试，可加载完整 262,144 token 上下文，冒烟测试输出速度 98.4 tok/s。

  6. Hugging Face · 新模型：uncensored35

    Qwen-Image-2.1 Uncensored 量化版发布，支持 GGUF、Safetensors 与 MLX 本地图像生成

    gogogo2727 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，文件大小从 4.00 GB（MLX 4-bit）到 14.23 GB（BF16）不等，推荐 GGUF 使用 Q4_K_M（4.60 GB）。该版本无内置安全检查器，可直接生成 NSFW 内容，需配合 ComfyUI 与 ComfyUI-GGUF 使用，文本编码器 qwen3vl_8b 可卸载到系统内存以节省 9–17 GB VRAM。

10月22日周四
  1. Hugging Face · 新模型：abliterated25

    Koshkasa 发布 GLM 4.5 Air 的 50% REAP 剪枝版 GGUF（abliterated lossy）

    Hugging Face 上架了基于 huihui 解除限制版 GLM 4.5 Air 制作的 50% REAP 剪枝模型，由 concedo 上传，格式为 GGUF、BF16。相比此前失败尝试，校准数据集被泛化（仍保留 60%/40% 创意偏置），激活记录长度提升到 8192（此前 3072），并用稀疏观察器避免物化整个 [128, dim, tok] 块。模型目前未经测试，可能无法加载或输出乱码。

  2. Hugging Face · 新模型：uncensored56

    AtomicChat 发布 Ling-3.0-flash-Sante 无对齐 GGUF 量化版

    AtomicChat 发布 inclusionAI/Ling-3.0-flash-Sante（127B bailingmoe3 医疗模型）的 abliterated GGUF 量化版，用投影 rank-1 LoRA 移除单一拒绝方向并烘焙进权重。在 W* 点实测：英文有害指令拒绝率 0.0%，俄语误拒率 3.0%（较基线降 1.2 pp），MMLU 基本不变，对基线 BF16 的 KL 为 0.060，工具调用 20/20 有效。注意开启思考模式时拒绝率仍约 40%，建议关闭思考模式使用；提供 IQ4_XS（约 78 GB）与 IQ3_S（约 61 GB）两种量化，MIT 许可。

    推荐理由：原文给出消融方法与拒绝率、MMLU、KL 等前后对照数据，还提示思考模式下拒绝率仍高，读者可据此判断实际效果。

  3. Hugging Face · 新模型：uncensored76

    candor-lab 发布 Qwen3.8-27B Candor Uncensored GGUF 去对齐权重

    candor-lab 在 Hugging Face 发布 Qwen3.8-27B 的去对齐版本 Qwen3.8-27B-Candor-Uncensored-GGUF，用其自研权重编辑工具 Candor 移除原版的拒答方向，以单一 Q4_K_M GGUF（16.81 GB）形式在 llama.cpp 上实测。方法是对 26-63 层注意力输出矩阵和 22-56 层 MLP 输出矩阵做 rank-3 修改（共 73 个矩阵），经 600 次搜索试验筛选。实测显示：288 个 StrongREJECT 有害提示下原版拒答 281 次，该模型仅 1 次（8B 判官口径）；300 个无害提示拒答 2 次、GSM8K 答对 1287 题，与原版差异不超噪声；KL 散度 0.038。

    推荐理由：原文给出了消融方法的层级改动细节和与原版、huihui-ai 版的拒绝率与 KL 散度对照数据，可据此评估这个去对齐版本的实际取舍。

  4. Hugging Face · 新模型：abliterated26

    Huihui-GLM-4.5-Air-abliterated-lossy-REAP_50-safetensors 上架 Hugging Face

    Hugging Face 上架了基于 huihui 去限制版 GLM 4.5 Air 制作的 50% REAP 剪枝模型，由 concedo 上传。相比此前尝试，校准数据集被泛化（仍保留 60%/40% 创作偏向）并按源数据重新封装，激活记录长度从 3072 提升到 8192，并采用稀疏 observer 避免物化整个 [128, dim, tok] 块。该模型目前未经测试，可能无法加载、产生乱码或无法量化。

  5. Reddit · r/LocalLLaMA69

    Kapitsa 0.2.7 实测 2021 款 M1 Pro 16GB 跑 Qwen3.5 与 Nemotron 编码速度

    Kapitsa 贡献者 Ye 发布 0.2.7 版本，针对老款 Apple Silicon 芯片优化，并在 2021 款 MacBook Pro 14（M1 Pro、16GB）上对六个模型做了与同机最快竞品引擎的基准对比。Qwen3.5 4B/9B 解码达 97.2/56.8 tok/s，分别为 mlx-serve 的 1.56×/1.52×；Qwen3.6 35B-A3B 2-bit 达 52.2 tok/s，解码 1.21-1.35× llama.cpp；六个模型峰值内存均低于对手，Dory 4B 为 4.4 vs 11.5 GB。Nemotron Dory 4B 长上下文解码被 mlx-lm 反超，作者已开 issue 跟进。

    推荐理由：作者给出六个模型在 16GB M1 Pro 上与最快竞品的逐项对比数据，含长上下文衰减和内存占用，可复现可查证。

  6. Reddit · r/LocalLLaMA70

    capy-flash v0.7.1 发布：Qwen3.8-Flash-Next 125B MoE 可在 64 GB 内存上运行

    开源推理引擎 capy-flash 发布 v0.7.1，让 Qwen3.8-Flash-Next（125B MoE）在 64 GB 内存加一或两张 16 GB GPU 上运行，双卡实测 234 tok/s；Qwen3.8-27B 3-bit 版可放进单张 16 GB 卡（174 tok/s，64k 上下文）。Flash-Next 的 routed experts 直接使用 ISTA-DASLab 的 GSQ-RCO 3-bit 量化（约 48 GiB 驻留内存，峰值约 57 GB），27B 的 3-bit 量化 MMLU-Pro 从 0.78 降至约 0.72，GSM8K 与 NVFP4 持平；代码与权重见 https://github.com/ValerioDolci/capy-flash。

    推荐理由：作者给出了具体显存占用和双卡实测速度，还附上 3-bit 量化与 NVFP4 的质量对比数据，方便判断取舍。

  7. GitHub · 去对齐工具与仓库68

    agents-per-gpu 实测单张 A40 上 vLLM、SGLang 与 TensorRT-LLM 的 Agent 并发容量

    作者开源 agents-per-gpu 仓库，在单张 48 GB A40 上以 Agent 形态负载实测 vLLM 0.32.0、SGLang 0.5.9 和 TensorRT-LLM 1.2.1 服务 Qwen3-4B 的并发容量。开启 prefix caching 后三个引擎均能承载 6 个并发 Agent 会话，关闭时仅 2 到 3 个，且每任务成本降至原来的三分之一到五分之二；8 秒 step SLO 下 SGLang 以 4 个会话领先。INT4-AWQ 量化的 Qwen3-8B 在工具调用精度持平的情况下比 BF16 的 4B 承载更多 Agent。所有数字可用 apg report 从 results/ 复现，方法与细节见 reports/REPORT.md。

    推荐理由：作者在单张 A40 上实测三种推理引擎的 Agent 并发容量，并给出 prefix caching 带来的容量差和每任务成本数据。

  8. GitHub · 去对齐工具与仓库58

    yfHHHE 开源 emoji-native-lm：只会用 1 到 3 个 emoji 回复的 Qwen3-1.7B 微调模型

    yfHHHE 发布 emoji-native-lm，基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调，对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息，由 Claude Opus 生成并回复，覆盖 1,915 种 emoji；666 条评测提示下经 wrapper 的回复 100% 合规，首轮采样合规率 98.9%，而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF（1.8 GB q8_0）及 Python wrapper 部署方案，代码采用 Apache 2.0 许可。

    推荐理由：仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据，读者可以照此复现并借鉴其偏见修正做法。

  10. GitHub · 灵魂体仓库49

    黑粉科技发布方寸智匣 LocalBrain：本地大模型、文件与媒体 AI 工作台

    黑粉科技的方寸智匣（LocalBrain）是一个本地 AI 工作台，整合大语言模型下载导入、流式对话、文件工具调用及语音、图片、视频、音乐生成，最新版本为 Windows/Linux 2.0.8 和 Mac 2.1.1。Mac 集成 MLX、Metal llama.cpp、Splash 与 Prism，Windows 使用适配的 llama.cpp / Prism，Linux 为预览支持；本地推理不要求对话上传云端。在 RTX 4070 Laptop 8GB 显存本机实测中，PolyStrata 运行 Qwen3.6-35B-A3B UD Q3_K_M 解码速度约 75～90 token/秒。软件为专有软件，安装包不含模型权重。

  11. GitHub · 灵魂体仓库22

    Thinkube 的 llama-cpp 组件：LLM Gateway 背后的 llama.cpp 推理服务器

    Thinkube 的 llama-cpp 可选组件提供 LLM Gateway 背后的 llama.cpp 推理服务器，支持 1-bit 到 16-bit 量化的 GGUF 模型，容器在 8000 端口运行 llama-server，提供 OpenAI API（chat completions、completions、embeddings 等）。模型由 MLflow 管理，首次启动将 GGUF 文件复制到节点本地磁盘。镜像基于 llama.cpp release b11476 和 CUDA 13.0 构建，组件与模板均为 MIT 许可。

  12. GitHub · 灵魂体仓库33

    Thinkube 的 llama-cpp-prism：基于 PrismML llama.cpp fork 的低比特模型后端组件

    Thinkube 的可选组件 llama-cpp-prism 使用 PrismML 的 llama.cpp fork，支持其 Bonsai 模型的低比特 GGUF 格式 Q1_0（1-bit）、PQ2_0 和 PTQ1_0，并带专用 CUDA kernels；原版 llama.cpp 会拒绝这些文件。该组件通过同一入口在 8000 端口运行 llama-server 并提供 OpenAI API，镜像基于 fork 的 prism-b10754-2459f68 版本与 CUDA 13.0 构建，模板采用 MIT 许可。

  13. Hugging Face · 新模型：abliterated22

    Koshkasa 发布 GLM 4.5 Air 的 37.5% REAP 剪枝版本（abliterated lossy）

    Hugging Face 上由 concedo 上传的 GLM 4.5 Air abliterated 版本（huihui 去限制版）的 37.5% REAP 剪枝模型。相比此前失败的尝试，校准数据集被泛化（保留 60% creative bias）并按源基准重新打包，激活记录长度从 3072 提高到 8192，并使用稀疏 observer 避免物化整个 [128, dim, tok] 块。模型目前未经测试，可能无法加载或输出乱码。

  14. Reddit · r/LocalLLaMA55

    开源推理引擎 Kapitsa 实测 Recursive Flint 40B Q4 在 MacBook Pro M4 Pro 上达 128 tok/s

    Kapitsa 开源推理引擎贡献者 Ye 发布 Flint 40B A2.5B Q4 在 MacBook Pro M4 Pro 48GB 上的实测，使用 Kapitsa 达到 128 tok/s 短上下文解码。Kapitsa 为 Apple Silicon 定制 Metal kernel，在 128K 上下文解码上比 recursive 自家引擎快 1.30 倍、比 llama.cpp 快 1.9 倍，缓存后续轮次首 token 延迟 0.13 秒；针对 Flint Q4 训练的 KFlash tree drafter 声称已带来 1.4 倍解码加速，预计周一发布。

  15. Hugging Face · 新模型：uncensored58

    Qwen3.8-27B TURBO 微调版发布 GGUF 权重，ARC-C 达 735 并大幅削减思考 token

    DavidAU 团队发布基于 Qwen3.8-27B 的多阶段微调模型 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored，提供常规与 MTP 两种 NEO imatrix GGUF 量化。8bit 下 ARC-C 735、ARC-E 882，4bit ARC-C 719，均高于原版 Qwen3.8-27B（8bit ARC-C 591）；思考 token 缩减至原版的 1/2 到 1/10。去审查用 Heretic v1.2.0+ 的 ARA 方法，Stage 1 拒绝率从 99/100 降到 0/100，KL 散度 0.0535。

    同一新闻，精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版，ARC-C 达 735》

  19. Hugging Face · 新模型：abliterated26

    Huihui-Qwen3.6-35B-A3B-abliterated-W4A16-GPTQ 量化模型上线 Hugging Face

    Hugging Face 上可用 nchapman 发布的 Huihui-Qwen3.6-35B-A3B-abliterated-W4A16-GPTQ，这是一个 abliterated 版的千问（Qwen3.6）多模态模型 W4A16 GPTQ 量化版本。页面给出用 Transformers、vLLM、SGLang 加载或部署的代码示例，三者均支持 OpenAI 兼容 API，也可通过 Docker Model Runner 运行。

  20. Reddit · r/LocalLLaMA24

    社区讨论：低量化模型思考更长，可能不如直接用硬件能装下的大量化模型

    Reddit r/LocalLLaMA 用户发帖称，低量化版本会让思考型模型产生更长的思考块，prompt 处理与 token 生成速度的提升被抵消，在多工具调用的智能体循环中甚至更慢。作者以 Qwen3.8 Flash Next（MTP）和 GLM 5.3 Flash 为例，尚未正式测试，想先收集其他用户的使用体验。

  23. GitHub · 3D 生成新仓库74

    Intel Arc 本地 AI 实测手册发布：B50/B60/B65/B70 四卡 llama.cpp 与 ComfyUI 跑分、功耗、电费全对照

    作者发布 intel-arc-local-ai 仓库，在同一台机器上逐卡实测 Intel Arc Pro B50 16GB（¥3,499）、B60 24GB、B65 32GB、B70 32GB 四款显卡的本地 AI 表现，涵盖 llama.cpp on SYCL 的 Qwen3.6-35B-A3B Q4_0 解码（37.6/52.4/53.1/75.9 tok/s）、Qwen-Image 2.1 与 MiniMax H3 视频生成速度、整卡功耗（B70 满载约 290 W）及每任务电费。

    推荐理由：作者用同一台机器只换卡的方式实测四款 Intel Arc 显卡，给出性能、显存与电费三个维度的对照数据，也标注了未测项。

  24. Hugging Face · 新模型：uncensored57

    Qwen3.6-27B-Fable-Fusion-711 无对齐微调版发布，8bit 与 4bit 下 ARC-C 均超 0.7

    DavidAU 团队基于 Qwen/Qwen3.6-27B 发布多阶段微调与合并的无对齐版本 Qwen3.6-27B-Fable-Fusion-711，用 Heretic v1.2.0 的 Arbitrary-Rank Ablation 方法去审查，拒绝率从原版的 99/100 降到 4/100，KL 散度 0.0469。

    同一新闻，精选展示《tatekuperus 发布 Qwen3.6-27B-Fable-Fusion-711 无对齐 GGUF 量化版》

  26. Hugging Face · 新模型：uncensored32

    fribourgquants 发布 DeepSeek-V4.1-Flash-1017-EXL3-3.5bpw-uncensored 量化版

    fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017 的 EXL3 3.5bpw 去审查（uncensored）量化版。附带的性能测试显示，EXL3 3.5 配置在并发 1 时生成速度约 129.3 tokens/s、并发 32 时约 480.8 tokens/s，并发 1 的 time_to_content_p50 约 0.39 秒；同测试中 Native MXFP4 在并发 32 达 831.7 tokens/s，NVFP4 target 达 796.1 tokens/s。

  27. Hugging Face · 新模型：uncensored38

    fribourgquants 发布 DeepSeek-V4.1-Flash-1017-EXL3 2.875bpw uncensored 量化版

    fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017 的 EXL3 2.875bpw uncensored 量化版本。附带的性能测试显示，Native MXFP4 在 batch 32 时达到约 831.66 tokens/秒，EXL3 2.875 在 batch 32 为约 452.16 tokens/秒，batch 1 时首 token 延迟约 0.41 秒。量化模型可在 Hugging Face 获取。

  28. Hugging Face · 新模型：uncensored68

    dealignai 发布 GLM-5.3 无对齐 FP8 权重版本 GLM-5.3-UNCENSORED-FP8

    dealignai 在 Hugging Face 发布 GLM-5.3-UNCENSORED-FP8，对 GLM-5.3-FP8 做全谱通用权重级去对齐，仅修改 bf16 residual writer 张量，不涉及微调、LoRA 或运行时钩子。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题，HB-320 非版权行为 TRUE_COMPLY 达 91.7%（off），GARBAGE 降为 0；MMLU 87.43% 较基线 +1.85pp。

  29. Hugging Face · 新模型：uncensored42

    fribourgquants 发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型

    fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型，并给出基准测试数据。原生 MXFP4 在单并发下达 146.84 tokens/秒、32 并发下达 831.66 tokens/秒，高于 NVFP4 target 与 EXL3 2.875/3.5 配置；单并发 time_to_content p50 为 0.34 秒。该模型为 uncensored 版本，测试数据已公开。

  31. Hugging Face · 新模型：uncensored50

    na0fu3y 发布 Qwen3.8-Flash-Next-Uncensored 的 mlx-serve iQ-MLX 4.7bpw 量化版

    na0fu3y 发布 Qwen3.8-Flash-Next-Uncensored 的 mlx-serve iQ-MLX 4.7bpw 量化版，基于 orcarouter 的 abliterated bf16 权重，路由专家为 4-bit、其余多为 8-bit，含 MTP 头和视觉塔，移除安全对齐后可响应原模型拒绝的请求。下载体积 100 GB，无 --ple-gpu 时常驻约 75 GB；在 M3 Ultra 上 decode 速度约 124.3-124.8 tok/s，13 个边缘提示词中仅 1 个被拒绝（对照组为 11 个）。许可证为 Qwen Community License 1.0。

  33. Hugging Face · 新模型：abliterated19

    mradermacher 发布 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本

    mradermacher 在 Hugging Face 上发布了 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本，提供从 Q2_K（0.8GB）到 f16（3.2GB）共 12 种规格，其中 Q4_K_S、Q4_K_M 标注为快速推荐，Q8_0 质量最佳。weighted/imatrix 量化暂未提供，用户可通过 Community Discussion 提出请求。