跳到正文
#量化
10月20日周二
  2. Hugging Face · 新模型：uncensored44

    Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布

    HauhauCS 在 Hugging Face 发布基于 Qwen3.6-35B-A3B 的去审查版模型 Aggressive 变体，0/465 拒答，不改动数据集与能力。该模型为 MoE 架构，总参数 35B、每 token 激活约 3B，原生 262K 上下文，支持文本、图像、视频多模态。提供 Q8_K_P 到 IQ2_M 多种 GGUF 量化（K_P 量化以约 5-15% 更大体积提升 1-2 级质量），兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  8. Hugging Face · 新模型：abliterated24

    Huihui-Qwen3.8-27B Swift-1.5 Abliterated IQ3_S + DFlash2 NInfer v3 社区转换版发布

    SPK1337 在 Hugging Face 发布 Huihui-Qwen3.8-27B 的 NInfer v3 社区转换版，打包 abliterated Swift-1.5 GSQ-RCO IQ3_S 文本权重（含 MTP）、z-lab 的 DFlash2 draft adapter 和 Qwen3.8-27B vision projector，文件约 13.99 GiB，采用 Apache-2.0 许可。该 artifact 仅供 NInfer-all 运行时加载，不能通过 transformers.AutoModel 直接读取；本地验证 HTTP 端点可正常返回文本，但 DFlash2 接受率、tokens/second 等尚未 benchmark。

  12. Reddit · r/LocalLLaMA68

    Space Bunny 确认为 MiniMax M3.1 Flash，428B-A23B 权重周四放出

    曾在 OpenRouter 榜首停留 10 天、10 月 5 日消失的匿名模型 Space Bunny 确认为 MiniMax M3.1 Flash，API 已上线，权重定于 10 月 23 日放出。参数为 428B 总量 / 23B 激活，1M 上下文，支持文本、图像和视频输入，API 价格 $0.15 输入 / $0.60 输出；官方称在 automation-bench 上超过 Opus 5，在 deepswe 上与 DeepSeek V4.1 Flash 大致持平，terminal bench 上则明显落后（38.1 对 51.8），这些均为 MiniMax 自测数据。作者估算 Q4 量化约 230-250GB，适合 256GB Mac Studio 本地部署。

    推荐理由：作者把匿名模型与正式发布对上号，并提醒榜单数字全部来自 MiniMax 自测，读者可据此校准预期。

  13. Reddit · r/LocalLLaMA67

    BitNet b1.58 2B4T 在 CPU 上输出仍有误，Bonsai 1.7B 各运行时均正确，ik_llama.cpp 加 -rtr 通常最快

    作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。

    推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。

  14. Reddit · r/LocalLLaMA30

    老款 Nvidia Maxwell 显卡上运行 Strata 推理引擎

    一位用户用两块 Quadro M6000 24GB（共 48GB VRAM）在 Strata 上运行 Qwen3.8-Flash-Next-GSQ-RCO-IQ1，因仅有 32GB 内存而采用 3.5 bits per weight 的量化版本。该推理引擎 prefill 表现出色，decode 在 Maxwell 旗舰卡上一直不错；作者修改 Strata 代码将架构限制从 60 降到 52，所有专家加载进 VRAM 后命中率接近 100%。

  15. Reddit · r/LocalLLaMA18

    96 GB M3 Ultra Mac Studio 上跑本地编程与对话模型，Qwen3.8-27B 表现如何？

    一位用户在 96 GB 统一内存的 M3 Ultra Mac Studio 上用 llama.cpp（Metal）+ llama-swap 做本地推理：编程用 Qwen3.8-27B（Unsloth Q8_0，MTP 推测解码，262,144-token 上下文），对话用 Qwen3-Coder-Next（UD-Q6_K_XL，131,072-token 上下文），两者均用 Q8_0 KV cache。作者对 Qwen3.8-27B 的编程表现印象深刻，Coder-Next 则主要用于对话，并征求同硬件用户的模型、量化与性能经验。

  16. Reddit · r/LocalLLaMA34

    Ijah：面向 M5+ Mac 的 Qwen 3.8 Flash Next 推理引擎，128GB 上兼顾质量与速度

    Reddit 用户 SeveralViolins 发布了面向 M5+ Mac 的新推理引擎 Ijah，受 Sushi 引擎启发并为其编写了新 kernel。在 5b-6/8b 模型上，其质量比 Jundot 的 oQ4e 更接近 bf16 约 4–5 倍（KLD 0.033/0.009/0.015 对 0.128/0.036/0.078），解码约 100 tok/s，配合 Inco 今日发布的 DFlash2 drafter 可达约 120 tok/s。

  17. Hugging Face · 新模型：abliterated38

    Qwen3.8-27B-abliterated GGUF 量化版本发布

    douyamv 发布 abliterated（去审查）版 Qwen3.8-27B 的 GGUF 量化版本，提供 Q8_0 到 Q2_K 共 6 档，大小约 7.9 GB 至 28 GB，适用于 llama.cpp、Ollama、LM Studio 等 GGUF 兼容引擎。该模型通过在所有层投影去除 refusal direction 实现无限制对话，基座为 27.78B 参数、上下文 262,144 tokens（可扩展至 1M+），采用 Apache 2.0 许可。

  19. GitHub · 灵魂体仓库67

    kevinelong/local-llm-lab：64GB DDR5 + RTX 5070 桌面机本地模型实测笔记本

    kevinelong 在 GitHub 发布 local-llm-lab 仓库，记录在一台 64 GB DDR5、RTX 5070 12 GB 的 Windows 桌面机上对本地大模型的系统实测，并列出 693 项检查的九套基准。最佳配置为 Qwen3.6-35B-A3B Q4_K_M 经 llama.cpp 预配置（context 131,072、--cpu-moe），以及由 Strata 流式从磁盘服务的 Qwen3.8-Flash-Next Q2_0，两者在排名指标 414/414、全部九套 692/693 上逐格持平，后者的 1,100 项知识测试快 31%。

    推荐理由：作者在固定一台桌面机上实测本地模型的匹配度、速度和分数，并公开预测记录与纠错，方法可迁移到自己跑本地评测时参考。

  20. Hugging Face · 新模型：uncensored36

    Qwen-Image-2.1 Uncensored 量化版发布，提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，用于本地图像生成，Q4_K_M（4.60 GB）为推荐的 GGUF 量化档位。该版本无内置安全检查器，可直接生成成人及 NSFW 内容，需配合 ComfyUI 与 ComfyUI-GGUF 使用，文本编码器 qwen3vl_8b 可卸载至系统内存以节省 9–17 GB 显存。

10月19日周一
  1. Hugging Face · 新模型：uncensored54

    MiMo-V2.6-Pro 无对齐版量化权重发布，适配 Maya 引擎本地部署

    nofacedfl 发布基于 Xiaomi 约 1 万亿参数 MiMo-V2.6-Pro 的 abliterated "heretic" 基座的约 2-bit 量化版（300 GB，GGUF 分片），适配 Maya 引擎并带独立视觉塔，MIT 许可。实测在 5× RTX 4090 48 GB + 2× A100 40 GB 上代码生成 71–75 tok/s、200K 上下文 38–40 tok/s，支持 512K 上下文与约 1.6 秒的图像输入；abliterated 基座在该量化下 40 道 JailbreakBench 请求仍拒答 24 题，运行时拒绝向量可将拒答降到 1–5/40 但会增加编造答案，暂未随包发布。

    推荐理由：原文给出拒绝率实测数据，abliterated 基座经量化后 40 题仍拒答 24 题，读者可据此判断去对齐的实际程度。

  3. Hugging Face · 新模型：uncensored58

    Qwen3.8-27B 去对齐微调版发布 GGUF 量化，ARC-C 达 735 并大幅压缩思考 token

    Sameer3336s 发布基于 Qwen/Qwen3.8-27B 的去对齐微调版 GGUF 量化仓库，8bit ARC-C 735、ARC-E 882，4bit ARC-C 719，均高于原版 Qwen3.8-27B。模型用 Heretic v1.2.0+ ARA 方法去审查，Stage 1 拒绝率从 99/100 降到 0/100，KL 散度 0.0535；思考 token 减至原版的 1/2 到 1/10。仓库含常规与 MTP 两种 NEO imatrix 量化，作者在 5090 上测得 Q4_K_S 常规版约 75 t/s、MTP 版可超 90 t/s，支持 256k 上下文与视觉（需另下 mmproj 文件）。

    同一新闻，精选展示《DavidAU 发布 Qwen3.8-27B TURBO 去对齐微调版 GGUF》

  4. GitHub · 灵魂体仓库60

    qibin0506 开源 llm_trainer 全流程 LLM/VLM 训练与强化学习框架

    GitHub 仓库 qibin0506/llm_trainer 发布，是一个基于 PyTorch 与 DeepSpeed 的 LLM/VLM 训练框架，覆盖 Pretrain、SFT、DPO/ORPO/SimPO 到 PPO 与 GRPO 的完整流程，支持 8 种 GRPO 变体算子（grpo、bnpo、dr_grpo、cispo、dapo、luspo、sapo、vespo）。框架内置 Muon 优化器自动混合参数分组与多学习率比例调度，通过分块交叉熵、Active Token Filtering 和生成/评估分块降低显存峰值，支持多轮 Agent 强化学习交互与奖励折叠，并适配 NVIDIA CUDA、华为昇腾 NPU、寒武纪 MLU 和 Apple Silicon MPS 后端。

    推荐理由：原文完整给出了从预训练到 GRPO 的训练流程与关键显存优化手段，读者可以对照自己的硬件环境判断哪些模块可直接迁移。

  5. Hugging Face · 趋势模型51

    Bria 发布 Fibo 2.0 Edit Turbo：4 步少步数图像编辑开源权重模型

    Bria 发布 Fibo 2.0 Edit Turbo 开源权重模型，是从 Fibo 2.0 Dev 蒸馏出的专用图像编辑模型，4 步推理且无需 classifier-free guidance 即可出图。据 Artificial Analysis Image Arena 2026 年 10 月 20 日排名，它在开放权重图像编辑模型中位列第一。模型为 8B 参数 flow-matching 架构，基于 FLUX.2 VAE 潜空间，用 Qwen3-VL-4B-Instruct 编码提示词，训练数据全部为授权数据；许可证为 CC BY-NC 4.0，商用需与 BRIA 另行协议。支持普通编辑、掩码编辑和最多 4 张参考图编辑，官方也预告了多轮编辑、背景去除、商品图 LoRA 等后续组件。

  6. Reddit · r/LocalLLaMA20

    Strata 多 GPU 运行机制解析：Reddit 用户实测 QFN UD-Q4_K_XL 量化模型

    Reddit r/LocalLLaMA 用户分享 Strata 运行 QFN UD-Q4_K_XL 量化模型的多 GPU 实测：单 GPU 约 70 t/s、内存占用约 80 GB，用 --gpus all 加到 3 块 GPU 后速度升至约 100 t/s，但内存未下降。后续发现可在 strata json 中设置 --resident-budget-gib 参数（如 50）将部分专家卸载到磁盘以降低内存。

  7. Reddit · r/LocalLLaMA34

    9070 XT + RTX 3080 双卡跑 LLM 体验不佳：Qwen3.8 28B 仅 30-50 tok/s

    Reddit 用户实测 9070 XT 搭配 RTX 3080 双卡运行 LLM，效果不佳：3080 仅 PCIE 4.0 x4，ROCm 和 Vulkan 表现也差，Qwen3.8 28B Q4_K-M 仅 30-50 tok/s，64k 上下文比 128k 掉速明显。层拆分优于张量拆分，MTP 可带来约 2x 提升，显示器必须接在 9070 XT 上，两卡 GPU 占用仅约 60% 和 30%。

  8. Reddit · r/LocalLLaMA56

    DeepSeek V4.1 Flash 2.61 bpw 量化版在双 RTX 3090 上跑出 26 t/s

    /u/whiteh4cker 基于 u/lxe 的 dsx 推理引擎制作并上传了 DeepSeek-V4.1-Flash-1017-dsx-2.6bit 量化权重，面向编程与智能体任务。该 2.6127 bpw 版本对比 FP4 teacher（KL 0.253、Top-1 78.7%、Perplexity 9.78）与 2.03 bpw 版本，取得 KL 0.1972、Top-1 82.59%、Perplexity 9.3626。在 2x RTX 3090、192 GB DDR5 的硬件上，262,144 上下文加 Engram 表（203 GB，SATA SSD）下生成速度 26 t/s、prompt 处理 170 t/s；187.6 GB 权重从 HDD 加载需 90-110 分钟，引擎尚不支持图像。

  9. Reddit · r/LocalLLaMA63

    Qwen3.8-27B 与 Flash-Next 在消费级硬件上的推理引擎实测与成本对比

    /u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next（125B MoE、6B 激活）的各推理引擎 decode 速度，区分了本人验证与作者自报数据，capy-flash（DFlash2）在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×；按本月欧盟含税价折算，两张中端卡每欧元性能比 5090 高 3–10×，且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。

    推荐理由：作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s，还指出 2026 年 RAM 涨价改变了性价比排序。

  10. GitHub · 灵魂体仓库42

    slipstream：基于 AWS EKS 的自托管 LLM 推理平台开源项目

    slipstream 是一个部署在 AWS EKS 上的自托管 LLM 推理平台，用 vLLM 在 Karpenter 调度的 g5 GPU 节点上服务 AWQ 量化的开源模型。它通过无人值守的两层参数扫描（引擎参数 × 客户端并发）找出每个配置在 SLO 下的持续并发上限，just stack-up / stack-down 可一键搭建和销毁整套环境，目标是在单 GPU、按需计费的预算下提升每美元 token 吞吐。

  11. Hugging Face · 新模型：uncensored73

    Qwen3.8-27B-Uncensored GGUF 量化版发布，拒绝率从 98/100 降至 12/100

    发布者用 Heretic 对 Qwen3.8-27B 做去对齐处理并放出 GGUF 量化权重，100 条有害提示上的拒绝数从基座的 98 降到 12，首 token KL 散度为 0.1191。MTP 头被保留并逐文件验证，IQ2_M 到 Q8_0 各档相对 f16 的困惑度增量均给出，能力基准均值较基座下降 0.5 分，Apache 2.0 许可。

    同一新闻，精选展示《Qwen3.8-27B-Uncensored GGUF 量化版发布，拒绝率从 98/100 降至 12/100》

  12. Hugging Face · 趋势模型47

    XHToken 发布端侧模型 Spark-X2.6-4B（GGUF）

    XHToken 在 Spark-X2.5-4B 基础上推出端侧部署模型 Spark-X2.6-4B，架构不变，靠改进后训练提升编码、Agent、长上下文、多语言与推理能力，在同级开源模型中达到 SOTA，可匹敌或超越约 9B 参数的模型。模型提供 none、low、high 三档可控思考预算，支持最大 1,048,576 token 上下文，推理效率不低于 Qwen3.5-4B 和 Gemma-E4B，并可在 SGLang、vLLM 上部署。

  13. Hugging Face · 新模型：abliterated57

    junmo-k 发布 GLM-5.3-Flash-FP4 去对齐版 MLX 重打包

    junmo-k 在 Hugging Face 发布 Piecrust/GLM-5.3-Flash-FP4-Abliterated 的 MLX 重打包，基于 NVIDIA 的 NVFP4 量化版 GLM-5.3-Flash（320B 总参数、约 18B 激活），对第 15-36 层的 44 个矩阵施加 rank-1 拒绝方向编辑。在 Apple M5 Ultra 256GB 上实测，去对齐编辑相对未编辑版本 NLL 高 0.46%，解码慢 12-24%，峰值内存多约 13GB；相对作者自己的 158GiB JK v4 版 NLL 低 1.47%。加载需 14 行 oMLX 补丁以支持每专家 weight_scale_2。

    推荐理由：作者给出消融方法细节和与未编辑版本的 NLL、速度、内存对照数据，可据此评估这次去对齐编辑的实际代价。

  14. Hugging Face · 新模型：abliterated27

    prithivMLmods 发布 flux-3-image-klein-prompt-upsampler-abliterated-GGUF 量化版本

    prithivMLmods 在 Hugging Face 发布 flux-3-image-klein-prompt-upsampler-abliterated 的 GGUF 量化版本，这是 BFL 基于 Qwen3.5-9B 微调的 9B 提示词扩写模型的去审查变体，通过权重正交化移除安全对齐，不再拒绝请求。它支持文生图、最多 10 张参考图的编辑和带 bounding box 的布局三种模式，权重 18.8 GB bfloat16，Apache 2.0 许可，提供 Q3_K_L 至 Q8_0 多种量化，其中 Q4_K_M 为 5.63 GB。

  15. GitHub · 3D 生成新仓库44

    Z-Image-Turbo GGUF Q6_K 在 Kaggle T4×2 GPU 双卡部署项目开源

    该开源项目在 Kaggle 双 Tesla T4 GPU 上运行 Z-Image-Turbo GGUF Q6_K 模型，采用 GPU0 提示词编码与双卡独立推理工作器架构，并提供密码保护的 Vue Studio 和两个 Cloudflare HTTPS 网站。项目附带经 SHA256 验证的 170 张水印图集（48 张质量图 + 122 张 benchmark 图），代码采用 MIT 许可，上游模型为 Apache-2.0，作者强调仅为演示而非生产部署。

  16. GitHub · 去对齐工具与仓库20

    LLM_Lab04：QLoRA 微调实验仓库

    GitHub 上的 LLM_Lab04 仓库是一个 QLoRA 微调实验作品集，包含 notebooks、outputs、screenshots 目录及 README 等文件。仓库目前为 Lab 4 - QLoRA Fine-Tuning Portfolio 项目，暂无 star、watch 或 fork 数据，也未发布任何 Release。

  18. GitHub · 去对齐工具与仓库62

    llm-server-benchmark：本地 LLM 推理可复现基准测试框架

    Lautloserspieler 在 GitHub 发布 llm-server-benchmark，一个面向本地 LLM 推理的可复现基准测试框架，支持 llama.cpp 原生基准与 Docker 化 vLLM 后端，TGI 和 Ollama 处于未发布的 Beta 状态。框架在记录性能结果的同时保存硬件、驱动、后端、模型文件、量化、基准设置与 NVML/rocm-smi 遥测数据，提供 TTFT 与并发压测、长上下文 KV cache 基准、OOM 与多租户等压力测试，输出 HTML/PDF/CSV/JSON 报告，并通过配置指纹、模型 sha256 和 llama-bench 二进制哈希支持带严格校验的跨机器比较。

    推荐理由：这个基准框架把硬件、驱动、量化、遥测等条件与性能结果一起记录，并用严格模式校验跨机器比较的可比性。

  19. GitHub · 灵魂体仓库46

    SayGuard：用 ASUS UGen300 同时看管所有工地摄像头，语音即可添加安全规则

    GitHub 开源项目 SayGuard 用一台 ASUS UGen300（Hailo-10H）分析工地或仓库所有摄像头流，支持用中文或英文语音添加安全规则，全部模型本地运行、视频不出场。原型中安全帽检测达 0.939 mAP50，10 路摄像头单检测器达 100 frames/s；CLIP 双检模型每条警报 15 ms、准确率 95.3%，优于生成式 VLM 的 91.7% 和 283 ms。系统用 YOLOv8s 检测、Whisper 语音识别和 Qwen2.5-1.5B 生成规则与日报，UGen300 零售价 NT$6,380、功耗 2.5 W，最多覆盖 12 路摄像头。

  20. Reddit · r/LocalLLaMA41

    Strata 在 Windows 上实现双 AMD GPU（9070XT + 9060XT）分层拆分并跑通 vision

    用户在 Windows 11 上用双 AMD GPU（9070XT 和 9060XT）以 layer split 方式运行 Strata，需设置 "STRATA_RESIDENT_PIN": "0" 才不崩溃，但仍有性能损耗。最终改用单张 9070XT，IQ3_XXS 量化下达到约 1350pp 和 50-100 tgs，并自行编译 Vulkan 版 vision，在第二张卡上运行 vision mmproj。官方虽不支持 Windows 双 AMD GPU 和 vision，但该配置无需修改代码即可运行。