新闻、仓库与研究，按时间排列。
GeulPU 是一个在本地 GPU 上运行 GGUF 模型的推理引擎，通过书面精度契约保证同一请求在任意批量、slot、prompt 缓存和投机解码下输出逐位一致，exact 模式下 NVIDIA 与 AMD GPU 结果也一致。它自带调试器，可录制 agent 会话、逐位重放、从任意 token 分支并按请求对比不同量化版本；默认设置下速度多数场景快于 llama.cpp，投机解码在代码编辑任务上快 3.5-4 倍且输出逐位相同。引擎以韩语关键字编程语言 글(geul) 编写，下载约 1.5 MB，仅依赖显卡驱动，支持 Qwen3.6-35B-A3B、Qwen3.5、Qwen2.5、DeepSeek-R1-Distill、Llama 3 和 Mistral，提供 OpenAI 兼容 API，MIT 许可开源。
推荐理由：同一个请求在批量、缓存、投机解码甚至不同 GPU 上都得到逐位相同的结果，这个确定性契约让本地模型可以像程序一样调试和对比。
Reddit r/LocalLLaMA 用户质疑 ISTA 的 GSQ-RCO 2-bit（IQ2_XXS）量化版 DeepSeek-V4.1-Flash 在基准测试中与原模型得分持平的说法。其评测基准已饱和（90%+，AIME25 各版本均达 100），可能无法反映量化损失，且未公布 KLD 数据，用户求助实测 KLD 或 PPL。
/u/yehyakar 在 RTX 5080 16GB、Core Ultra 9 285K、62GB DDR5-6800 环境下用 Basalt 测试 Qwen3.8-Flash-Next IQ3_S，262K 上下文、int8 KV。上下文扫描（15K-207K）平均 prompt 处理 5,475 tok/s、峰值 5,662 tok/s，生成平均 154.9 tok/s、峰值 186.6 tok/s；Agent 编码会话（opencode 103 次请求、最高 130K ctx）生成平均 153.0 tok/s、峰值 262 tok/s，99.5% 的 prompt token 来自缓存，首 token 中位时间 0.2 秒，显存占用 15.7GB。
Krissaito470 发布 Huihui 的 Qwen3.8-Flash-Next abliterated v2（去审查版）的 DS4 GGUF，采用 Mixed-Q3-64GB 布局，文件 143.3 GiB，常驻权重 47.96 GiB，可在 64 GB Mac 运行。v2 未消融任何专家张量，仅以 96 个 Q8_0 张量覆盖基础文件；8K 上下文下解码 68.9 tok/s，MTP 开启时代码生成达 102.8 tok/s。内存占用约 49-54 GiB（8K-131K ctx），需支持 BF16 n-gram 的 DwarfStar 构建。
作者发布了一个 Strata 运行时去拒绝方案包，收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GSQ-RCO 量化权重（逐字节复制并校验 SHA256），外加一个 480 KB 的拒绝方向向量文件，来自 Huihui 对 144 个残差写入张量的秩一编辑，在推理时对每层残差流做投影 h = h - (h·r)r 以移除拒绝行为。
推荐理由：作者用拒绝率、KL 散度和解码速度实测了运行时去拒绝向量的效果，数据可直接用于判断这种方案对输出的改动幅度。
NeonMC23 的 forgeCORE 是一个基于 llama.cpp/ggml 的轻量 Rust 抽象层，自身不含计算逻辑，负责打开 ggml backend、管理 tensor 与计算图、通过 libllama 加载 .gguf 模型，并运行 Model → Context → Batch → decode → Logits → sample 的最小 CPU 推理路径。它暴露 tokenizer、KV/state 原语（state snapshot、position shift、KV cache dtype）、GPU offload 选项（默认 CPU，无 GPU 时显式报错），并内置冻结的标量 oracle 用于交叉验证；目前 CPU 推理路径已通过验证。
一个在 Apple Silicon 上全离线运行的 Streamlit 应用，用 IBM Granite Speech 5.0 TurboCTC（470M，encoder-only）做英语语音转写，配 Silero VAD v6 生成分段时间戳。可选开启 Granite 4.2 3B（8-bit）本地分析，生成摘要和按"是"概率排序的 yes/no 问题。30 分钟音频完整分析在 M2 Pro 上约需 23 s，双模型加载峰值约 7.7 GB 内存，仅支持英语，输出为无标点小写文本。
一位 LocalLLaMA 网友晒出由 4x 5060ti 16GB、4x 3060 12GB 和 256GB DDR4 3200（4 通道）组成的推理平台，成本与 DGX Spark 相当。其规划是 5060 组 TP4 接 pipeline 到 3060 组，把不常用的专家卸载到内存，engram 放 NVMe SSD，询问此方案能否高速高精度跑大 MoE 模型，还是远逊于统一显存/内存架构。
huihui-ai 在 Hugging Face 上发布 Huihui-DeepSeek-V4.1-Flash-1017-abliterated 的 GGUF 版本。该模型目前没有模型卡，也未部署到任何 Inference Provider，页面未给出参数规模等更多细节。
Hugging Face 上线 Marker689 的 DeepSeek-V4.1-Flash-1017-EXL3-EAQ-v1-2.9-bpw-Abliterated 模型仓库，采用 2.9-bpw 量化并提供 abliterated 去 abliterated 版本。仓库公开可访问，但用户需登录并同意条件后才能下载文件。
zugquants 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO GGUF 量化版，为 120B/180B 参数、512 专家（每 token 激活 10 个）的无审查 abliterated 模型。内置 Turbo Brilliance 系统含 27 种 reasoning、27 种 instruct 模式及 15 个 AI CONSTRUCTS，可在提示词或 API 中即时切换。实测 46 GB 双 GPU 加 RAM offload 达 17 t/s，全 GPU offload 60-90 t/s，12GB 显存起可运行。
zugquants 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段去对齐微调 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored，提供含 MTP 版本的 NEO imatrix GGUF 量化。作者称 8bit ARC-C 735、ARC-E 882，4bit ARC-C 719，全部 7 项基准超过基座 Qwen3.8-27B，思考 token 减至基座的 1/2 至 1/10；用 Heretic v1.2.0 ARA 方法去审查后 100 次测试中拒绝从 99 降至 0，KL 散度 0.0535。
zugquants 与 Nightmedia 推出基于 Qwen3.5-9B 的多阶段微调合并模型，完全无审查并经 Heretic 后训练，在 4bit 与 8bit 下 ARC-C 达 640，超过 Qwen3.5 9B 全部 7 项 benchmark，部分场景追平 Qwen3.6 27B。提供常规与 MTP 两类 NEO IMATRIX GGUF：Q4_K_S 常规版约 130 t/s，MTP 版（token acceptance 60%）可超 185 t/s；支持 256k 上下文与视觉（需另下 mmproj 文件），含 5 种 reasoning 与 5 种 instruct 模式，可经 API 或聊天内即时切换。
zugquants 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated（去审查）GGUF 量化版，参数量 120B，Turbo Brilliance 文中另一处称 180B、512 专家（每 token 激活 10 个），含 27 推理 + 27 instruct 模式（另有 9 个 xhigh）及 15 个 AI Construct。模型可在 12GB 显存 GPU 上运行，2 GPU 加 RAM offload 实测 17 t/s，全 offload 达 60-90 t/s，RTX 6000（96GB）估计 150+ t/s，采用强于 QAT 的 GSQ-RCO 量化并称达 SOTA BF16 级性能。
dealinai 基于 LibertAI 的 EXL3 2.9bpw 量化包（388 GB）发布 DeepSeek-V4.1-Flash-1017 无对齐版本，移除拒绝行为，支持 6 种语言、131K 上下文、思考模式开关，保留视觉权重、MTP 头和 n-gram 表。实测 MMLU-500 从基线 67.40% 降至 63.20%（−4.20pp），HarmBench-320 聊天与思考模式合规率均 100%，多轮对抗测试 0/5 漂移回拒绝。在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 验证约 68 tok/s 解码、1105 tok/s 预填充，并提醒低比特重量化可能使合规回退，建议在目标精度上重跑 abliteration 流程。
同一新闻，精选展示《dealignai 发布 DeepSeek-V4.1-Flash-1017 无对齐 EXL3 2.9bpw 量化包》
just-core 是一个全家桶应用的内部共享库（不发布到 npm），检测硬件、推荐并下载 GGUF 模型，自动拉起 OpenAI 兼容的 llama-server（预编译包内置 CUDA 运行时）。它以纯 JavaScript 运行在 Node 24 上，包含 @delebash/core 服务端套件、Vue 共享 UI 与应用模板，并于 2026-10-18 从 just-llm-runner 更名。模型启动配置按四级规则解析：估算仅作准入、引擎默认 fit、用户显式设置精确生效、实测调优以超过 5% 平局的严格优势获胜。
mradermacher 发布 abliterated 版模型 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 的 i1-GGUF 量化，包含多种尺寸的 imatrix 量化文件，并提供 0.2GB 的 imatrix 文件供用户自行创建量化版本。静态量化版可另行获取，使用方法可参考 TheBloke 的 README。
RecursiveSI 的 Flint 40B-A2.5B 去对齐版本发布，用 abliterix 从 attention、共享与路由专家投影中移除拒绝方向，Optuna 在 100 条 MITRE 提示词上选强度。保留的 MITRE 拒绝率从 15% 降至 0%（n=100，Q8_0），无害提示词 KL 散度 0.0146 nats/token，HumanEval+、MBPP+、GSM8K、MMLU-Pro、CyberMetric、WMDP-cyber 无显著下降，pp512/tg128 速度变化在 3% 以内。
推荐理由：原文给出消融方法与拒绝率前后对照，MITRE 拒绝从 15% 降到 0% 且各基准无显著下降，便于评估该去对齐版本的取舍。
ANEMLL Forge 0.2.1 发布，Qwen3.8-27B 在 M6 32GB 的 Neural Engine 上最高可跑 192K 上下文。新增 INT8 K/V cache（为 FP16 一半）并用共享输出 head 的更小 drafter 节省 0.86 GB ANE 内存；decode 依内容为 JSON 35–62 tok/s、code 18–32、prose 10–17，prefill 短上下文 260 tok/s、192K 时 62；作者称 96K 是 32GB 下的甜点位（123 tok/s prefill、约 27 tok/s decode、约 21.4 GB 内存），完整 192K 首次编译约需 2 小时，用 --ctx 只编译所需条目时 16K 从下载到运行约 10 分钟。
TensorSharp 开发者在 MiniMax-M3.1-Flash 开放权重发布当天加入支持，支持 GGUF 推理、MiniMax Sparse Attention 专用 CUDA kernel、图文输入、tool calling、多 GPU 拆分与张量并行、DSpark 投机解码和 MoE 专家 CPU offload。在 8× NVIDIA A40、双方使用相同 Unsloth UD-Q4_K_XL GGUF 的对比中，64K executor prefill 达 2,567 tok/s，对比被测 llama.cpp 分支的 262 tok/s 提升约 9.8 倍，server 首字时间从 293.4 秒降至 40.0 秒；64K decode 提升 1.49 倍，短对话 decode 基本持平。
推荐理由：开发者给出两引擎在8× A40上的prefill与decode实测，并解释长上下文差距来自稀疏注意力的实现差异，可复现。
Hugging Face 用户发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化模型仓库，提供 GGUF、Safetensors 和 MLX 格式，文件大小从 4.00 GB（MLX 4-bit）到 14.23 GB（BF16）不等，用于本地图像生成。该版本内置无安全检查器或内容过滤，可直接生成成人及 NSFW 图像；推荐 GGUF 使用 Q4_K_M（4.60 GB），MLX 格式针对 Apple Silicon 优化，需配合 ComfyUI 与配套的 qwen3vl_8b 文本编码器和 VAE 文件使用。
dealignai 发布了基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 的去拒绝版本 DeepSeek-V4.1-Flash-1017-UNCENSORED-FP8，仅做权重级 abliteration，不用量化、模板改写或系统提示注入。保留原生 FP8 e4m3 + FP4 专家、1M 上下文、多模态、工具调用与推理档位，与上游字节兼容可直接加载。自测 HarmBench-320 全部 320 条 COMPLY 无任何拒绝，MMLU 20×57 从 87.63% 降到 83.77%， Humanities 降幅最大达 -7.31 pp。附 4×H200 参考引擎运行方法与 SGLang 启动参数，仓库手动门控，MIT 许可。
同一新闻，精选展示《DeepSeek-V4.1-Flash-1017 无对齐 FP8 权重发布，HarmBench 320 题全部合规》
/u/mesolimbic-bliss 用三套 harness 实测 unsloth/flint-GGUF 的 flint-UD-Q3_K_XL.gguf，成绩差异很大：OMP 完成 12 个任务得 71.2/100（仅 7 个解决），AtomicAgent 得 39.2/100（仅 3 个解决），Hermes 在任务 7 中途停止，因在文件系统上做了大量无谓的广度搜索并陷入循环。DeepSeek 版因此前 harness 失败和低分未运行。完整榜单见 https://shortbench.vercel.app/，目前已有模型达到 100/100。
Reddit 用户 /u/TheSpicyBoi123 发布改进 llama.cpp 对 Kepler 等 Ampere 之前 NVIDIA GPU 支持的高性能分支，目标是让旧 CUDA 硬件继续可用。在 4x Tesla K40c 上以 Q8_0 量化运行 MTP Qwen3.6-35B-A3B，从原先无法启动提升到 35 tps，修复主线上 cc35-50 的 cuBLAS 计算类型选择问题；启用 CUDA graphs 后达约 55 tps，Windows NCCL 集成带来约 5–10% 端到端提升，吞吐超 60 tps，P.P. 速度在 70-100 tps 之间波动。作者声明这是其个人系统的初步结果，并征集 Kepler、Maxwell、Pascal、Volta 等旧卡用户对比测试。
推荐理由：作者用 4 张 Tesla K40c 实测给出量化前后与启用 CUDA graphs 的速度对比，老卡复用方案可自行复现验证。
KLD 衡量量化模型与基座模型在各 token 上概率分布的差异平均值，但不能作为量化模型的通用质量排名。作者指出用随机文本（如 Wikipedia 文章）计算 KLD 不代表模型推理时看到的自生成 token，建议改用基座模型生成数据并对提示词 token 计零权重；且校准数据与评估数据同源、或对量化 scale 参数做微调，都会让 KLD 虚高。KLD 只能作诊断工具，不能反映模型实际任务表现。
10exdev 发布 DeepSeek-V4.1-Flash-1017 去对齐（abliterated）版本的 GGUF 量化构建，提供 235.8 GB 的 Mix-256G 与 114.0 GB 的 Mix-128G 两种混合精度档位。拒绝率加权均值从基座的 0.874 降到 0.074，MMLU 保持 0.91 左右；需 llama.cpp PR #30817 才能加载，Engram 表存于 SSD。
同一新闻，精选展示《DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布，763B MoE 最低 235.8 GB 内存可跑》
mradermacher 在 Hugging Face 上放出 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 GGUF 静态量化版本。该模型未部署到任何 Inference Provider，下载量也未统计。
lyber-ai 在 Hugging Face 上架 MiniMax-M3.1-Flash-ABLITERATED-NVFP4 模型仓库，仓库公开可访问，但需同意条件后才能获取文件和内容。用户须登录确认年满 18 岁、承诺在所在司法辖区合规使用并承担全部输出责任，访问授权由仓库所有者自行决定。
Hugging Face 发布 Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX，提供 Q8_0_ROCMFPX 量化版本。该模型可通过 llama.cpp 本地部署，支持 OpenAI 兼容服务器，也可用 Ollama 运行（ollama run hf.co/Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX:Q8_0_ROCMFPX），并可在 Docker Model Runner、Lemonade 及 LM Studio、Jan、Pi、Hermes Agent、OpenClaw 等工具中加载使用。
virtualdmns 的 SmolLM3-3B-Heretic-Uncensored（用 Heretic 移除拒绝行为的 SmolLM3-3B）现提供 GGUF 格式，含 Q8_0（约 3.28 GB）和 Q4_K_M（约 1.92 GB）两种量化，chat template 已嵌入文件并支持 /think 与 /no_think 模式。经 llama.cpp 加载测试可正常生成、无拒绝行为，源权重重新评测显示拒绝率 3/100（原版基线 82/100），KL 散度 0.0684。可通过 llama.cpp、LM Studio 或 Ollama 运行，采用 Apache-2.0 许可。
Hugging Face 上架 Rasist228 发布的 Qwen2.5-7B-Instruct-abliterated-v2 的 Q4_K_M GGUF 量化版本。该模型可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner、Lemonade 等多种工具加载运行，llama.cpp 与 vLLM、SGLang 均支持启动 OpenAI 兼容 API 的本地服务器，也可在 LM Studio、Jan、Pi、Hermes Agent 等应用中使用。
一项硬件-软件协同设计方法利用 systolic array 累加器中时序稳健位范围随电压-频率工作点变化的特性，提出累加感知训练，结合混合精度量化与非结构化剪枝，辅以 MSB 掩蔽、细粒度时钟门控和逐层动态频率缩放。在 2nm 工艺节点的低电压前沿运行时，该后布局架构相对标称电压实现节能 39%、energy-delay product 提升 23%，精度损失保持在 1% 以内。论文已被 ICCAD '26 接收。
cbert33 在 Hugging Face 发布 Flint-40B-A2.5B Abliterated 的 FP8 校准量化版本，基于 dima6312/Flint-40B-A2.5B-abliterated，采用 LLM Compressor FP8_DYNAMIC 格式，含 36,439 个量化权重张量、295 个 BF16 保护张量和 98 个校准 BF16 KV scales（覆盖 49 个注意力层）。校准使用 HuggingFaceH4/ultrachat_200k 的 train_sft 前 512 行（543,281 tokens）。该模型仅限研究用途，未经生产验证，端到端生成质量与 benchmark 未测试。
Reddit 用户更新了 ik_llama.cpp fork，并寻求社区反馈。该实现在 6GB 显存的 RTX 2060 上运行 Qwen3.6-35B-A3B-UD-Q4_K_M，短提示词生成约 45–48 t/s，28K 上下文约 37 t/s，prefill 约 430–700 t/s。由于反馈太少且代码需拆分清理，作者暂不合并到主线。
WeeLLM 开源了针对大型扩散模型的分层流式推理工具，通过把文本编码器和 transformer 层按显存预算动态流式加载到 GPU，在不量化的 bfloat16 精度下让 4GB 显存运行 FLUX.1-dev、SDXL、Qwen-Image 等模型，并给出 RTX 3050 上的显存峰值与生成耗时基准表。现已提供 ComfyUI 官方扩展，支持文生图、图生图和文生视频，但作者说明自回归文生图模型因需上千次前向传播而流式耗时数小时，不实用。
作者发布开源 Python 包 mlx-decision，可在 Mac 上用 MLX 本地运行 Clef、pplx-decider、d3、H2O-Lightning、LiquidAI d1 等开放决策模型。输入消息、文档或截图加带类型的问题，一次前向即返回各选项的概率与置信度；与原 PyTorch 代码逐 token 校验，同答案下在 MPS 上通常快 1.4–6 倍，M5 Pro 上 d1-3B 短请求 0.06 秒。附带本地 Web Studio 支持对比模型、跑数据集评测和微调，d1-3B 微调 4 分钟在 TREC 上从 86.6% 提到 96.4%；MIT 协议，需 macOS 14+ 和 Python 3.12+，仓库 https://github.com/armbues/mlx-decision。
推荐理由：作者给出了各模型在 Apple Silicon 上的实测延迟和微调前后准确率对比，本地部署决策模型时可参考这些数字选型。
/u/jonathanx37 在 r/LocalLLaMA 分享用 llama.cpp 在 8 GB VRAM 上运行 ISTA DASLab 的 3.5 BPW GSQ RCO 量化 Qwen-Flash-Next Coder 的方法。
Hugging Face 上发布 Flint-40B-A2.5B 的 abliterated 去审查版 FP8 量化模型，采用 LLM Compressor FP8_DYNAMIC 格式，保留 295 个 BF16 保护张量，并用 98 个校准 BF16 KV scale 覆盖全部 49 个注意力层。校准基于 HuggingFaceH4/ultrachat_200k 数据集 train_sft 前 512 行样本（共 543,281 token），上游 abliteration 已减少拒答行为，输出仍应视为不可信。该模型仅供研究用途，GPU 推理与 benchmark 尚未验证。
Adolphsson 在 Hugging Face 发布 GLM-5.3-Flash 去审查版的 Maya-L GGUF 量化，基于 dealignai 的 CRACK 去审查 FP8 检查点（原模型 zai-org/GLM-5.3-Flash），仅做量化，保留 MTP 草稿块与视觉 mmproj 文件，上下文 1M tokens，总量 156.3 GB，分 4 个分片，MIT 许可。单张 RTX 5090 实测 1M 上下文 28.5 tok/s，256K 上下文开 MTP 提速约 16%；该版本仅通过功能验证，尚未跑 MMLU 等基准。
Abiray 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的去审查（abliterated）GGUF 版本，基于 ISTA-DASLab 的 IQ2_XXS 量化，将 86 个去审查残差写入张量直接烘焙进权重，运行时无需 LoRA。体积仅增加 0.34 GB（138.58 GB vs 138.24 GB），28 个 1-bit IQ1_M GSQ 专家层 100% 保留，KL 散度仅 0.000002 nats，Top-5 一致率 100%。需搭配 ISTA-DASLab 的 110.60 GB Engram 查找文件，可用 Strata 在单张 12 GB+ NVIDIA GPU 上运行。