新闻、仓库与研究，按时间排列。
michaeldtimpe 在 GitHub 开源了 LLM 内存计算器 skuld（在线版 skuld.zoleb.com），输入模型名即可估算推理所需的 VRAM 或统一内存。它按注意力类型和 MoE 拓扑分支计算 KV cache，而非套用单一公式，例如 DeepSeek 的 MLA 在 32k 上下文 BF16 下 KV 约 2 GiB，朴素计算会高估到约 107 GiB；另处理 GQA、MoE 总参/激活参数、Qwen 3.5/3.6 混合注意力和 Gemma 滑动窗口。
推荐理由：作者解释了为何按注意力类型和 MoE 拓扑分支计算，并给出 MLA 场景下 2 GiB 对 107 GiB 的对照数据，方法可直接复用。
VecSzn 发布 PolyStrata，一个基于 Strata 的本地推理工具，在普通 PC 的显卡、内存和处理器之间分摊计算，可运行 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Flint、Qwen3.6-35B-A3B 等十个模型。Qwen3.8-Flash-Next 在 RTX 5070 上以 IQ3_S 量化写入 53 tokens/s，DeepSeek V4 Flash 91 GB 文件在 RTX 5090 工作站写入 56 tokens/s；在 8 GB 显存笔记本上，PolyStrata 读取提示词比 llama.cpp b11540 快 2.7 到 3.5 倍。
推荐理由：仓库给出了各模型在不同量化档位下的读写速度实测，并与 llama.cpp 在同一台笔记本上做了直接对比。
ReVolta 维护者发布 vLLM 分支 0.1.2 版，在 4× V100（SM70、无 NVLink）上实现 DFlash2 投机解码，作者称可能是首个在 Volta 上跑通的案例。drafter 使用 incoai 的 DFlash2 checkpoint，从目标模型 hidden states 起草 8-token 块并由目标单次验证；测试模型为 Qwen3.8 Flash-Next（AWQ）、512K 上下文、FP8 KV 加 CPU offload、TP4 + DCP2。实测单请求英文代码 201 tok/s（对比 163）、英文推理 195（对比 163）、中文 85–101（对比 100–105）、8 并发混合 331（对比 357）；KV 池增大约 10% 至 1.27M tokens。
EsteefAi 在 Hugging Face 上架 Llama-3.2-3B-Instruct-uncensored-GGUF-mirror 镜像，提供 Q6_K 量化版本。该页面给出用 llama.cpp、Ollama、Docker、LM Studio、Jan 等工具运行该 GGUF 模型的完整命令，也可配置到 Pi、Hermes、OpenClaw 等智能体中，通过本地 OpenAI 兼容服务器调用。
Reddit 用户在名为 lvgale 的拼凑主机（i7-6700K 加 RX 580、RX 570、GTX 1660 Super、GTX 1070，部分仅 PCIe x1/x2）上，用自研 Slipstream 编排引擎以混合厂商 Vulkan 后端并发运行三个视觉模型：Qwen3.8:27b-vision 达 3.82 t/s，Qwen3.5:9b-vision 达 4.75 t/s，Qwen3.5:2b-vision 达 12.47 t/s，同时处理 OCR 与视觉解析。
AtomicChat 把 NVIDIA Nemotron 3.5 Bolt E4B（基于 Gemma-4-E4B-it）的拒绝行为从权重中移除，提供烘焙 GGUF 量化版和 3.5 MB rank-1 LoRA。按 Arditi et al. 2024 的拒绝方向方法处理 Gemma 4 每块三次写入及其 RMSNorm 共 126 个矩阵。JailbreakBench 拒绝率从 93.8% 降到 1.2%，俄语红队提示从 76% 降到 0%，XSTest 从 9.2% 降到 0.4%，开启思考后 30 题中 29 个拒绝降为 0；MMLU 从 68.50% 到 67.85%（McNemar p=0.21），工具调用 20/20、30k 长文检索 3/3 不受影响。
推荐理由：原文给出完整的拒绝方向定位方法与前后对照数据，拒绝率从93.8%降到1.2%，MMLU与工具调用影响均有实测。
Reddit 用户分享在 RTX 3070 + Ryzen 5 5600 平台上用 Strata 引擎运行 Qwen3.8-FN IQ3_S 的配置与结果，达到 1000pp prefill 和 40tps decode，上下文设为 262144。相比默认配置（关闭 mtp），开启 STRATA_HC_Q8 与 CPU 分担 prefill 带来主要提速，GPU unlock 额外带来约 50-100tps prefill。
IsValorum 发布 Occamy-1.0 APEX-I-NanoPlus-V2.1 Abliterated GGUF 无对齐版，称通过正交激活转向消除拒绝向量，探针测试 0/10 拒绝。该量化版文件 12.54 GB、3.40 BPW，WikiText-2 困惑度 6.2432（较 BF16 基线 6.18 仅 +1.02%），支持 24GB 显存跑满 256K 上下文；社区实测在 RTX 4070 上以 98.8% 完成 Shortbench 11/12 任务，zephel01 在 SWE-bench 风格评测测得 90.0%–93.3% 解决率。
Reddit 用户 /u/Consumerbot37427 报告其本地 Qwen3.8-Flash-Next MoE 的 Q4/Q8 混合量化版本在 Opencode 长任务中，推理链出现三类凭空编造内容：海盗分金谜题出现 7 次、虚构的 Windows/PyQt6 会话恢复注入在同一轮内被模型自导自演地防御 5 次、以及一段幽灵邮箱预批准系统提示词，而这些文本均不存在于实际输入中。作者用 SQLite 持久化历史做取证，提出判别方法：在全部历史中检索可疑文本的首次出现位置，若首现于助手输出即为模型虚构，若首现于工具或抓取内容才是真实注入；并给出一段可直接粘贴的排查提示词供其他用户检查自己的 opencode 历史。
推荐理由：作者用持久化 SQLite 历史做取证，给出区分量化幻觉与真实注入的可复用判别方法，附完整排查提示词。
Reddit 用户 /u/No-Refrigerator-1672 在 2x RTX 3080 20GB（PCIe 3.0 x16、240W 功耗限制）上实测 Zaggita 发布的 GPU 性能解锁补丁，该补丁修复 Nvidia 对消费卡 AI 相关硬件指令的算力限制。用 vLLM 0.32.0 跑 cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4（fp8 KV cache、MTP 开启）测试，prefill 吞吐提升 20.8% 到 28.6%（提示越长提升越大），TTFT 下降 17.2% 到 22.3%，decode 步速基本不变；MTP 实际接受率约 2，实际生成速度约 45 tok/s。
推荐理由：作者在双 RTX 3080 20GB 上实测 Zaggita 的解锁补丁，给出了从 8k 到 262k 提示长度的 prefill 提速数据和解码不变的结论。
作者在单张 RTX 5090（400 W）加 128GB 内存的 Linux 机器上，对 Strata、Infernix、capy-flash、ninfer-ext、ninfer、llama.cpp 和 Basalt 七个 Qwen 3.8 FN 推理引擎做了基准测试，每个引擎各自转换 NVIDIA NVFP4 权重后跑相同的七个 greedy 请求，每个请求独立冷启动。
Octopusman388 发布 electroglyph/flint-uncensored 的 GGUF Q4_K_M 量化版（22.5 GiB），该模型是对 RecursiveSI/flint（39.8B-A2.5B MoE 编码模型）的 Heretic 去对齐版本，仓库仅做转换与量化，无额外训练，Apache 2.0 许可。实测拒绝率 5/100（原版 98/100）；已知问题是在边界/敏感提示下推理可能失控，10k+ 字符无答案，presence_penalty 1.5 无效，用 --reasoning-budget 4096 加提示语可缓解，4/4 单轮及多轮 agent 运行均正常终止。
推荐理由：作者实测了拒绝率前后对比和推理循环问题，并给出可复现的 reasoning budget 缓解参数与解码速度数据。
GitHub 上的 llmdil 是一款基于 Tauri 2 + Rust 的 Windows 桌面应用，用于在单台工作站上安装、配置、监督和监控本地 LLM 服务栈，当前版本 v0.1.40（2026 年 10 月 18 日）。它提供 12 步自动执行的首启设置向导、llama-server 子进程监督、LiteLLM 网关（:4000）统一路由与 OpenRouter 云端故障转移、GPU 遥测监控及带 SHA-256 校验的模型库管理。要求 Windows 11 24H2+、NVIDIA R550+ 驱动、120 GB 空闲磁盘，采用 Apache-2.0 许可证。
llmsyscore 在 GitHub 开源了 llm-systems-manager，一个自托管面板，用于监控、控制、基准测试和调优运行本地 LLM 的机器，采用 AGPLv3 许可证。支持 llama.cpp、vLLM、LM Studio 和 stable-diffusion.cpp，兼容 NVIDIA、AMD（ROCm 与 Vulkan）和 Apple Silicon GPU，支持 Linux 与 macOS，不支持 Windows。
推荐理由：原文完整列出了安装方式和监控、基准、自动调参等功能清单，可用于评估这套自托管面板是否覆盖本地推理运维需求。
Off Grid AI 在 GitHub 开源 OGAM，一套完全在手机和 Mac 本地运行的离线 AI 套件，涵盖文本生成、图像生成、视觉识别、语音转写、工具调用和文档分析。可选 Pro 订阅（$119 买断或 $7.99/月）增加 Kokoro 端侧语音回话、可自定义 system prompt 与持久记忆的人格、需人工批准的操作草拟，以及手机与 Mac 之间无中继的 Personal Mesh 同步。
推荐理由：自述为完全离线本地的 AI 助手套件，人格系统给出了系统提示词、语音与持久记忆的具体构造方式，可作本地部署参考。
GitHub 开源项目 mercureal-assistant 发布 v0.2.1，是一款完全在 Android 手机本地运行的离线语音助手，用 whisper.cpp 做语音识别、量化 llama.cpp 模型（默认 Qwen2.5-0.5B-Instruct Q4_K_M，可选 Llama 3.2 1B）生成回复、sherpa-onnx 离线 TTS 朗读，不经云端。应用仅用网络从 Hugging Face 固定 commit 下载模型并校验 sha256，语音、提示词与回复不离开手机，无分析或崩溃上报。项目仍未经真机编译运行验证，语音模型提供 tiny.en、base.en、small.en，模型约 78 MB 至 808 MB 不等，MIT 许可。
作者 /u/shifu_legend 发布纯 CPU 推理引擎 Project Zero 的 v0.2.0，用同一个可执行文件 pz 运行 BitNet/Falcon ternary、Ternary-Bonsai-27B、dense GGUF、DeepSeek-V2 与 Qwen3 MoE 及 Mamba-1，无需 GPU 或 Python。
研究者提出 LEMS 与 KFAC-SVD，改进基于 SVD 的大语言模型压缩：LEMS 通过逐层误差代理结合 ILP 实现更有效的全局秩分配，KFAC-SVD 利用逐 token 统计缓解此前 Fisher 方法的秩塌缩。在 Mistral、Qwen3 和 Llama 3 模型族上，LEMS 带来最高 4.8 p.p. 的 zero-shot 准确率提升（可泛化到 70B 参数规模），KFAC-SVD 平均降低困惑度 15%。论文已被 ICML 2026 接收。
IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版，体积从 bf16 的 65.8 GB 降到 22.1 GB，KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化：专家用 FP4 权重加 bf16 激活，Mamba2 投影用 FP8，注意力保持 bf16，并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过，MTP 投机解码接受率 63%；24 GB 显存较紧张，建议 32 GB 以上。
推荐理由：作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比，可据此选择合适的构建。
IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 FP8-DYNAMIC 量化版，体积从 bf16 的 65.8 GB 降到 35.0 GB，KL 0.0134，用 llm-compressor 0.14.0 无校准数据制作。附 NVFP4A16（22.1 GB）和 W4A16（20.5 GB）4-bit 版本，可在 Ampere GPU 上运行。Heretic 评测协议下（关闭思考，100 条有害提示）各版本拒绝数为 20-26/100，差异不显著；原始 ThinkingCap 拒绝 99/100，bf16 去对齐版降至 21/100。
同一新闻，精选展示《IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重》
IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版，20.5 GB（bf16 为 65.8 GB），KL 0.0215，用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化，激活保持 bf16，面向无 FP4/FP8 支持的 GPU（如 Ampere）。在 DGX Spark 上用 vLLM 0.30.0 测试，4 个温度为 0 的请求均正确且工具调用格式正常；Heretic 评测显示 100 个有害提示拒绝 26 个（bf16 去对齐版为 23），作者称数个拒绝的差异不显著。
推荐理由：发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比，还注明两次基线运行差异数个拒绝不显著，便于判断精度损失。
TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017（Unsloth UD-IQ2_XXS GGUF），默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍，关闭 YOCO 仍有 2.44–3.23 倍；decode 提升较小（1.08–1.20 倍）。质量上，WikiText-2 困惑度相对 llama.cpp 高约 0.46%（YOCO 关）到 1.14%（YOCO 开）。vLLM 0.32.0 在该机未能出 token，仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动，完整报告见 GitHub。
推荐理由：作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化，可据此评估该推理引擎在 A40 上的实际收益与质量代价。
一位 Reddit r/LocalLLaMA 用户在本地以 2-bit 量化运行 ds4.1-flash-1017，与 opencode 通过 DeepSeek API 调用的 ds4.1 进行同一提示词对比，测试耗时约 1.5 小时，使用 450k 上下文（开启自动压缩）并以 headless chrome 替代 playwright 完成测试。测得的 KDL 差距较明显：original 到 oQ2e 为 0.4259 nats，original 到 oQ2.5e 为 0.2821，困惑度分别为 3.7315、4.1190 和 4.6333，2-bit 版本的 top-1 agreement 为 78.43%。
Reddit r/LocalLLaMA 用户对比 ukisai 的 Swift-1.5-Qwen3.8-Flash-Next（IQ2_XXS、64k 上下文、Strata）与 Swift-1.5-Qwen3.8-27B（Q4_K_L、128k 上下文、llama.cpp）。Flash-Next 在 medium 推理档位下反复空转思考、刷工具调用而不写代码，关掉推理也一样；27B 几分钟后就开始写修复。作者怀疑与 64k 上下文压缩、低量化或 Qwen Flash Next 本身有关。
/u/panchovix 在 r/LocalLLaMA 发帖解释 NVIDIA 消费级 RTX 显卡的 FP32 累加性能被故意砍半，用于区分专业卡与数据中心卡。受影响的任务包括 LoRA 微调、扩散模型生成、LLM prefill 和大批量推理，作者称 RTX 6000 PRO 比 5090 快约 70%；RTX 20/30 系解锁可能性高，40 系已有实测工具，50 系因加入熔丝较难解锁。
Hugging Face 推出 torch-neuronx model support Space，可查询 Hub 上热门模型能否在 AWS Trainium 上原生运行，并提供可复现的 run.py 脚本。每条记录包含 Trainium core 分片数、含编译的总运行时间和峰值显存，结果来自公开数据集 aws-neuron/torch-neuronx-model-support，用户可通过 NEFF cache bucket 跳过编译。
Solstice-AI 将 DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 量化打包为 Apple MLX oQ4e 混合精度版本，内置 1,048,576 token 的 YaRN 上下文扩展，内存占用 17.02 GB，可在 16GB/24GB MacBook 上通过 Anvil 或 MLX-LM 运行。官方称在 Claude Code 评测框架下以 9/9 项基准全胜 Claude Opus 4.6 Max，其中 SWE-bench Pro 61.7% 对 53.4%，ARC-C 735、ARC-E 882。Apple Silicon 上的 MTP 多 token 预测带来 1.72×–2.20× 的加速。
leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版，采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头，总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量，经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX（M4 Pro 48GB）上 mtp_enabled 开启时草稿接受率 89.1%，吞吐 78.6 tok/s，较关闭时的约 58.5 tok/s 提升 28–34%；MTP 加速仅支持 oMLX，LM Studio 只能加载基座模型。
推荐理由：作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据，读者可据此判断这个 MLX 移植在速度与精度上的取舍。
Qwen3.8-Flash-Next-Orca-Abliterated-GSQ-RCO-Coder-GGUF（58.6 GB）发布，通过移植 orcarouter 的 144 个正交化残差张量，在 256 专家剪枝的 Coder 架构上实现去审查。模型在 llama.cpp、LM Studio、Ollama 中开箱即用；SWE-bench Verified 79.20%、LiveCodeBench v6 87.43% 基准权重保留，代码语料 PPL 仅从 1.2573 升至 1.2749，安全红队测试合规率 100%。
armin1 发布了 NVIDIA Nemotron-3.5-Super-VL-120B-A12B-NVFP4 的 abliterated（uncensored）版本，通过保持量化的轻量权重编辑移除拒绝行为，可无缝替换原模型并在 vLLM 与 TensorFold 上直接加载。
推荐理由：给出了同一测试环境下的拒绝率、KL 保真度和推理速度对比数据，可以据此评估这个去对齐版本付出的实际代价。
mradermacher 在 Hugging Face 上提供 Sage-A1.5-Heretic-Abliterated-Uncensored-i1-GGUF 量化模型，支持以 Q2_K 等量化版本运行。该模型可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接推理，也可在 Ollama、Docker、LM Studio、Jan 等工具中使用，并给出了 Pi、Hermes Agent、OpenClaw 等智能体的具体配置方法。
mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored2-i1-GGUF 量化模型，示例以 Q2_K 版本运行。该模型可通过 llama.cpp 在 macOS、Linux、Windows 本地启动 OpenAI 兼容服务器或终端推理，并支持 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具加载使用。
GitHub 仓库 lecyberbill/aurora-rust-engine 发布了一个完全用纯 Rust 编写的 AI 推理引擎，零 Python 依赖，支持图像（SDXL、FLUX.1/FLUX.2、Z-Image Turbo）、文本（Qwen、Llama、DeepSeek 等的 CausalLM）、语音（Whisper、Parler-TTS/Kokoro）和音乐（ACE-Step 1.5）四类生成。
推荐理由：README给出了 RTX 4070 Ti 与 AMD RDNA4 上的实测吞吐和显存数据，可以借此评估纯 Rust 零 Python 推理栈的可行性。
Hugging Face 上线 SolsticeAIFoundry 的 Minimax-M3.1-Flash-Uncensored-GGUF-Ultraoptimised-Protium-1.0 模型仓库。该模型采用 GGUF 格式并做超优化处理，目前无部署的 Inference Provider，下载量也未纳入统计。
abenzerps 基于 TokenRhythm/NeoHorse-1-9B 发布 GSQ-RCO 混合精度 GGUF 量化版本，采用 RCO 保留全部 48 个关键 SSM 参数为 BF16，并用 GSQ 按 Hessian 灵敏度校准逐层优化精度。提供 IQ2_XS 到 IQ4_XS 共 5 档文件，推荐 IQ3_M（3.75 bpw、4.20 GB）。配合 4-bit KV cache 可在 8GB 显存的消费级 GPU 上以约 6 GB VRAM 运行 131k 上下文，遵循 Apache-2.0 License。
dima6312 在 Hugging Face 发布 RecursiveSI Flint 40B-A2.5B 的 abliterated 去对齐版本，用 abliterix 移除拒绝方向，Optuna 调参。留出集 MITRE 拒绝率从 15% 降到 0%（n=100，Q8_0），HumanEval+、MBPP+、GSM8K、MMLU-Pro、CyberMetric、WMDP-cyber 无显著下降，无害提示上 KL 散度 0.0146。提供 BF16、GGUF（Q8_0 到 Q3_K_M）、NVIDIA Blackwell NVFP4 和 Apple silicon MLX 4-bit 多种构建，本仓库为 Rec 运行时 4-bit 版约 21 GB，需 llama.cpp b11827 或更高版本。
同一新闻，精选展示《dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版》
dnnagy 在 Hugging Face 上发布 Huihui-Qwen3.6-35B-A3B-abliterated 的 GGUF 版本（BF16）。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行，支持 OpenAI 兼容本地服务器，也可在 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等工具中使用。
Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。版本包含 BF16（14.23 GB）至 Q4_K_M（4.60 GB）等多种量化档位，推荐 Q4_K_M 以平衡体积与质量；MLX 格式针对 Apple Silicon 优化，并随附 qwen3vl_8b 文本编码器与 VAE 文件供 ComfyUI 使用。该版本无内置安全检查或内容过滤，可直接生成 NSFW 等敏感图像。
mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored2 的 GGUF 量化模型（如 Q2_K）。该模型可通过 llama.cpp 本地服务器或命令行直接运行，并支持 Ollama、LM Studio、Jan、Docker、Pi、Hermes、OpenClaw、Lemonade 等多种工具加载使用。
overhand 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored，并附上性能基准数据。原生 MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second，高于 NVFP4 target 的 796.13、EXL3 3.5 的 480.84 和 EXL3 2.875 的 452.16；单并发时 MXFP4 首 token 延迟 p50 为 0.34266 秒。