新闻、仓库与研究，按时间排列。
一项 arXiv 研究提出“变体碎片化”问题，指出混合纳瓦特语（Nawatl）多种变体的语料会生成不属于任何语言社区的人为语域。研究基于 70,000 双语对多变体基础，用 2,665 平行对和 192 句长者转写句子，将 mT5-large 特化为 Santa Ana Tlacotenco 的 Masewalkopa（nhn）变体，所得 LoRA-v9c-b 模型取得 58.46 dev chrF++；有限状态分析器将未分析表层形式从 82.0% 降至 19.9%，CTranslate2 int8 量化把 CPU 延迟从 137.5 秒降至 1.8-2.6 秒，支持低成本 Cloud Run 部署。
HauhauCS 在 Hugging Face 发布 Qwen3.8-27B 的无对齐 Aggressive 变体 GGUF 量化，实测 0/465 次拒绝，直接作答且几乎无前导语。全系列保留原生 NextN 头并附带 FastMTP 32K 加速 sidecar，在 Q8_K_P 上文档 TG 最高达非 MTP 的 3.02x、推理 TG 1.93x，比标准内嵌 MTP 再快 35.2%/21.1%；提供 Q8_K_P 到 IQ2_M 多档量化与 BF16 视觉 projector，基于 Apache 2.0 许可，需 llama.cpp 补丁启用 FastMTP。
研究者提出 DPA-MoE，一个运行时精度控制框架，让 MoE 模型中被路由的专家支持任意精度。该方法用 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的分块，并在推理时依据实时 router gate 分数分配。在 Qwen3-30B-A3B 和 DeepSeekMoE-16B 上的实验显示，相同预算下 DPA-MoE 比均匀分块分配改善了 KL 散度和下游准确率，原型系统稳态吞吐开销适中。
一项 arXiv 研究发现，Block Influence（BI）深度剪枝的排序依赖校准分布：在 Qwen2.5-1.5B-Instruct、Llama-3.2-1B 和 Gemma-2-2B 上，印地语、马拉地语和泰米尔语的后期 block BI 比英语高 20.7-55.5%，仅用英语校准会系统性漏选这些层。用等量的英语、印地语和马拉地语数据平均校准可缓解困惑度损害，但效果并非在所有架构和剪枝预算下通用，需逐一验证。
HyCo 将服务器模型的 MTP 头部署到设备端执行，结合一次 SLM 前向作为备选分支，通过量化、受限词表和 1K-token 窗口适配移动 NPU。在 Galaxy S26 Ultra 上经 LTE/5G 测试，HyCo 在 Spec-Bench 上较服务端 MTP 自推测减少 38.6% 的服务器 GPU 时间，在 32K-token 摘要任务上减少 29.2%；相比仅用 SLM 草稿多节省 9.0 个百分点、提速 1.9x，且输出质量与 Cloud+MTP 基本持平。
新开源项目 Dream Lab 提供基于 FastAPI 的 Stable Diffusion 与 SDXL 推理服务器，支持模型与 LoRA 运行时热切换、YAML 定义多模型"mode"配置，以及 CUDA（GPU）和 RKNN（NPU，针对 RK3588/RK356x）双后端。项目源于在嵌入式 IoT 设备上跑 LCM/SD 的概念验证，还包含实时 VRAM 追踪、可扩展任务队列、超分辨率管线与 REST API，后续将向 RKNN 上游回移新特性。
PiratePai.github.io 仓库收录 10 篇大模型效率技术综述，覆盖推理效率栈五层：投机解码、注意力结构（MHA 到 MLA）、KV Cache、模型量化与推理服务优化，另含 MoE、并行策略、Agent 与强化学习等延伸主题。文章源文件在 posts/ 目录，均为自包含 HTML，支持暗色主题与移动端适配。
/u/brainchillzZ 在 Threadripper PRO 9955WX 加 4 张 R9700 上验证了 affinity 引擎此前被拒的 4 卡配置，DeepSeek-V4-Flash-0731 以 2.875 bpw 量化跑出 79 tok/s greedy、63 tok/s（temp 1.0），全部 11,008 个专家驻留显存，无退化输出。双卡仅 36 tok/s 且 82% 时间等待主机流式读取；作者指出原作者遇到的 bug 出在 4-on-2 模拟而非 4 rank 执行，并提示需加 --placement-strategy static。
推荐理由：作者在四张真实 R9700 上复现了此前只能双卡模拟的 affinity 配置，给出双卡与四卡的实测吞吐对比和绕过启动报错的具体参数。
scragnog 发布 HOT-Step CPP 桌面应用，基于 acestep.cpp 和 GGML 在本地硬件上生成音乐，无需云端、API key 或订阅，支持 ACE-Step 1.5、MiniMax-Music3 和 YuE2 三个模型在工具栏切换。实验性 Training Studio 可在应用内为三个模型训练风格适配器，无需 Python；对量化基座训练将 MiniMax-Music3 的显存下限从 31.4 GB 降到约 10 GB。支持 Windows/Linux/macOS 的 CUDA、Vulkan、ROCm、Metal 和 CPU 后端，便携版解压即用，含歌词工作台、伴奏分离、音频转 MIDI、Lua 插件等功能，项目采用 MIT 许可证，模型权重各有独立条款。
AtomicChat 将 NVIDIA Nemotron 3.5 Super VL 120B-A12B 的拒绝行为从权重中移除，发布 Atomic Dynamic GGUF 量化版本。JailbreakBench 拒绝率从 95.1% 降到 0%，俄语红队提示从 76% 降到 2%，MMLU 保持 85.05% 到 85.10% 基本不变；方法基于 Arditi et al. 2024 的单一方向拒绝机制，对写入残差流的 128 个矩阵做投影编辑，提供 AD-Q4_K_S、AD-IQ3_XXS、AD-Q2_0_L 三档量化，上游 llama.cpp 可直接运行。
推荐理由：原文给出拒绝率前后对比、MMLU 对照和量化误差数据，读者可以据此判断这次去对齐编辑的代价到底有多大。
Ternary 发布基于 Qwen 3.5 的 Bonsai 2 系列模型，提供 2B、4B 和 9B 三个规格。模型现已支持原版 llama.cpp 运行，并支持 dFlash、MTP 与 MLX 以提升 TPS，iOS 上可通过 LocallyAI 最新版测试。作者计划验证其是否延续以往 Bonsai 模型的循环行为，并与 Qwen 3.5 1.7B/0.8B 对比表现。
notfakerv/LFM2.5-24B-A2B-abliterated-MLX-4bit 是 abliterated 版 LFM2.5-24B-A2B 的 MLX 4-bit affine 量化转换，权重 13.49 GB，直接由 BF16 检查点转换而非 GGUF 重量化，需 MLX LM >= 0.32.0 与 MLX >= 0.32.2。该模型为 always-thinking 推理模型，建议 24 GB 统一内存起步；验证限于冒烟与数值检查，未做 Apple Silicon 运行时测试或速度基准。
DollasAndSpence 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，支持 ComfyUI 本地图像生成。该版本无内置安全检查器，可直接生成成人及 NSFW 内容；推荐 GGUF 使用 Q4_K_M（4.60 GB），MLX 格式针对 Apple Silicon 优化，文本编码器可卸载至系统内存以节省 9–17 GB VRAM。
Hugging Face 上线 mradermacher 制作的 Qwen3.5-2B-Uncensored-Abliterix-SOM-i1 GGUF 量化模型仓库。该模型参数规模约 961k，页面暂缺 YAML 元数据，下载量数据尚未显示。
/u/FeydRowan 发布 capy-flash，基于其 ninfer-tp2 引擎，可在两块 16GB 消费级 GPU 上以 NVFP4 运行 Qwen3.8-Flash-Next 125B-A6B（专家卸载到内存），也支持 Qwen3.8-27B，一个参数即可切换。在 2× RTX 5070 Ti 上生成约 100 tok/s（Strata 为 78），15k prompt 的 prefill 约 3.4k tok/s（Strata 为 2.7k）；质量对照数据中心 NVFP4 参考用 GSM8K、MMLU-Pro 和 agentic coding 任务检验。
推荐理由：作者给出与 Strata 在相同 NVFP4 权重下的生成和 prefill 速度对比，以及 TP=2 下 BF16 舍入误差的实测数据。
作者在 RTX Pro 6000 Blackwell 上对比 Ninfer6000、vLLM（NVFP4）与 llama.cpp（Q4_K_XL）运行 Qwen3.8-Flash-Next 的表现。Ninfer6000 平均 decode 238 tok/s，约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍，但 prefill 低于 vLLM（约 10k 对 16k tok/s）；BFCL v4、IFEval、MMLU-Pro、HumanEval+、MBPP+、Arena-Hard、RULER 等基准三者基本持平。
推荐理由：作者在 RTX Pro 6000 上实测三套引擎跑 Qwen3.8-Flash-Next 的吞吐与基准数据，并给出真实使用中工具调用异常的细节。
作者在双 AMD AI Pro R9700（Lenovo P620、Threadripper Pro 3945WX、128 GB DDR4）上对比了 Qwen3.8-Flash-Next 的三种推理方案：radiance 1.4.0、Strata 0.1.42 和 Unsloth 的 llama.cpp fork。radiance 生成速度最快达 147.2 tps，Strata 为 79.1 tps，llama.cpp 仅 17.6 tps；三者与 OpenRouter 上 Alibaba 托管的 Qwen3.8-Flash 输出一致性接近，作者认为可视为等效并按速度选择。
QUASAR 团队发布多款模型的 4-bit QAT 量化权重，包括 Qwen3.5-4B、Gemma 4 E4B 与 12B、Muse Glimmer 30B，提供 NVFP4（vLLM）和 Q4_0 GGUF（llama.cpp / Ollama / LM Studio）格式，代码与项目页已公开。方法为量化感知蒸馏，以原 BF16 模型为教师在其自身回复上修复量化损失；在 held-out 提示上的 KL 距离普遍低于 Google QAT、NVIDIA NVFP4 等参考版本。
推荐理由：原文给出与官方 4-bit 版本的 KL 距离和基准对比数据，读者可以据此判断这套 QAT 权重的实际损失有多大。
一位 Reddit 用户在 LTT 视频中看到，搭载 RTX Spark 的新笔记本本地运行 Qwen 3.8 27B Q4 量化模型时速度仅约 3.5 tok/s。他对本地跑编程模型的期待因此降温，认为还不值得为此花 6000 美元换机。
Meta 在 Hugging Face 发布开源权重模型 Muse Spark Open，采用 MoE 架构，总参数约 816B、每 token 激活约 42B，支持文本、图像、音频和视频输入，上下文窗口最高 1M token。模型针对 agentic coding 训练，可读代码库、写代码、调试并调用工具；官方给出 transformers、llama.cpp、vLLM、SGLang、MLX 部署配方，BF16 权重约 1.5 TB，NVFP4 版可跑在单节点 B200 上，并用 TRL 在 64 张 H100 上完成 LoRA 微调演示。
推荐理由：官方博客给出完整架构参数与多套部署配方，从 llama.cpp 量化到 TRL 微调实测数据都有，可按需选路径复现。
Reddit 用户 /u/WorldlyAd7946 实测 £299.99 的 Lenovo IdeaCentre Mini（Snapdragon X1-26-100，32GB，纯 CPU）运行本地大模型：Qwen3.6 35B A3B coder 在 llama.cpp 下写入 24.5 tok/s，开 MTP 后约 29-33 tok/s；Qwen3-Next 80B A3B 用 Janas 开 MTP 达 17-18 tok/s，而 llama.cpp 无法加载该模型。
推荐理由：作者把 Janas 移植到 ARM 并给出实测速度数据，读者可据此评估低价骁龙迷你机跑本地大模型的可行性。
微软正在继续开发 Windows ML，以支持 llama.cpp 和 gguf 模型格式。若微软能让用户无需自行搭建底层环境即可便捷运行 gguf 模型，将有助于本地 AI 在主流用户中的普及。
Hugging Face 上发布了一个可直接运行的 .basalt 格式包，为无审查版 Qwen3.8-Flash-Next 的 Q4_K_M 量化构建，基于 125B 级 MoE 模型（qwen4exp 架构），文件大小 114.06 GiB，内置 Qwen tokenizer 与聊天模板，支持 --vision 图像输入。运行需 NVIDIA Blackwell GPU（compute capability 12.0）与 CUDA 13；在单张 RTX 5090 上 512k 上下文解码约 220 tok/s、prefill 约 5,900 tok/s。该仓库目前为私有测试状态，采用 Qwen Community License 1.0。
Reddit 用户 BTA_Labs 实测 Nvidia Nemotron 3.5 Bolt 74B-A9B（原生 2-bit QAT，Mamba-2-Transformer 混合 LatentMoE，9B 激活）与 Liquid AI LFM2.5-24B-A2B（24B 总参数、2.45B 激活、131k 上下文），认为 Q4 以下量化必掉智的老规则在 QAT 和混合架构下需要重写。
推荐理由：作者实测了 Nvidia 2-bit QAT 74B 与 Liquid 24B-A2B 在 24GB 显存下的表现，给出了 PinchBench 具体分数对比。
Black Forest Labs 发布 FLUX.3 Image Klein，开放蒸馏版（16 步、无 CFG）和 base 版（50 步、CFG）两个权重，首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制，蒸馏版在 H100 上约 2 秒生成 1024×1024 图像，提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。
推荐理由：官方教程给出两个开放权重的显存占用和 H100 实测生成耗时，还拆解了架构细节，方便评估部署成本。
notfakerv 在 Hugging Face 发布 abliterated 版 LFM2.5-24B-A2B 的 GGUF 量化文件，含 Q4_K_M（14.53 GB）、Q8_0（25.49 GB）和实验性 NVFP4（14.02 GB）三种，均来自同一 BF16 编辑后 checkpoint，未做额外训练。该版本采用 AtomicChat 公开的 late-block 方向性编辑（blocks 14-39，强度 1.75），16 条拒答提示词上关键词拒答从 16 降至 1，但 IFEval 32 例中从 27 降至 25。沿用原 LFM Open License v1.0，含 1000 万美元年营收商业限制。
NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 24GB，一个面向本地日常智能体任务的开源权重视觉语言模型，采用原生 2-bit 量化（IQ2，量化感知训练）将 74B 总参数（9B 激活）压进 24GB 显存。架构为 Mamba-2 与 Transformer 混合加 LatentMoE，配 C-RADIO v4-H 视觉编码器，支持文本、图像和视频输入，上下文最长 256K tokens，可通过 vLLM 部署在 A100、H100-80GB 或 Blackwell 上，并支持经 DFlash 的 LiLiCorr 投机解码。许可证为 OpenMDW-1.1，可商用；GGUF 权重已上架 Hugging Face。
推荐理由：原文给出了参数结构、量化精度、显存占用和部署硬件等具体规格，读者可以据此评估本地跑智能体任务的可行性。
/u/isoos 与朋友发布了自托管模型的首轮往返翻译基准结果，涵盖 8 个语言对、12 条测试提示词，用嵌入向量距离打分并惩罚不一致与指令遵循错误，测试了 15 个模型的不同量化版本，结果见 selfhostedintelligence.com。观察包括：16GB VRAM 足以自动化翻译；推理模式对 Qwen 模型提升巨大；大型 MoE 模型最低量化档与上一档差距明显；abliteration（huihui quants）对大模型通用能力的影响远小于小型稠密模型。测试在 1-2 台 Strix Halo 上运行。
推荐理由：实测覆盖 15 个模型不同量化版本，并给出量化层级与 abliteration 影响的具体观察，可按硬件条件选型。
Hugging Face 上发布了一个 NInfer v3（.ninner）工件，将 orcarouter/Qwen3.8-27B-Uncensored-NVFP4 转换并加入 DFlash2 投机解码支持，草稿模型来自 z-lab/Qwen3.8-27B-DFlash2。该 Qwen3.8-27B 视觉语言模型可在单张 RTX 5090（32 GB）上运行，启动占用约 31.6 GB，实测约 164 tokens/s，DFlash2 草稿接受率约 26%，保留 abliterated 无审查行为，采用 Apache-2.0 许可证。
Reddit r/LocalLLaMA 用户实测发现，Strata 模型即使量化到 27B 3.8 UD Q4 仍感觉智能不足，难以编写基础 3D 游戏和 2D 平台游戏，且比 27B 需要更多 shots 和 compactions。Swift 1.5 27B 同样表现更差，DeepSeek Flash V4 在 Q2 量化下没有这种明显下降。结论：不赶时间建议用 27B Q4（慢 3x 到 5x）或常规 flash 模型，追求极速编码可选 Next flash strata。
/u/MarkoMarjamaa 用 Project Lönnrot 三本芬兰语书、Project Gutenberg 同源英语书和 wiki 语料，实测 Qwen3.8 Flash Next Unsloth 各量化档的 KLD 与 top-1% 差异。结果显示芬兰语受量化影响明显，Q8 时 KLD 已远超 0.02 的可察觉阈值；其自测的混合（chimera）模型把 Unsloth Q4 换成 Q8 级 n-gram，效果介于 Q4 与 Q5 之间，且 n-gram 从磁盘读取不占内存。原文链接：https://www.reddit.com/r/LocalLLaMA/comments/1x6kw7k/
dis-craft 在 GitHub 发布 LLM-observatory，一个本地优先的研究工作台，用于在边缘硬件上对量化语言模型做性能与可靠性分析，通过 FastAPI 后端对接本地 Ollama。功能包括模型注册表、CPU/RAM/GPU 遥测、支持多种负载配置的性能基准（报告 TTFT、p95 延迟、吞吐等）、内置质量评估器，以及可选接入 Promptfoo、LM Evaluation Harness、llama-bench 和 Nsight Systems，结果存入本地 SQLite 并可导出 JSON。项目为研究原型，未在所有 Windows/Ollama/NVIDIA 配置上验证，文档详细说明了各指标的测量边界，强调设备级 GPU 读数不能自动归因于模型本身。
推荐理由：这个本地工作台把量化模型的性能与质量对比流程标准化，并明确写出每项指标的测量边界，适合需要可复现边缘端实验的人。
NVIDIA 的 Nemotron Bolt 3.5 74B A9B 可能于今日发布，另有一个 E4B 4GB 版本定于 10 月 23 日推出。目前似乎只放出 2-bit QAT 版本，但将以完全开源方式发布。
HALO117MC 发布 Qwen3.5-9B-Abliterated-V2 的 Q8_0 与 BF16 GGUF 官方量化版，面向消费级 GPU 本地推理，支持 Ollama v0.40.4 与 llama.cpp v0.6.0。在 RTX 5080 Laptop GPU 上测试，原版与 Abliterated V2 的 GSM8K 精度均为 90%（9/10），后者平均每任务耗时 58.62 秒；Xiaomi MiMo-V2.6-Distill 同样 90% 精度但平均仅 7.46 秒，速度快 7.4 倍，源于其思维链更精简。
mradermacher 在 Hugging Face 上提供 MiniCPM-V-4.7-35B-A3B-abliterated 的 i1-GGUF 量化版本，提供 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan 等工具运行，支持启动 OpenAI 兼容本地服务器或在终端直接推理，也可配置到 Pi、Hermes、OpenClaw 等 Agent 工具中使用。
mradermacher 在 Hugging Face 上提供 MiniCPM-V-4.7-35B-A3B-abliterated 的 GGUF 量化版本，默认示例为 Q4_K_M。该模型可通过 llama.cpp 直接运行，支持本地 OpenAI 兼容服务器与终端推理，也可在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等工具中使用。
Anvil-Q 是基于 Vulcan 0.8 开发的量化因果 LLM 推理加速器系列，将 HuggingFace AWQ 混合精度模型规格转化为可综合 SystemVerilog RTL、自检验证套件和可复现交付包。
mradermacher 在 Hugging Face 发布 Qwen3.5-4B-MultiDistill-3xMerge-UNCENSORED-heretic 的 GGUF 静态量化版本，提供从 Q2_K（2.0GB）到 f16（8.5GB）的多档量化文件，其中 Q4_K_S/Q4_K_M 标注为快速推荐档，Q8_0 为最佳质量档，并附带 mmproj 多模态补充文件。weighted/imatrix 量化暂未提供，用户可通过 Community Discussion 提出请求。
Hugging Face 上架了 mradermacher 制作的 Qwen3.5-4B-MultiDistill-3xMerge-UNCENSORED-heretic-i1 GGUF 量化模型。该模型基于 Qwen3.5-4B 的多蒸馏三路合并无审查版本，页面暂未提供完整模型卡信息。
Hugging Face 上线 mradermacher 制作的 Qwen3.5-2B-Uncensored-Abliterix-SOM-GGUF 静态量化模型。该模型下载量未被追踪，目前也没有任何 Inference Provider 部署，用户可申请提供商支持。