新闻、仓库与研究，按时间排列。
tatekuperus 在 Hugging Face 发布基于 Qwen/Qwen3.6-27B 的多阶段微调与合并模型 Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic GGUF 量化版，作者称其为首个在 8bit 和 4bit 下 ARC-C 超过 700 的该规模微调。去审查由 trohrbaugh 用 Heretic v1.2.0+custom 的 Arbitrary-Rank Ablation 方法完成，拒绝率从原版 99/100 降至 4/100，KL 散度 0.0469；作者给出的基准显示该模型在 7 项基准中 6 项超过 Qwen3.6-27B 基座。
推荐理由：作者给出 Heretic 消融方法与去审查前后拒绝率对比，并附多组基准和第三方实测数据，可核对去对齐是否损伤模型能力。
Reddit 用户 /u/Sanbi_Ai 复盘 Kimi K3 发布三个月后的实际使用状况：全模型 1.56 TB，Unsloth 推荐的最小量化为 594 GB，需约 610 GB RAM+VRAM，装不进 512 GB；1-bit 量化与全模型下一 token 一致率 79%，2-bit 达 90% 但需 861 GB。其在 Artificial Analysis 指数已从 57 降至 44，GLM-5.3（753B）得 45，Step 5 Preview（600B）以 44 追平；自家 API 仅 43 tok/s，AA agentic 基准平均每任务近一小时、超 $10。许可证非 MIT，公司若 12 个月内总收入超 $20M 需与 Moonshot 另行签约。
推荐理由：作者用 Unsloth 量化文档和 AA 数据逐项核算了 Kimi K3 的本地运行门槛、API 速度和许可证限制，信息可直接用于部署决策。
Reddit 用户在 12GB VRAM + 32GB RAM + NVME 上以 IQ3_S 量化跑通 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated，在 131k 上下文（44k thinking budget）下达到 40-50 tok/sec 解码和 1300-1500 tok/sec prefill。所用 Strata 自定义 fork 含大量实验性架构改动，作者称部分体验接近本地版 Opus。
一位 Reddit r/LocalLLaMA 用户在 128GB 内存的 Jetson AGX Thor 上成功加载并运行约 566GB（FP8）的 MiMo-2.6-Pro，速度仅 0.646 tokens/sec，模型需在推理过程中从磁盘读取。作者逐层追踪了 decoder layer、routed expert 和 SSD 读取过程，并计划进一步优化速度。
FrosT-LyRo 在 Hugging Face 发布 Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking 的 imatrix 加权 i1-GGUF 量化版本，提供从 i1-IQ1_S（8.8 GB）到 i1-Q6_K（32.2 GB）的多档量化文件，其中 Q4_K_S 被标注为大小、速度与质量的最优平衡，Q4_K_M 为推荐选项。该模型为视觉模型，mmproj 文件放在单独的 static 仓库中，静态量化版本另行提供。
NVIDIA 在 Hugging Face 发布 4B 参数的循环（latent-recurrent）模型 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16，采用 normalized-GPT 架构，通过重复应用共享 Recurrent 块（8 层输入、20 层循环、8 层输出）让每个 token 获得更多计算。单一 checkpoint 可设 1-4 个循环，无需重训即可权衡算力与精度，官方推荐默认 2 循环，并支持 last-loop KV caching 使 KV cache 开销保持在一循环大小。
推荐理由：同一个 checkpoint 可调循环次数换精度，作者还给出各 loop 数的实测对比与 KV cache 省显存方案，适合关注小模型推理成本的人。
r/LocalLLaMA 网友讨论：为托管更大模型，是把现有 2x3090 平台升级到 4x3090（或搭配 threadripper），还是购买 DGX Spark。对比维度包括分布式 VRAM 与统一内存、高低内存带宽、1200-1400W 与 <200W 功耗、Ampere 与 Blackwell 架构差异。
一位数据工程师用两个真实 ETL 任务（重构 run.sh、编写 orchestrator.py）实测 Nemotron 3.5 Bolt，并以 Qwen Flash Next（UD-IQ4_XS、llama.cpp）的已完成结果作对照，由 Gemini 评审。结果两者各胜一局：Nemotron 在脚本重构上胜出，Qwen 在 orchestrator.py 上胜出。作者认为 Nemotron 3.5 Bolt 足以胜任其工作负载，在其服务器上平均速度约 130t/s，且 2-bit 量化下表现令人印象深刻。
Wei Wang 在 arXiv 发布 FUTRANSFORMER，一个面向 NVIDIA Hopper GPU 的 Llama 风格 Transformer 推理 CUDA 实现，prefill 用 FP8、decode 用 INT4 权重和 INT4 KV-cache，并采用块对角 Hadamard 变换降低缓存量化误差。
推荐理由：论文给出 Llama 推理在 H100 上 FP8 prefill 与 INT4 decode 的具体实现和量化精度代价，数字可核对、方法可参考。
一位 LocalLLaMA 用户实测 Qwen 27B 模型，将 Unsloth IQ4_XS（96K 上下文、KV-F16）换成 UDQ4KS（75K 上下文、KV-Q8）后，模型质量提升使草稿错误减少，同一 Pac-Man HTML 游戏生成测试从 8 小时缩短到 6 小时以内。结论是 GPU 显存不足时，牺牲上下文换取更高量化精度反而更省时间。
edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local，将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点，变更投影重建后取整为 BF16 并编码为 MXFP8，NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。
推荐理由：原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录，读者可以据此判断该检查点的实际可用状态。
一位用户在 4x RTX3090 上运行 Qwen3.6 35b a3b（Q6）时发现，关闭 MTP 后解码速度从 70t/s 提升到 82t/s。原因是 MTP 的 draft-and-verify 需要在四块 GPU 间额外同步，层切分下 PCIe 通信开销超过其收益。
Reddit 用户用 SFT + LoRA 微调 vLLM-SR 的 d3-edge（0.6B），仅用几千条训练样本，在 typed decisions 上超越了 27B 的 d3，并在 Banking77 上接近其表现。作者认为应微调小型专用决策模型，而非在所有任务上使用大型通用模型。
BitRun 发布 v0.2.0-beta，新增 BitRun Cockpit 分屏界面，左侧流式输出 token，右侧实时显示 CPU 功耗、每 token 焦耳、P/E-core 负载与首 token 延迟。模型侧脱离 Microsoft 冻结子模块、基于新版 llama.cpp 重构，解决 GGUF Type 42 冲突，使 PrismML 的 8B 三值模型 bonsai-8b 可在约 2 GB 内存中纯 CPU 运行。
推荐理由：作者给出了多款 CPU 上的实测功耗与生成速度数据，1-bit 模型在纯 CPU 上的瓦数表现可直接对照自己的硬件参考。
一位用户询问 Ninfer 能否在 V100 16GB + 4070 12GB 的组合上运行：其 llama.cpp 可达 50 tps，长上下文编码时约 35 tps，strata 配合 iq3_xxs flash next 可持续 40 tps，表现优于 q4 27b；但受 32GB 内存限制，存在 prefill 缓慢和偶发卡死问题。
TTPPCC121 等多人协作发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本，8bit ARC-C 735、ARC-E 882，4bit ARC-C 719，均高于原版 Qwen3.8-27B（8bit ARC-C 0.591）。模型用 Heretic v1.2.0+ARA 方法去对齐，Stage 1 拒绝率从 99/100 降到 0/100，KL 散度 0.0535；思考 token 减至原版的 1/2 到 1/10。提供常规与 MTP 两种 GGUF，Q4_K_S 下常规约 75 t/s、MTP 可超 90 t/s（5090、LMStudio 实测），支持 256k 上下文与视觉（需另下 mmproj 文件）。
同一新闻，精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版，ARC-C 达 735》
Reflection 新实验室的首个模型 Beam 在 Hugging Face 开源，为 501B 参数 MoE（每 token 激活 23B），支持 1M token 上下文，采用 Apache 2.0 许可，主打编码与智能体场景。提供 BF16、FP8、NVFP4 三种检查点，transformers、vLLM、SGLang 均已 day-0 支持，并附 LoRA SFT 与 Miles GRPO 训练配方；Hub 上分享用 Beam 构建的项目可竞争 10,000 美元额度。
推荐理由：官方博客给出架构细节、三档精度的实测跑分和从推理到 SFT、RL 的完整部署与训练配方，便于评估上手成本。
Reflection 首个开放权重模型 Beam 于10月16日发布，Ollama 作为 day-zero 合作伙伴限时免费提供，Beam 端点全程零数据保留（ZDR）。Beam 是 MoE 模型，总参数约501B、每 token 激活23B，上下文窗口100万 token，采用 Apache 2.0 许可，面向软件工程、推理和长程 Agent 任务，可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。
推荐理由：官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表，读者可直接比较 Beam 在各编码基准上的位置。
一位本地 AI 新手目前用 2 张 5090 跑 strata 和 flash next Q5_K_XL，速度约 150 tok/s、prefill 约 4k。他考虑卖掉一张 5090、换回游戏 PC，并用所得价格买 4 张 R9700，使显存翻倍。发帖询问此举对可运行模型和推理速度的影响，担心未来部分模型支持不佳或速度大幅下降。
Hugging Face 上架 webmp3/Sakura-FLUX.3-Image-Klein-PromptUpsampler-Uncensored-GGUF 模型，提供 Q4_K_M 量化版本。页面给出 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种本地部署方式，并支持通过 OpenAI 兼容 API 调用。
Hugging Face 上架模型仓库 yinpeach/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-NVFP4-NINFER，其 README.md 目前为空。该模型未被任何 Inference Provider 部署，下载量也未纳入统计，用户可申请提供推理支持。
donghanasd 在 Hugging Face 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的韩语校准混合精度 GGUF，约 12.60 GB、3.69 bits per parameter，从上游 BF16 GGUF 直接量化。量化使用 708 个 512 token 块收集的 importance matrix，张量精度分配沿用 Qwen3.8-27B-Ridge-GGUF，保留 tokenizer、chat template 和 MTP tensors，未做韩语额外训练也未验证韩语质量提升。
GitHub 上的 ollama-dl 工具可从 Ollama 库直接下载模型，无需安装 Ollama。安装 uv 后运行 `uv run -m ollama_dl llama3.2` 即可自动装依赖并下载 Meta Llama 3.2 默认最新版本，也可指定 llama3.2:1b 等具体版本。下载的 GGUF 文件可直接在 llama.cpp 中运行推理。
Reddit 用户实测 Agantai 的 GYRO 系列量化 GYRO-M，称其在 KLD、top 1 和体积上同时优于 ISTA-lab 的量化。3 天测试中未出现循环问题，最长自主运行 2-3 小时，速度与 ISTA 2 bit 量化相当，整体接近 ISTA q3 水平但体积更小，仅在西里尔文本编辑上偶有出错。
Orca 发布 27B 视觉语言推理模型 OrcaCyber Nano 1.0，主打防御安全场景，以 GGUF 格式开源，可在本地硬件离线运行，支持逆向工程、漏洞分析、安全代码审查、事件分诊与视觉输入。模型上下文长度 262,144 tokens，内置 MTP 投机解码并支持 DFlash2 draft 文件，主权重 15.70 GB，另有适配 16 GB 显卡的 12.99 GB 版本；基准成绩包括 MATH-500 98.60%、AIME 2025 96.23%、SWE-bench 78.4%，可直接在 llama.cpp 中加载。
JackKnifeAI 上架 Gemma-4-E4B-abliterated-GGUF，内容为 huihui-ai 对 Google Gemma 4 E4B-it 做 abliteration 处理后的模型，由 mradermacher 量化为 Q4_K_M，原样复制自 mradermacher/Huihui-gemma-4-E4B-it-abliterated-GGUF。许可证为 Apache-2.0，每个文件均附大小与 SHA-256 校验。
keboqi 在 GitHub 发布 minimax-h3，为 MiniMax H3 视频生成提供独立 Gradio 界面与部署工具包，面向 NVIDIA Blackwell GPU，自动配置 ComfyUI、H3 模型、SLA、Sol-Attn、SageAttention 2 等组件。本地、Modal 和 Google Colab 三种部署路径共用同一 UI，还集成 Qwen Image 2.1、LTX 2.5、MiniMax Music 3 和 YuE2 标签页，作业历史用 SQLite 持久化，通过 bash run_h3.sh 启动。
huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版本，通过 abliteration 技术移除模型拒绝回答的行为，仅消融部分层（如 22 至 52 层），MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化格式，可通过最新版 ollama（huihui_ai/Qwen3.8-abliterated）或 llama.cpp 运行，支持 -c 262144 上下文。模型安全过滤大幅降低，建议用于研究测试而非生产环境。
huihui-ai 基于 abliteration 技术发布 Qwen/Qwen3.8-Flash-Next 的去审查 GGUF 版本，移除模型拒绝回答行为，无需 TransformerLens。新增 Unsloth 系列与 Swift 系列 GGUF，均支持最新版 Strata 和 llama.cpp，可用 llama-cli 加载 UD-Q4_K_XL 量化文件并将上下文设为 262144。该模型安全过滤大幅降低，可能生成敏感或不当内容，建议仅用于研究、测试或受控环境。
webmp3 在 Hugging Face 上提供 Sakura-FLUX.3-Image-Klein-TextEncoder-Uncensored-GGUF 模型，默认量化版本为 Q4_K_M。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行，也支持 Docker、Ollama、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等多种本地部署方式。
一位开发者为验证自研项目搭建小型本地 AI 服务器，考虑在 Alibaba 购买改装为 22GB VRAM 的 RTX 2080 Ti 来运行 Qwen 9B（量化版）。卖家测试显示 nvidia-smi 识别 22,528 MiB 显存，gpu_burn 满载约 200–245W、69–74°C。发帖人关注 22GB 改装的长期可靠性、CUDA/llama.cpp/Ollama/vLLM 兼容性，以及与 24GB RTX 3090 相比是否值得。
Hugging Face 发布 uncensored 模型 dolor4dollar/supergemma4-26b-uncensored-gguf-v2 的 GGUF 版本，提供 Q4_K_M 量化。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等工具本地运行，支持启动 OpenAI 兼容 API 服务器或在终端直接推理，并可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。
candor-lab 用自研权重编辑工具 Candor 移除 Qwen3.5-9B 的拒绝行为，以 rank-1 编辑每层 attention 与 MLP 输出矩阵，发布单个 Q4_K_M GGUF 文件（5.78 GB）。实测 288 条 StrongREJECT 有害提示拒绝数从 279 降到 0，无害提示拒绝 5 降到 2，GSM8K 正确数与原模型差异在噪声内；与 heretic 最佳试验相比，有害提示中位思考 token 为 996 对 1648，数学超预算次数也更少。基于 Qwen/Qwen3.5-9B 原始 16 位权重，不含视觉编码器，Apache 2.0 协议，仅用 llama.cpp b11524 在思考开启下实测，LM Studio 和 Ollama 等未验证。
推荐理由：原文给出与原模型和 heretic 对照的拒绝率、KL 散度和 GSM8K 数据，可据此判断这次权重编辑的代价与效果。
Redshir4t 将 huihui-ai/Huihui-Qwen3-4B-Instruct-2507-abliterated 转换为 Q4_K_M 量化的 GGUF 格式并上传至 Hugging Face。该模型可通过 llama.cpp 的 llama-cli 或 llama-server 直接加载运行，支持通过 brew 安装，并可用 LLAMA_CUDA=1 等编译选项适配 Nvidia GPU。
huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查 GGUF 版本，通过 abliteration 技术移除模型拒答行为，仅对部分层（如 22 至 52 层）做消融，MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化格式，支持最新版 ollama（huihui_ai/Qwen3.8-abliterated）和 llama.cpp（-c 262144），适合研究测试用途。
Hugging Face 上架 abliterated 模型 NateVoid/Huihui-Qwen3.8-27B-abliterated-Underdog-Saluki-Swift-1.5-IQ2-Ninfer。该模型页 README 为空，暂无下载统计，也未部署到任何 Inference Provider。
一项 arXiv 研究提出“变体碎片化”问题，指出混合纳瓦特语（Nawatl）多种变体的语料会生成不属于任何语言社区的人为语域。研究基于 70,000 双语对多变体基础，用 2,665 平行对和 192 句长者转写句子，将 mT5-large 特化为 Santa Ana Tlacotenco 的 Masewalkopa（nhn）变体，所得 LoRA-v9c-b 模型取得 58.46 dev chrF++；有限状态分析器将未分析表层形式从 82.0% 降至 19.9%，CTranslate2 int8 量化把 CPU 延迟从 137.5 秒降至 1.8-2.6 秒，支持低成本 Cloud Run 部署。
HauhauCS 在 Hugging Face 发布 Qwen3.8-27B 的无对齐 Aggressive 变体 GGUF 量化，实测 0/465 次拒绝，直接作答且几乎无前导语。全系列保留原生 NextN 头并附带 FastMTP 32K 加速 sidecar，在 Q8_K_P 上文档 TG 最高达非 MTP 的 3.02x、推理 TG 1.93x，比标准内嵌 MTP 再快 35.2%/21.1%；提供 Q8_K_P 到 IQ2_M 多档量化与 BF16 视觉 projector，基于 Apache 2.0 许可，需 llama.cpp 补丁启用 FastMTP。
研究者提出 DPA-MoE，一个运行时精度控制框架，让 MoE 模型中被路由的专家支持任意精度。该方法用 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的分块，并在推理时依据实时 router gate 分数分配。在 Qwen3-30B-A3B 和 DeepSeekMoE-16B 上的实验显示，相同预算下 DPA-MoE 比均匀分块分配改善了 KL 散度和下游准确率，原型系统稳态吞吐开销适中。
一项 arXiv 研究发现，Block Influence（BI）深度剪枝的排序依赖校准分布：在 Qwen2.5-1.5B-Instruct、Llama-3.2-1B 和 Gemma-2-2B 上，印地语、马拉地语和泰米尔语的后期 block BI 比英语高 20.7-55.5%，仅用英语校准会系统性漏选这些层。用等量的英语、印地语和马拉地语数据平均校准可缓解困惑度损害，但效果并非在所有架构和剪枝预算下通用，需逐一验证。