新闻、仓库与研究，按时间排列。
overhand 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored，并附上性能基准数据。原生 MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second，高于 NVFP4 target 的 796.13、EXL3 3.5 的 480.84 和 EXL3 2.875 的 452.16；单并发时 MXFP4 首 token 延迟 p50 为 0.34266 秒。
mradermacher 在 Hugging Face 上提供 Sage-A1.5-Heretic-Abliterated-Uncensored-GGUF 量化模型，可按 Q4_K_S 等量化版本下载。页面给出 llama.cpp 本地运行（含 OpenAI 兼容服务器）、Ollama、Docker、LM Studio、Jan 等多种部署方式的具体命令。
dima6312 在 Hugging Face 发布了 RecursiveSI Flint 40B-A2.5B 的 abliterated 版本 NVFP4 GGUF，移除拒绝方向，面向安全研究与编码工作，需 llama.cpp b11827 及以上在 NVIDIA Blackwell GPU 上运行，权重文件 22.9 GB。对照测试显示 MITRE 拒绝率从 22% 降至 0%，Meta CyberSecEval 拒绝检查从 18/100 降至 1/100，GSM8K 与 HumanEval+ 无显著下降，pp512 与 tg128 速度差异在 3% 以内；模型基于 Apache 2.0 许可衍生自 RecursiveSI 权重，去对齐只降低拒绝、不增加知识。
同一新闻，精选展示《dima6312 发布 Flint 40B-A2.5B 的 abliterated 无对齐 GGUF 版》
Hugging Face 上线 Qwen3.8-Flash-Next-Uncensored 的 Q4_K_XL-Gufo 重量化版本，共 3 个分片约 103.5 GiB，升级 716 个张量 dtype 并修复 export bug，使 gufo 引擎可在 AMD Strix Halo（gfx1151）上加载，支持 262 144 原生上下文。无新微调，权重与原 Q4_K_S 相同；许可证按上游 Qwen Community License 1.0 分发，而非元数据标注的 apache-2.0。
论文提出 PN-Mix，一种面向 RoPE decoder-only LLM 的混合精度 key cache 量化方法，通过 RoPE 通道对的 query-key pair-norm 乘积识别显著通道对，在 prefill 阶段分配一次高精度并在解码全程复用。2.26-bit 平均精度下，PN-Mix 在推理、代码生成和 AIME 基准上达到与 2.32–2.39 bit 先前方法相当或更好的准确率，且可平滑降至 1.5 bit。
Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，基于原版上游权重转换，提供 GGUF、Safetensors 和 MLX 格式，涵盖 BF16 14.23 GB 到 MLX 4-bit 4.00 GB 等多个量化档位，推荐 GGUF 用户使用 Q4_K_M（4.60 GB）。该版本内置无安全检查器，可直接生成 NSFW 等敏感图像，配套 qwen3vl_8b 文本编码器和 VAE 文件，可通过 ComfyUI 与 leejet/ComfyUI-GGUF 分支完成本地部署，文本编码器可卸载至系统内存以节省 9–17 GB VRAM。
论文提出 PACE，一种后置（post-hoc）4-bit 循环状态量化方法：它每隔若干 token 才做一次舍入并缓存中间 token，并按列共享量化 scale、对误差最大的 head 保留 8-bit。在 4B 到 35B 的四个混合模型上，混合 4/8-bit 的 PACE 以约三分之二的内存达到与 8-bit DAMP 相当的表现，全 4-bit 版本在同等内存下得分高于 Q-Mamba，并保持解码加速。
m672 发布 gemma-4-31B-it-uncensored-heretic 的 FP8 块量化版本，模型体积约 31.5 GB，较 BF16 的约 62 GB 减半。与 RedHatAI/gemma-4-31B-it-FP8-block 对比，GSM8k-Platinum 97.68%、MMLU-CoT 89.97%、MMLU-Pro 84.52%，性能差距在 -0.14 至 -0.73 之间。量化采用 llmcompressor 的 FP8_BLOCK 方案，输出 compressed-tensors 格式，可原生用于 vLLM，聊天模板默认 enable_thinking 为 true。
开源 Web 应用 Ollama Model Checker 可检测 GPU VRAM、RAM 和 CPU 状态，输入任意 HuggingFace 模型 ID 即可分析兼容性并推荐合适的量化级别（Q2_K 至 Q8_0），还能计算支持 GQA 的 KV cache 需求、调整上下文长度。仅 GGUF 格式模型可一键部署到 Ollama，safetensors 仓库只显示大小与内存估算。应用支持 Docker 部署，要求 Python 3.8+ 和 Ollama 0.5.5 或更新版本，采用 MIT 许可证。
一位 Reddit 用户在 r/SillyTavernAI 求助：其在 RTX 3060 笔记本（6GB VRAM）上本地运行 gemma-4-E4B-it-ultra-uncensored-heretic-Q8_0，设置 16384 上下文与 KV cache q4，但部分角色叙事质量差、场景描述含糊。他询问该模型是否仍是好选择、有无更好方案，并希望获得配置改进建议。
Reddit 用户在 3950x + 96GB DDR4 + RX 7900xtx 与 W6800（共 56GB 显存）上实测 DeepSeek V4.1-1017，使用约 350GB 的 iq2 量化权重加 Q6 ngrams。峰值 19t/s、平均解码 9t/s、prefill 约 150t/s，性能因 I/O 波动明显。作者认为其智能程度超过 iq4-xs 量化的 Qwen3.8-Flash-Next，但思考过多，仅适合聊天用途。
dealignai 以 CRACK 方法在权重层面直接移除 GLM-5.3-Flash 的拒绝行为，发布 FP8 量化版（320B 总参数、每 token 激活 18B），HarmBench-320 全部 320 项 0 拒绝，MMLU 87.33% 高于基线 86.74%。该版本在 reasoning-off 和 max 档完全无对齐，low 档保留部分拒绝；H200 上原生 FP8 解码 163 tok/s，MTP 投机解码 211 tok/s。作者还给出 vLLM/SGLang 部署注意事项：reasoning_effort 只接受 low 和 high，max 档需 max_tokens ≥ 6000，视频 fps 须低于片段帧率否则引擎崩溃，并提醒重新下载 2026-08-28 修复后的文件。
同一新闻，精选展示《GLM-5.3-Flash UNCENSORED FP8 发布，权重级去对齐且 MMLU 反超基座》
论文提出 SQuAT，一种面向十亿参数 LLM 的形状-增益向量量化感知训练（VQ-QAT）方法，用分离的 STE 对方向和增益分别更新，方向通过 E8 球面码本量化。其分布式最近邻分配方案将 VQ-QAT 训练时间缩短 12.8 倍，并扩展到 10B token。在 instruction-tuned LLaMA-3.2-1B/3B、Qwen3-4B 和 base Qwen3-1.7B 上，SQuAT 在相同码本和初始化下始终优于标准 VQ-QAT STE，达到 SOTA VQ-QAT 精度。
Stephen Chung 在 arXiv 发布论文，研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上，4-bit 表节省约 75% 表内存，同时保留加表带来的验证损失改善的 99% 以上；对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存，困惑度增加低于 1.2%。更低位宽性能下降更大，但短时微调可恢复大部分损失，将省出的内存换成更大表还能超越原全精度表的性能。
推荐理由：论文系统比较了不同量化和位宽分配方案，给出从零训练与现有大模型两组数据，可帮助读者评估低比特 n-gram 表的实际收益。
dima6312 在 Hugging Face 发布 RecursiveSI 的 Flint 40B-A2.5B 去除拒绝方向的 abliterated 版本，提供 BF16 safetensors 与 GGUF 权重。
推荐理由：原文给出消融方法与配对评测数据，MITRE 拒绝率从 0.15 降到 0.0 且各基准质量未显著下降，可据此判断去对齐代价。
dealignai 在 Hugging Face 发布 GLM-5.3-UNCENSORED-FP8 v2，对 GLM-5.3-FP8 做全谱系权重级去对齐，仅修改 bf16 residual writer 张量，不改 FP8 专家路由，无需微调、LoRA 或运行时钩子。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题，HarmBench-320 上 GARBAGE 从 7 降为 0，非版权危害面 TRUE_COMPLY 达 91.7%（off），代价是整体 TRUE_COMPLY 下降约 4pp；MMLU 87.43%，较基线 +1.85pp。
npario 在 Hugging Face 发布 gemma-4-31B-it-qat-uncensored-heretic-UDmerge-GGUF，将 llmfan46 的 abliterated 张量合并到 Unsloth 无损 Q4_0 量化中，称可获得比朴素消融量化更好的准确率和拒绝率。提供两个变体，UDmerge-Q4_K_XL 将 attn_output.weight（blk.10 至 blk.35）量化为 Q4_0，UDmerge-Q4_K_XXL 量化为 Q8_0，后者拒绝率 20%，与 QAT BF16 持平，且基本不影响 TG 速度；实测 QAT Q4_0 拒绝率为 32%。
推荐理由：作者用统一的 PPL、KLD、拒绝率和 MMLU 数据对比了合并版与朴素消融量化的差异，Q8_0 变体把拒绝率压回 20%。
一项 arXiv 预印本研究发现，扩散语言模型（DLM）的量化敏感性随任务和去噪时间步而变化，且这种模式无需真实标签或任务专属评测指标即可预测。作者据此提出 T²Quant，一种任务与时间感知的混合精度量化框架，在固定位宽预算下用无标签敏感性信号优化各去噪步骤的激活精度。在 3 个 DLM 和 6 个 benchmark 上的实验显示，同预算下平均准确率最高提升 6.7 个百分点。
Hugging Face 上发布 Sage-A1.5 Heretic Abliterated 的 EXL3 4.0bpw 量化版本，由 exllamav3 1.6.4 的 convert.py 生成，decoder 约 4.05 bpw、lm_head 6 bit、MTP 4 bpw，视觉塔保持 bf16 未量化。目录约 19GB 含三个 safetensors shard，MTP 权重与预处理器配置从父模型 InternScience/Sage-A1.5 补齐，需 exllamav3 1.6.4 加载，可用 -mode qwen35 并开启 MTP draft。
作者 /u/textclf 发布了用于微调开源模型的 Training Factory 平台，主打对 4-bit 量化模型做 QLoRA 而非全精度微调以降低 GPU 成本。所用 CQ（Coded Quantization）为免校准量化，作者在 Qwen 3.8 27B 上用 Wikitext-2 对比称其 KLD 优于 unsloth-bnb-4bit（磁盘占用 18GB 对 22.4GB，Top 1% 一致率 92.419% 对 91.954%）；在 Alpaca 数据集上用单张 A40（48GB）跑通训练，峰值 PyTorch 分配显存 25.5 GiB、稳态中位每步约 14.99 秒。
Reddit 用户用修改版 BenchKit 对比 Qwen3.8-Flash-Next-W4A16-FP8PLE（129 GB）与 DeepSeek-V4.1-Flash-1017 2.6 bit 量化版（187 GB + 203 GB Engram），Qwen 以 25/25 满分胜过 DeepSeek 的 23/25。HumanEval 第 22 题上 Qwen 18.8 秒答对，DeepSeek 思考 127.9 秒后陷入循环被终止；第 24 题 DeepSeek 等待 297.7 秒未答出，Qwen 34.5 秒给出正确答案。作者表示将继续使用 Qwen。
Reddit 用户 /u/Queasy_Asparagus69 将 Swift-1.5 微调版 Qwen3.8-27B 量化为 hipfire 的 MQ4 格式并附带 MTP 头用于投机解码，目标是让 AMD 用户获得比 llama.cpp 更快的速度。在 RX 7900 XT 20GB、ROCm 7.1 环境下，Prefill 快约 1.4–1.85 倍，16K 上下文约 1100 tok/s（llama.cpp 约 700）；带 MTP 的真实 prompt 解码 36.5 tok/s（τ≈1.94），16–49K 上下文为 52–59 tok/s。六个约 10–20K token 的真实 Rust 编码任务全套耗时 237 秒，对 llama.cpp 的 530 秒，端到端快 2.24 倍。
推荐理由：作者在同一块 7900 XT 上用真实 Rust 任务给出与 llama.cpp 的逐项速度对比，数据足够具体可复现。
Reddit r/LocalLLaMA 用户发布 Swift 1.5 Qwen 3.8 flash next 的 heretic 去审查版量化模型（mean KLD 0.06，median 0.02），按 per-tensor 量化为 Unsloth Dynamic IQ4_XS 格式，使用面向智能体场景（英文、工具调用、数学、代码、推理）的自定义 imatrix。该版本已 strata ready，附带包含 mtp head 和视觉组件等所需文件的 zip 包，质量高于 ISTA 版。
基于 huihui-ai 的 abliterated Qwen3.6-35B-A3B 模型、面向 Jetson AGX Orin 64GB 的 Orinfer E8P Q4A8 量化版在 Hugging Face 发布，权重共 35,951,822,704 参数、约 4.209 bits/权重，上下文 262,144 tokens，需 Orinfer v0.2.1 运行。验证显示单次请求 65.83 tokens/s，10/11 自动评分任务通过，权重采用 Apache-2.0 许可。
KRAFTON 从零训练的 Raon-1 mini preview 发布，为 30B-A4B（28.8B 总参数、每 token 激活 4.3B）MoE 模型，采用 Raon Delta Attention 与 Raon-mHC 的混合注意力架构，原生支持 262,144 token 上下文，以 Apache 2.0 许可开源。主打韩语对话与 Agent 任务，支持 Hermes Agent、Pi 和 OpenCode 工具调用；官方基准显示其在 IFBench、Chatbot Korean 等项目领先对比 MoE 模型。
推荐理由：模型卡给出了与其他 MoE 和稠密模型的基准对比、架构细节和完整本地部署方案，可据此评估其真实定位。
bearzi 发布 mrfakename 制作的去审查版 DeepSeek-V4.1-Flash-1017-abliterated 的 MLX 量化模型，采用 oQ4e 级别量化，总权重 402.4 GiB，通过方向性消融移除拒答行为。在 512 GB 统一内存的 M3 Ultra 上测试：4k 上下文贪心解码 36.5 tok/s，4096 token 预填充 419 tok/s，Engram 表可留在 SSD 以节省内存。与原模型逐张量比对仅 124 个去审查编辑张量有差异。
drakarah 开源 faster-llm-poc 仓库，系统记录 Edge-LLM 引擎在 Gemma 4 与 Qwen3.5-4B 上的一系列推理优化实验及实测数据。
GitHub 仓库 thackerhelik/finetuningcourse 提供端到端的三阶段 LLM 后训练流程（Domain Adaptation → SFT → DPO），将 TinyLlama-1.1B 适配到药理学领域，并通过 Ollama 本地部署。仓库包含 data、experiments/metformin、notebooks 目录及 export_to_ollama.py 导出脚本，目前尚无 star 和 fork。
Reddit 用户实测 PolyStrata 后给出 10/10 好评：在 24GB（8+16）内存池上运行 Q3 量化的 CyberTiel，速度达 Ornith1.5 9B 的 2 倍，每秒 50-90 tokens，且能完成 Ornith 无法处理的任务。缺点是 CyberTiel 未被官方支持，需将 GGUF 文件命名为 TielCoderQ3.gguf 才能加载，导致界面仍显示 TielCoder；手动编辑 models.json 和创建 run.sh 后可用，与 Pi Agent 同步良好，但 Pi 缺少 reasoning budget 参数。
Hugging Face 用户 MishraNepali 发布 Lily-Cybersecurity-7B-Uncensored 的 GGUF Q5_K_M 重新量化版本，体积从 13.5GB 降至 4.07GB，可在 16GB 内存的 CPU 上运行，也可在 Google Colab 使用。该模型源自 segolilylabs/Lily-Cybersecurity-7B-v0.2（Apache 2.0 协议），中间版本由 NiroshanDH 量化并做 abliteration 处理，推荐上下文窗口 4096 tokens，量化版可能出现模型幻觉。
virtuehearts 在 Hugging Face 发布 ministral-uncensored 的 GGUF 量化版本，提供 Q4_K_M 等格式。该模型可通过 llama.cpp 本地运行，支持 OpenAI 兼容服务器与终端推理，也可在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等工具中加载使用。
Xyntetik-Runner 开发者发帖求助：该项目坚持贴近原始模型实现的数值保真度和可复现推理，在保真度上多数模型优于 Llama，但 CUDA 上速度仍明显落后。1.5.0 版本加入了 tensor-core GEMM 路径、tiled attention、CUDA graphs、MoE 优化和量化内核改进，后续修正版将在几天内发布。开发者询问 FP32 高精度是否值得保留。
/u/nickm_27 实测 ggml-org/llama.cpp 的 PR #29864 重构 Intel XMX 矩阵引擎后，B70 在 SYCL 下投机解码速度大幅提升，测试模型为 Muse Glimmer Q6_K (30B) 搭配 DFlash2。9 项任务总耗时从 46.86 秒降至 26.68 秒，各任务 tok/s 普遍从约 36-53 提升到约 53-88；作者说明因 token 验证成本显著降低而调大了 n-max，接受率从 0.7845 降到 0.363 属预期现象。
推荐理由：作者实测了 llama.cpp 重构 Intel XMX 矩阵引擎后 B70 的投机解码速度，前后总耗时从 46.86 秒降到 26.68 秒，数据完整可复现。
开源 .NET 推理引擎 TensorSharp 在 10× NVIDIA A40 上运行 Muse Spark 816B（42B 激活参数，Unsloth UD-IQ3_XXS 量化，约 316 GiB 权重），并与 llama.cpp 对比。张量并行下 TensorSharp 达 22.6 tok/s 解码、4 并发 45.7 tok/s，层切分下 4K prefill 达 1346.8 tok/s，比 llama.cpp 快 2.07×；层切分 prefill 吞吐比张量并行高 4.6×。质量对比中 Top-1 一致率约 98.8%，功能检查层切分 13/14、张量并行 14/14 通过。
/u/SamSausages 在 4x Intel B65 上用 vLLM 0.30.0 实测 Qwen3.8-Flash-Next（W4A16），把 prefill chunk 从默认 1024 调到 8192/16384 后，32K prompt 预填达 5,142 tok/s，261K 首 token 时间从 190.2 s 降到 97.6 s。代价是 KV cache 池从 587,416 tokens 缩到 337,952，多会话下最长停顿从 0.61 s 增至 2.89 s，但作者称聊天和后台 agent 场景中停顿不明显。完整数据见 https://b65.thekaiser.us/by-model/qwen38-flash-next/prefill/
推荐理由：作者用同一套基线实测了 vLLM 不同 prefill chunk 大小的速度、TTFT 和 KV cache 代价，数据可直接迁移到多卡 XPU 部署调参。
作者在单张 RTX 5090 上对 Qwen3.8-Flash-Next NVFP4 的 basalt、capy-flash、ninfer-ext 三个引擎做了 262,144 token 全上下文对照测试，统一开启 MTP 推测与 int8 KV。结果 basalt 在所有上下文深度最快，prefill 8.1k-9.2k tok/s、greedy decode 176-265 tok/s；decode 排名与 MTP draft 接受率一致（0.74/0.57/0.56），采样解码使各引擎 decode 下降 7-10%。
ahinore 开源了用 Rust 从零实现的 LLM 推理服务器 denno-beta，推理内核不依赖 candle 等现有库，兼容 Anthropic Messages API，可直接配合官方 Anthropic Python SDK 使用。支持 GPT-2 124M 与 Qwen2.5-0.5B–7B-Instruct、Qwen3-0.6B、Qwen3.5 等模型，默认 CPU 运行，可通过 --features cuda 卸载到手写 CUDA 内核（13,252-token prefill 从 395.8s 降到 12.2s）。
推荐理由：推理内核完全从零手写并保持精确解码约束，附 CUDA 加速与可视化遥测，适合想从代码理解 LLM 推理全流程的读者。
参赛队「广州智行科技」开源千问杯多模态推理大赛最终第3名（获2万元奖金）的完整方案：在 Qwen3.5-0.8B 上先蒸馏 Qwen3.6-27B 的 113K 样本做 SFT（初赛 41.8 分压线晋级），再用 GRPO 30 步小剂量 RL（决赛榜 20.2 分，第 9/20），答辩后终评第 3。仓库公开训练/导出脚本、真实日志与技术报告，权重托管于 Hugging Face；核心发现包括 RL 剂量轴在 30 步达峰、同权重 ZIP CRC 消融证明采样解码白送约 3 分、0.8B 模型 RL 池内学习量与平台分强反相关。
推荐理由：作者用同权重 CRC 消融和剂量轴实验分离出每个增量的因果证据，0.8B 小模型 RL 剂量与遗忘的权衡刻画对类似场景可迁移。
GitHub 仓库 user01000000000010/CUDA 提供一套面向 LLM 和 Transformer 架构的生产级 CUDA 加速内核库，基于 Tile IR、TMA 异步流水线和寄存器内数值稳定化实现。核心功能包括 Hopper sm_90 架构的 FlashAttention-3 生产者-消费者内核、FlashAttention-2 前向/反向实现、兼容 vLLM 的 PagedAttention、FP8 量化 KV-Cache（节省 50%–75% HBM 显存）、DeepSeek V2/V3 的 MLA（KV 占用降低 5x–8x）、GQA 与融合 RoPE，以及端到端全融合 Transformer 块。
Reddit 用户 /u/Barni275 从新发布的 Ling-3.0-tiny UBTree 中提取纯 DFlash 草稿部分（丢弃 7 个 ubtree_selector 张量），使其可在原版 mainline llama.cpp 上运行，并放出转换后的 GGUF 与转换流程（yury-kapoyko/Ling-3.0-tiny-UBTree-dflash-GGUF）。小规模实测显示：散文生成从 78.8 tok/s 提升到 84.8 tok/s（+8%，接受率 0.28/2.7），Python 代码生成从 79.0 tok/s 提升到 127.2 tok/s（+61%，接受率 0.53/4.2）；转换仅需对 GGUF converter 做小补丁，其余均为原生功能。