新闻、仓库与研究，按时间排列。
Adolphsson 在 Hugging Face 发布 GLM-5.3-Flash 去审查版的 Maya-L GGUF 量化，基于 dealignai 的 CRACK 去审查 FP8 检查点（原模型 zai-org/GLM-5.3-Flash），仅做量化，保留 MTP 草稿块与视觉 mmproj 文件，上下文 1M tokens，总量 156.3 GB，分 4 个分片，MIT 许可。单张 RTX 5090 实测 1M 上下文 28.5 tok/s，256K 上下文开 MTP 提速约 16%；该版本仅通过功能验证，尚未跑 MMLU 等基准。
Abiray 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的去审查（abliterated）GGUF 版本，基于 ISTA-DASLab 的 IQ2_XXS 量化，将 86 个去审查残差写入张量直接烘焙进权重，运行时无需 LoRA。体积仅增加 0.34 GB（138.58 GB vs 138.24 GB），28 个 1-bit IQ1_M GSQ 专家层 100% 保留，KL 散度仅 0.000002 nats，Top-5 一致率 100%。需搭配 ISTA-DASLab 的 110.60 GB Engram 查找文件，可用 Strata 在单张 12 GB+ NVIDIA GPU 上运行。
作者发布自研双卡推理引擎 capy-flash v0.7.4，面向两张 RTX 50 系显卡在 Linux 上做张量并行，支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。在 2× RTX 5070 Ti 上，Flash-Next NVFP4 解码 178 tok/s、64k prefill 4,828 tok/s，对比 Strata 0.1.45 双卡 NVFP4 短提示词约快 1.5 倍、平均约 1.76 倍；27B 双卡 NVFP4 DFlash2 验证解码 379 tok/s。
推荐理由：作者在同一台机器上给出与 Strata 的逐项对比数据，双卡 NVFP4 场景的提速幅度和适用边界都写得很具体。
Arnav005 在 Hugging Face 上架 Qwen3-4B-Uncensored-Q4_K_M.GGUF，基于 Qwen/Qwen3.5-4B 微调的 Q4_K_M 量化版本，目前未部署任何 Inference Provider，下载量未被统计，README 为空。
Chenry-123 开源了跑在本机的 LLM 网关 llm-token-gateway，夹在 Qoder、Claude Code 等客户端与模型厂商之间，提供缓存、模型路由、预算闸门与四段计费记账。实测 35 题×3 轮显示路由省 51.2%、路由加显式缓存省 55.0%，质量经 Wilcoxon 配对检验不显著；缓存仅对 qwen-flash 生效，qwen-plus-latest 不支持缓存。支持 anthropic→openai 协议转换、流式透传、MCP 查账工具与离线成本看板，仓库地址 https://github.com/Chenry-123/llm-token-gateway。
推荐理由：作者用日志实测了缓存、路由与预算闸门的省钱幅度，并附配对统计检验区分质量损失与噪声，方法可直接迁移。
GitHub 开源项目 LLM Developer 发布 v1.0.0，可在本地 CPU 上训练、微调和测试小型 GPT 语言模型，无需 GPU，建议至少 4GB 内存。项目基于 NanoGPT 从零实现，使用 Streamlit 界面与 PyTorch，支持自定义字符级 tokenizer、实时 loss 图表、预置模型（Cedar、Talkative Dumbo）加载及 Hugging Face transformers 集成。
Genrius AI 的 Harshit Goyal 发布 Pingala-8，一种基于 8-state coset trellis 编码的 2-bit 量化格式，通过 CUDA 补丁在 llama.cpp 中运行，无需重训即可把 Qwen3-4B 从 8.05 GB 压到 1.24 GB，Llama-3.1-8B 从 16.08 GB 压到 2.39 GB。同字节数下 Qwen3-4B WikiText-2 困惑度 16.64，优于 IQ2_XXS 的 28.61 和 IQ2_KT 的 18.15；batch 1 生成比 Q4_K_M 快 39%。
推荐理由：作者给出与 IQ2_XXS 等字节的对比数字和明确的局限清单，读者可据此自行权衡这种免重训 2-bit 压缩的收益与代价。
开发者在 GitHub 开源 mini-llm，一个从零用 PyTorch 构建的 19.8M 参数掩码扩散编码器–解码器 Transformer 对话模型，目标是在手机端侧运行。模型在 1.47B token 的 FineWeb-Edu 上完成预训练，并经过 SFT 与 GRPO 强化学习，上下文窗口 256 token，词表 12 288（byte-level BPE）。项目还包含一个实验性 Thinking 模块及参数量匹配的对照组，生产级 C++ 推理运行时仍在计划中。
ReadyArt 发布 Wicked Stuff 系列模型，在 Wicked Tutu 数据集基础上新增约 1000 条 prompt，并加入反向角色 prompt 使数据更完整。该数据集以黑暗风格为主、混入部分常规内容，在 scotoma 2 基座上以 QLoRA（而非 LoRA）方式训练于 Kitchoon-V3-26B-A4B。作者提示需配合 RP prompts 才能正常使用。
Adolphsson 在 Hugging Face 发布 GLM-5.3-Flash 去审查版的 GGUF 量化，基于 dealignai 的 CRACK abliteration FP8 checkpoint，采用 IQ4-Maya 配方量化，支持 1M tokens 上下文与视觉（mmproj F16），保留 MTP 草稿块可用于投机解码。全量约 156.3 GB，分 4 个分片，MIT 许可；在单张 RTX 5090 上 1M 上下文实测 28.5 tok/s，仅通过功能验证，尚未跑 MMLU 等 benchmark。
Reddit r/LocalLLaMA 用户对比新量化格式 Gyro 与 EXL3，发现两者同属 QTIP / Trellis-coded quantization 家族且均使用 Hadamard 旋转，Gyro 更像另一种风味的 EXL3，但互不兼容且制作配方目前闭源。作者未找到 Gyro 在解码速度或 perplexity/KLD/top 1% 上优于 EXL3 的公开证据，认为其靠激进营销流行只会加剧社区碎片化。
tensai-app 发布 llama.kt，为 llama.cpp 提供 Kotlin/Android JNI 绑定，可加载任意 GGUF 模型在设备端推理，无需服务器或云端。原生 C++ 引擎提取自 llama.rn 并剥离 RN 层，已在 OPPO / Dimensity 900 上验证，Qwen2.5-0.5B（q4_K_M）CPU 生成约 20 tok/s。
同一新闻，精选展示《hokanosekai 开源 llama.kt：在 Android 端侧运行 GGUF 模型的 llama.cpp Kotlin 绑定》
Badrodro 发布 llm-4bit-quant-formats 仓库，在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B 上以 WikiText-2 与 C4 困惑度对比多种 4-bit 权重量化格式。结果显示等困惑度下 trellis 编码比 NVFP4 少需 11–17% 比特、比 INT4 g128 和 MXFP4 少约 15–20%，但加随机 Hadamard 旋转的标量 Lloyd-Max 量化器已能达到 trellis 增益的 6–9% 以内，未达到预先设定的 10% 阈值，因此非均匀标量格式加旋转在更低解码成本下已捕获大部分收益。测试仅覆盖权重、round-to-nearest、0.5–1.7B 小模型，无校准数据与速度能耗测量。
推荐理由：作者预先设定了10%的决策阈值再实测，读者可以据此判断trellis量化是否值得在硬件里加解码器。
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型，提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS（2.00 bpw）在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型，任务均值恢复 100.0%；IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行；llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。
推荐理由：原文给出了各量化的基准恢复率和完整方法与分配文件，读者可以据此判断低比特量化到底损失了多少能力。
ARM-Sparse 项目在 Apple M2 CPU 上实测 Llama 3.2 1B 与 TinyLlama 1.1B 的 FFN 块稀疏推理，结论是 packed B8 块内核只在 40-50% 稀疏度才快过 Accelerate 稠密基线，而此时模型质量已不达标（Llama 在 20% 处困惑度 +8.773% 失败）。在 10-20% 质量门槛内，只有采用 neuron-major 权重的 per-neuron 执行器跑块对齐 mask 能比稠密快百分之几（真实 mask +0.9% 到 +3.5%，合成 mask 最高 +7.3%），且质量上限决定了收益上限，不构成端到端可部署加速；仓库附带 99 项自动化测试的完整复现包。
作者发布了面向本地 LLM 的语义缓存反向代理 semantic-cache-proxy，将提示词嵌入索引进 Redis Stack 的 HNSW 向量索引，相同或语义改写的查询命中缓存后延迟低于 15ms，绕过本地 GPU/CPU 推理瓶颈。系统用 SHA-256 对 system prompt 和参数做哈希分区，相似度阈值 ≥ 0.88 判定命中，兼容 OpenAI /v1/chat/completions 接口，并通过 X-Cache-Lookup 等响应头和 Streamlit 仪表盘提供实时遥测。项目 100% 本地运行、无需付费 API key，依赖 nomic-embed-text 嵌入模型，仓库附部署步骤与延迟基准脚本。
推荐理由：给出完整的架构流程、缓存阈值和部署命令，想把本地 LLM 推理换成语义缓存的读者可以直接照着搭建。
Jamer69 在 Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，文件大小从 4.00 GB（MLX 4-bit）到 14.23 GB（BF16）不等，推荐 GGUF 使用 Q4_K_M（4.60 GB）。该版本无内置安全检查或内容过滤，可直接生成成人、NSFW 及敏感图像，配套 qwen3vl_8b 文本编码器和 VAE 文件，通过 ComfyUI 与 ComfyUI-GGUF 使用，MLX 格式针对 Apple Silicon 优化。
ktobik 在 Hugging Face 发布 abliterated（去拒绝）版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化，提供 Mix-256G（235.8 GB 内存）与 Mix-128G（114.0 GB）两种构建。模型为 763B 参数 MoE，含 384 个路由专家和 197B 参数 Engram n-gram 表（110.6 GB 留在 SSD 按需读取），1M token 上下文。精度由实测 KLD 的背包搜索逐层分配，Mix-256G 在 held-out 文本上 top-1 一致率 93.7%、PPL 较原模型 +2.4%。
推荐理由：原文给出实测 KLD、拒绝率前后对比和逐层精度搜索方法，读者可据此判断去对齐版本与量化方案的实际代价。
Orca 发布 abliterated 版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化文件，提供 Mix-256G（235.8 GB）与 Mix-128G（114.0 GB）两种构建。模型为 763B 参数 MoE，含 197B 参数 Engram n-gram 表（110.6 GB，留在 SSD 按需读取）和 1M token 上下文；精度按实测 KLD 逐层搜索分配。去对齐版在 500 条有害提示上拒绝率均值 0.074（原版 0.874），JBB-harmful 下降 97%，MMLU 保持 0.91 左右；Mix-256G 在 2×H200 上约 70 tok/s，需 llama.cpp PR #30817，MIT 许可。
同一新闻，精选展示《DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布，763B MoE 最低 235.8 GB 内存可跑》
abliterated 版 GLM-5.3 Flash 量化模型 ktobik/huihui-glm53-flash-abliterated-q4kxl-public（UD-Q4_K_XL）在 Hugging Face 上架。该模型可通过 llama.cpp 启动本地 OpenAI 兼容服务器或在终端直接推理，并支持 Ollama、Docker Model Runner、Lemonade 等多种运行方式，也可接入 Pi、Hermes、OpenClaw 等智能体工具。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
GitHub 上的 Quant Fidelity Frontier（QFF）按发布方自己的声称指标（KLD、perplexity、top-1、benchmark、体积）排列各模型的 Hugging Face 量化版本，标注哪些量化更高效，所有数字逐字取自模型卡并附来源链接，不重新测量。项目覆盖 Qwen3.8-Flash-Next（481 个仓库）、DeepSeek-V4.1-Flash、GLM-5.3-Flash 等模型，提供只读 MCP server 供智能体查询量化声称与效率前沿，代码 MIT 许可、数据集 CC BY 4.0。
ISTA 深度算法与系统实验室用 GSQ 与 RCO 方法发布了 DeepSeek-V4.1-Flash-1017 的三个量化 GGUF，位宽 1.75 至 2.25 bpw，骨干 120.7 至 155.2 GB。其中 IQ2_XXS（2.00 bpw）在 AIME25、GPQA-Diamond、LiveCodeBench v6 上与基座完全一致，任务平均保留 100.0%；IQ1_M 保留 98.7%。该模型为稀疏 MoE，763.2B 参数、每层 384 个路由专家激活 6 个、1M token 上下文窗口。所有版本可经 Strata 在单张 12 GB VRAM 的 NVIDIA GPU 上运行，llama.cpp 暂不支持。
同一新闻，精选展示《ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF》
AItaro0214 发布的 qwen38-flash-next-abliterated-iq3s 已在 Hugging Face 上线，提供 IQ3_S 量化版本。模型可通过 llama.cpp 的 llama serve / llama cli 直接拉取运行，也支持 LM Studio、Jan、Ollama、Docker Model Runner 等多种本地部署方式，并可配置到 Pi、Hermes、OpenClaw 等工具中作为 OpenAI 兼容接口使用。
Hugging Face 上的 mradermacher/Spark-X2.6-4B-uncensored-i1-GGUF 仓库提供 Spark-X2.6-4B-uncensored 模型的 i1-GGUF 量化版本。该模型参数规模为 1.77M，页面未提供下载量统计，用户需登录后查看硬件兼容性信息。
codavidgarcia 发布 orcarouter/Qwen3.8-27B-Uncensored 的 GGUF 与 NInfer 量化文件，让模型连同原生 MTP 头在 16 GB 显存内运行。该去对齐版本在 abliterlitics 的 12 个变体对比中以 82% 的有害提示服从率排第一，各能力基准与原模型差距在 ±1.3 分内；作者在单张 RTX 4080 16 GB 上实测了各文件的 KLD、速度与 llama.cpp/NInfer 运行命令，许可证为 Apache-2.0。
推荐理由：原文给出拒绝率、KLD 与 RTX 4080 实测速度数据，可据此判断该去对齐量化版的损失与 16 GB 可用性。
Hugging Face 上的 mradermacher/Spark-X2.6-4B-uncensored-GGUF 提供 Spark-X2.6-4B-uncensored 模型的静态量化（static quants）版本。该模型目前未被任何 Inference Provider 部署，下载量未被追踪。
matnum 发布 local-llm-benchmarks 仓库，在 128 GB 统一内存的 AMD Ryzen AI Max+ 395（Strix Halo）上用 llama.cpp 对 10 个 GGUF 模型/量化组合在 Vulkan 与 ROCm 两个后端测吞吐、延迟、内存、功耗与 tokens-per-watt。结果显示 Vulkan 在 10/10 单元生成更快（6 个领先 2.1–18.0%），ROCm 在 9/10 单元 prefill 更快（6.2–56.8%）；MoE 模型生成速度和每瓦效率是同体量稠密模型的 5–8 倍，gpt-oss-120b（MXFP4，约 59 GiB）达 55.3 tok/s。
推荐理由：原文公开了完整测试矩阵、固定 commit 和可复算测试，读者可以按需核对每个数字而不是直接信任结论。
该开源项目将 Llama-3.2-1B-Instruct 的 Q2_K GGUF 量化版本（约 554 MB）部署到 Android 手机上，通过 Kotlin + llama.cpp JNI 实现完全离线的多轮聊天，目标速度大于 5 tok/s，可运行于 4 GB RAM 及以下的设备。项目默认上下文长度 n_ctx=2048、temperature=0.7，也可通过 Gradle 参数切换到质量更高的 Q4_K_M（约 770 MB）等量化版本。
grainrigi 在 Hugging Face 镜像了 HauhauCS 的 Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced GGUF 量化版，作为备份保留 Q8_K_P 与 f16 mmproj。原版基于 google/gemma-4-26B-A4B-it，总参数 25.2B、激活约 3.8B（128 专家取 top-8 加 1 共享专家），256K 原生上下文、原生多模态；经自动化与人工拒绝基准测试为 0/465 拒绝，少量边缘提示首次会回避但重问即答。
推荐理由：原文给出 0/465 拒绝率的自动化与人工实测数据，以及各量化档位大小和推荐配置，便于按显存选档。
grainrigi 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO 的 abliterated GGUF（SC117 仓库镜像），通过字节级张量移植把 Qwen3.8-Flash-Next 去对齐权重的 144 个张量（约 41.1B 参数、占主模型 33%）换入已有 GSQ-RCO 量化文件，覆盖全部 48 层的残差写入张量。
DavidAU 在 Hugging Face 上架 NVIDIA-Nemotron-3.5-Bolt-E4B-Heretic-Uncensored-Turbo-Brilliance-50x-INST-R-NEO 的 GGUF 版本，属"TURBO BRILLIANCE 50x"系列，目标是减少 token 并提升模型质量与 IQ。该系列覆盖 3B 到 120B 且持续扩充；此模型将提供 64k（Nvidia 设定）和 128k 上下文版本，Heretic 处理与 Imatrix 尚在完成中，可通过 Transformers、vLLM、SGLang 及 Docker 使用。
staccs 发布 pqhaz/DeepSeek-V4.1-Flash-1017-heretic（DeepSeek-V4.1-Flash-1017 的 pqhaz abliterated 版）的 106.8 GB 单文件 GGUF，对 557B 参数的 routed experts 采用 lecore 激活校准 11-bit 矢量量化（2048 条码本、65,536 校准 token），Engram n-gram 表沿用原版需另下载约 203 GB。以未量化源模型为教师的评测显示 2k 上下文困惑度 2.762、top-1 一致率 80.9%，优于未校准的 vq10sh12 版（PPL 3.615、top-1 74.5%）。
staccs 发布了 106.8 GB 单文件 GGUF，对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated（UNCENSORED-FP8）版本重新量化，采用 lecore 激活校准的 11-bit 向量量化处理路由专家（2048 码本条目、65,536 校准 token，1.39 bpw，cosine 0.909），注意力骨架用 q4_K，共享专家 VQ 11-bit。评测以未量化源模型为教师，WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936，top-1 一致率 80.2%/78.6%，优于未校准的 vq10sh12 版本（PPL 3.615、top-1 74.5%）。
推荐理由：作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照，可据此评估这套 11-bit VQ 量化的损耗。
staccs 在 Hugging Face 发布 rumplestilzken/DeepSeek-V4.1-Flash-1017-abliterated 的单文件 GGUF，大小 106.8 GB，对 557B 参数的路由专家采用 lecore 激活校准 11-bit 向量量化（2048 码本条目，65,536 校准 token），1.39 bpw、加权余弦 0.909。评测以未量化源模型为 teacher，2k/16k 上下文困惑度 2.821/2.950，top-1 一致率 80.5%/78.4%，优于未校准的 vq10sh12 版（PPL 3.615、top-1 74.5%）。
同一新闻，精选展示《staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包》
mrfakename 的 DeepSeek-V4.1-Flash-1017-abliterated 被重新量化为单个 106.8 GB 的 lecore 校准 11-bit VQ GGUF 文件，路由专家参数 557B，码本 2048 条目、1.39 bpw。在 WikiText-2 上 2k/16k 上下文 perplexity 分别为 2.799/2.917，top-1 与源模型一致率 80.3%/78.5%，优于此前未校准的 vq10sh12 版（PPL 3.615）。
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 智能量化版本，量化文件已上架 HuggingFace。目前 llama.cpp 尚不支持该模型，因其原始架构支持代码还未合并；模型卡提及 Strata 支持，但发帖者认为原版 Strata 只支持 Qwen3.8-Flash-Next，实际可能指 Xolotl 或 Maya 等 Strata 衍生分支。
Hugging Face 上发布了 zandenAI/GLM-5.2-FP8-Uncensored 的 Colibri int4 独立转换版，供 C 推理引擎 JustVugg/colibri 使用，该引擎将稠密部分保留在内存中并从本地存储流式读取 MoE 专家权重。转换采用行式 int4 量化（嵌入与 LM head 为 int8，norms 与路由权重为 FP32），非标准 Transformers/vLLM/GGUF 格式，须用 Colibri 加载，遵循 MIT 许可。
Reddit r/LocalLLaMA 用户 EmilPi 发布近期测试模型的量化版本初步 benchmark 结果，DeepSeek-V4-Flash-Vision-Exp（MXFP4）以 Delta score 2.86 居首，Qwen3.8-Flash-Next-Q4KXL-STRATA 得 2.38。测试覆盖智能体编程、推理、空间推理等任务，作者在 2xRTX3090+128GB RAM 上发现没有新模型超越数月前的 DeepSeek/Qwen 老模型，并意外发现 Qwen3.8-Flash-Next 加 Strata 无质量损失且更快。
pstreet 的 mistral.rs 部署分支在 upstream 的 CUDA/Metal/CPU 路径之外增加了 AMD ROCm（Strix Halo gfx1151）服务支持，支持 cpu、rocm、cuda 等多种构建形态组合。正文给出 v0.8.2 基准：Q8 prefill 在 GB10/B200/H100 上为 7395.7/27705.6/26220.6 TPS，高于 llama.cpp GGUF Q8_0 的 3973.7/11992.4/11702.1；BF16 decode 多数场景快于 vLLM。上游 mistral.rs 引擎本身支持 45+ 架构、ISQ/GGUF 量化、OpenAI 与 Anthropic 兼容 API、MCP 与内置 agentic 运行时。