新闻、仓库与研究，按时间排列。
Loke-60000 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local-abliterated，基于 NVIDIA 的 Qwen3.8-Flash-Next-FP4-Local（revision b9ce18a）投影移除两个拒答方向，仅修改 80 个张量、21 个分片中的 2 个，量化格式不变。模型不再拒答，可能执行删除数据等破坏性请求；未跑任何 benchmark，需搭配基础模型其余 19 个分片使用，遵循 NVIDIA Open Model Agreement 和 Qwen Community License 1.0。
Reddit 用户 sudoing 将 560B MoE 模型 Ling 3.1 Flash（每 token 激活 25B 参数）通过 llama.cpp RPC 分布加载到 4 台 DGX Spark 上运行，使用 Atomic Chat 首发的 Q4 GGUF 量化版本。因当时 vLLM 尚无官方 FP4 构建而选择此方案，暂无性能数据，他计划与 124B 的 Ling 3.0 Flash 对比回答质量和等待时间。
Reddit 用户 /u/returnity 为 DeepSeek v4.1 Flash 1017（ds4）制作并发布了量化版本，需其 PR 才能加载新的 vision tower。量化沿用 antirez 原版 DS4.1 Q2 配方：2-bit 路由专家加 8-bit 及以上精度处理其余部分，imatrix 基于 1017 构建，并保留原版 FP8 engram 表。模型 wired backbone 超过 150GB，可在 128GB 内存系统上从 SSD 流式加载，M5 Max 上解码速度最高 20tps；约 200GB 的 engram 表按需从 SSD 分页调入。该版本中约 40% 路由专家张量、30% engram 和约 50% vision tower 专家张量有改动。
推荐理由：作者给出了量化配方、模型体积与 M5 Max 上的解码速度等实测细节，本地部署用户可参考其 SSD 流式加载方案。
Reddit 用户 /u/Maglcite 分享了一套低成本本地 LLM 部署：仅用一张 RX 9060 XT 16GB 和 24GB DDR5，以 unsloth IQ4XS 量化加 q4 KV cache（keys 用 q8）、MTP 与 ngram 预测，跑 Qwen 3.8 27B 达 262k 上下文。实测 20k 上下文生成 42.7 tps、预填充 658 tps，200k 时为 35/500 tps；使用 achyudh 的 llama.cpp fork，并让 Grok bot 通过 SSH 修复了缺失 PCIe atomics 的 bug。
Hugging Face 用户 edp1096 发布 GLM-5.3-Flash 的非官方 NVIDIA FP4-Local 衍生版本，将 Huihui Q8 abliterated 权重的差量应用到 nvidia/GLM-5.3-Flash-FP4-Local 基座。更新了第 15–36 层的 44 个 attention-output/shared-expert-down 矩阵和 22 个 scale 张量，其余张量保留，无需额外 QAD 训练。运行需两台 DGX Sparks（TP2）和 B12X vLLM；42 个权重文件全部校验通过，8/8 冒烟测试通过，最长实测输入 64,481 tokens。
ashudson83 在 Hugging Face 上架 DavidAU.L3.1-Dark-Reasoning-LewdPlay-evo-Hermes-R1-Uncensored-8B-GGUF 模型，提供 Q4_K_M 量化版本。页面给出 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种本地部署与运行方式，并支持通过 OpenAI 兼容 API 调用。
博主卡兹克受邀参加英伟达 RTX Spark 全球开售活动后，深度使用华硕 ProArt 创16 一周并分享体验。该机配备 128G 统一内存 + 1T 存储，京东售价 37999 元，开售时 128G 版本几分钟内被抢空。
作者在一张 RX 9060 XT（16GB）上用五项编码任务实测十个模型，每轮只给 spec 文件，需自行产出 solution.py 和 test_solution.py 并跑测试，由模型看不到的 checker 评分，单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP（kvstream fork）均 5/5，前者 236 秒 43k tokens，后者 94 分钟 185k tokens；其余本地模型多在 4/5 或更低，c4、c5 是主要分水岭，失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。
推荐理由：作者自建带盲测 checker 和性能门槛的编码评测，在 16GB 显卡上实测十个模型，失败原因逐个拆到具体规则和实现细节。
Reddit 用户 challis88ocarina 首次成功将 Muse Spark Open 816B-A42B 钳制到 ds4 运行 DeepSeek v4.1 Flash 1017，解码速度仅 4 t/s。作者希望后续能提升 4-5 倍，并计划运行更大的 prefill 块，但不预期会有大幅跃升。
Hugging Face 上发布 Qwen3.8-Flash-Next-Uncensored-NVFP4 的 GB10 构建镜像（Apache-2.0），可在 2× DGX Spark（GB10，TP=2）上用 vLLM 部署，支持 1M 上下文（YaRN ×4，max_position_embeddings 1048576），KV 池 3.76M tokens。实测对比 dev461 构建：prefill 8k–131k 提升 9–12.5%（约 3.7k tok/s），1M token TTFT 从 411s 降至 365s，KV 容量 ×1.95，质量 97.75% top-1 一致、NLL +0.019%。
Alia 是一个仅支持 Linux 的全本地 coding-agent 启动器，检测 NVIDIA GPU、显存和内存后自动选择硬件配置、启动 llama-server 并打开 Qwen Code 终端或 Web Shell。v0.2.0 在 RTX 3070 8GB 上实测 Qwen3.6 35B-A3B IQ3_XXS 4K 上下文生成速度 49.9 tok/s，提供多档预设配置、可选 MCP 浏览器与搜索服务器、bubblewrap 沙箱和自动硬件配置选择，README 附带完整基准方法与原始数据。
推荐理由：README 附带在 RTX 3070 上的多配置实测数据和基准方法说明，读者可以据此评估本地跑 coding agent 的速度与内存需求。
GitHub 仓库 ETQWFD/HNN-CN-ET 提供 MNN Chat Android 应用，通用 APK 同时包含 armeabi-v7a 与 arm64-v8a 原生库。修改点包括 32 位语音识别（sherpa-mnn，基于 alibaba/MNN 3.6.0 源码编译）、应用内自更新、日志页与模型下载健壮性增强。MNN-LLM 在 Android CPU 上 prefill 速度较 llama.cpp 快 8.6 倍、较 fastllm 快 20.5 倍，完全本地运行不上传数据，已在 OnePlus 13 和 Xiaomi 14 Ultra 上测试。
作者在 Basalt 中为 Qwen3.8 Flash-Next 实现原生 NVFP4 支持并加速 prefill，新的 .basalt 包保留原版 NVIDIA experts、dense 层存为 Q6_K。单张 5090（400w）+128GB DDR5 单流下 struct 304 tok/s、prose 183 tok/s，加 5060 Ti 协同后达 479/239 tok/s；64K prompt prefill 达 8,582 tok/s（首 token 7.6 秒）。
推荐理由：作者给出了 NVFP4 量化后的 PPL、KLD 和 top-1 一致性数据，以及与 Infernix 的同机对比，方便自行复现判断。
/u/shayanx45 在 2x DGX Spark（TP=2 经 CX7 线连接）上以 EXL3 2.9bpw、1M 上下文运行 DeepSeek-V4.1-Flash-1017，实测 TensorFold 较 vLLM kit 快 2.1-2.3x：文本解码 27.0→56.8 tok/s，代码 39.9→92.2 tok/s，64K大海捞针 80.4s→35.9s；8K-64K 冷 prefill 约 2.1-2.2x，1M（1,034,753 tokens）达 1,246 tok/s。提示词缓存可跨重启恢复，18K 对话从 16.8s 降至 2.7s。部署配方与 HF 卡片已公开，引擎来自 bertholomus 的 V4.1 port，host 调优将随下次更新进仓库。
推荐理由：作者用同一对硬件和同一组提示词给出 vLLM kit 与 TensorFold 的逐项对比数据，可复现的部署配方已开源到 GitHub。
wckdboy 在 GitHub 发布 Autobot 1.7，一个隐私优先的 Android/iOS AI Agent，通过 llama.cpp 在设备上运行聊天、Agent 和代码会话，图像走 stable-diffusion.cpp、QNN 或 Core ML，语音用 whisper.cpp。默认离线并带 kill switch 和审计日志，云端请求先做脱敏并附隐私回执；双端共享 Kotlin Multiplatform 核心，支持 Qwen3、Llama 3.2 等本地模型目录、投机解码（M3 Pro 上 Qwen3 4B+0.6B 在代码任务达 1.64x）、MCP 服务器和 .autobot 加密导出。Snapdragon 加速路径针对 8 Elite Gen 5 构建但尚未在真机验证。
推荐理由：README 详细写明了离线默认、审计日志、加密存储等隐私机制和 NPU/GPU 加速路径，读者可据此评估这个双端 AI Agent 的实际可用性。
开发者 /u/indrasmirror 发布了基于 Strata 的推理引擎 Xolotl，可在单张 RTX 4090（24GB）加 90GB DDR4 和 NVMe 的游戏 PC 上运行 552B 的 DeepSeek-V4.1-Flash，权重分布在 VRAM、锁定内存和 NVMe 中并按 token 按需拉取专家。实测 27 tok/s 解码、180-320 tok/s 预填充、512K 上下文、HumanEval 21/21、工具调用 10/10、agentic 修 bug 3/3，同一引擎还能跑 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。
推荐理由：作者给出了单张 RTX 4090 跑 552B 模型的具体配置和实测吞吐数据，方案可直接复现。
作者分享在 Mac Mini M5 64GB 上通过 SSD 流式运行 Qwen Flash Next（Unsloth UD-Q4_K_XL 量化）的实测结果，模型无需占满内存即可运行。prompt processing 采用 carousel buffering 机制，decode 使用训练出的 lookahead 模型提前从 SSD 取专家；满内存约 29 tks 解码，减 4GB 后约 26 tks，非 LLM 服务空间低于约 18GiB 会出现 swap。项目地址 https://github.com/skeggsguy/Flash-next-ssd。
/u/Distinct-Pie2389 在把 Strata 从 IQ2_XS 迁移到 Unsloth UD-IQ4_XS 时发现，0.1.45 之前的版本在请求未设 temperature 且 run config 无 sampling 块时会贪心解码导致模型循环，0.1.45 起改为使用模型卡默认值（thinking: temp 1.0, top_p 0.95, top_k 20）。
推荐理由：作者给出自己 A/B 实测的解码速度与 KL 数据，并附上可直接抄进 run config 的采样与路由参数。
Reddit 用户 /u/StayLameBro 将两台游戏 PC、一台 M4 Pro MacBook 和两台 iPhone 17 Pro Max 通过 Ethernet 和 USB-C 串联，分布式运行 48 层、每层 512 专家的 MoE 模型 Qwen3.8 Flash Next。实测 60k 上下文写入 37-39 tok/s、读取 856-895 tok/s，靠流水线投机采样平均每步产出约 2.2 个 token；另一布局单次读取超 164k token，完整 262k 布局在筹备中，代码将发布于 github.com/StayLameBro/backburner。
推荐理由：作者用五台家用设备串行跑 MoE 大模型，给出了各设备分层方案和不同上下文长度的实测速度，方法可复现。
作者与 Claude 合作开发了 Red Curtain，让官方要求 48 GB NVIDIA 显卡的 Fish Audio Drama 3 在 RX 9070 上运行。方案将 35B MoE（每 token 约 3B 激活）的 FP8 专家（约 32 GB）留在系统内存、按需缓存到 GPU，其余以 BF16 运行，实测加载约 17 秒、占用约 11–12 GB VRAM 和 35 GB RAM，生成 3.3 秒语音需约 13 秒，慢于实时但适合短音频。附带 Web UI 支持参考音频克隆、多说话人脚本和与 Fish 官方编辑器相同的标签；已知问题是偶发首句后静音，属 Drama 3 本身问题而非 AMD 移植所致。
/u/mrfakename0 发布了 DeepSeek V4.1 Flash 1017 的 abliterated 版及 base 与去对齐版的 GGUF 量化（imatrix 尚在制作中）。拒绝率从 97/100 降到 4/100，think 模式从 98/100 降到 9/100；因 chat 与 think 模式拒绝方向不同，作者测量并移除了二者张成的 rank-2 子空间，并附上可免重新下载权重的 LoRA。
Reddit 用户为 antirez 的 ds4 项目提交 PR #1225，加入对 DeepSeek-V4.1-Flash-1017 的支持，涵盖其新 engrams 和更新的 vision tower，并校验视觉与语言模型文件配对、拒绝混搭。该版本约 40% 的 routed expert 张量、30% 的 engrams 和约 50% 的 vision tower expert 张量有改动，架构不变，ds4 量化的文件可直接加载且对旧 checkpoint 无回归。作者还将上传面向 128GB 内存的 Q2-Q8 混合量化，在 M5 Max 上预计约 20tps 解码。
Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后，在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS，40GiB 专家权重驻留内存、0 次磁盘读取，262K 原生上下文下解码 87-98 t/s，136K 针测试通过，专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度，但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%；作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍，已设为 0。
推荐理由：作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比，可迁移到自己的本地部署配置。
mrfakename 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-abliterated 的 GGUF 量化版本，提供 Q2_K 等量化格式。该模型可通过 llama.cpp 本地运行，支持启动 OpenAI 兼容服务器或终端直接推理，也可在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等工具中使用。
Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版，1-bit 可在 128GB+ 内存设备运行，3-bit 需 256GB，全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新，官方基准显示推理、编码、Agent 和视觉任务均有提升，如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2；模型采用 MIT 许可，支持 1M token 上下文，需使用 llama.cpp PR 或 Unsloth Desktop 运行，prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。
推荐理由：官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比，以及量化档位对应的内存需求，可据此评估该版本的实际收益。
vedevpatel 发布 rajaykumar12959/qwen3.8-27b-abliterated 的 imatrix GGUF 量化，该模型移除了拒绝行为，可回答原版 Qwen3.8 拒答的请求，目标在 16 GB 显存上用 llama.cpp 运行。每个量化均与 BF16 原版对比：MMLU-Pro（4200 题、5-shot、thinking off）差异均在 95% 置信区间内不显著，BF16 为 79.60%；WikiText-2 KL 散度显示 IQ3_M 漂移比 4-bit 量化高 3.3–3.8 倍。
推荐理由：作者对每个量化版本都给出了与 BF16 原版的 MMLU-Pro 和 KL 散度对比，还实测了 16 GB 显存下的上下文与速度表现。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
sky3c 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本，用 Heretic v1.2.0 的 ARA 方法去审查，8 bit 拒绝率从 99/100 降到 0/100，KL 散度 0.0535。模型将思考 token 减至原版的 1/2 到 1/10，8 bit ARC-C 735、ARC-E 882，4 bit ARC-C 719，作者称在全部 7 项基准上超过原版 Qwen3.8-27B。提供常规与 MTP 两种 GGUF 量化，Q4_K_S 下常规版约 75 t/s、MTP 版可超 90 t/s（5090 实测），支持 256k 上下文与视觉（需另下 mmproj 文件），工具调用建议 Q4_K_M 以上量化。
同一新闻，精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版，ARC-C 达 735》
Hugging Face 上发布 Xing4.0-29B-A4B 的 Abliterated 版 GGUF 量化，基于 huihui-ai/Huihui-Xing4.0-29B-A4B-abliterated，采用逐 tensor 混合精度布局，文件 13.76 GB（3.42 BPW），WikiText-2 PPL 7.7238，较 BF16 源（7.3060）仅上升 5.71%，达 Q5_K_M 级质量。该模型为 29B 总参数、每 token 约 4B 激活的 MoE 架构，含 mHC、MLA 与 MTP，原生 256K 上下文，可扩展至 512K，适合消费级 GPU 与 RAM/GPU 混合部署。
hrm-labs 在 Hugging Face 上发布 Meta-Llama-3.1-8B-Instruct 的 abliterated 去审查版本，提供 GGUF 格式。该模型基于 Llama 3.1 8B Instruct，通过 abliteration 技术制作，并使用了 Llama 3.1 70B Instruct 的 lorablated 处理，原始代码与技术来自 @FailSpy。
NeverWantedJr 基于 Qwen/Qwen-Image-2.1 上游权重发布无审查版 GGUF 量化文件，提供 BF16（14.23 GB）到 Q4_0（4.15 GB）多种规格，推荐 Q4_K_M（4.60 GB）兼顾体积与质量。该版本无内置安全检查器，可直接生成成人及 NSFW 内容，配套 qwen3vl_8b 文本编码器与 VAE 文件，通过 ComfyUI 与 ComfyUI-GGUF 本地运行，文本编码器卸载到内存可节省 9–17 GB 显存。
Hugging Face 上架了 ji-farthing 发布的 DeepSeek-V4-Flash-Uncensored-TextOnly-ik-llama-GGUF 模型仓库。仓库公开可访问，但用户需登录并同意分享联系信息的条件后才能下载模型文件。
一位 Reddit r/LocalLLaMA 用户在搭建首个本地 LLM 工作站时纠结显卡选择：V100 更便宜，但未来 CUDA 版本将不再支持它。发帖者担心在 n-grams 用于 MoE、扩散模型等优化技术不断涌现的当下，这一限制影响有多大，向社区求助。
0xShug0 的 audio.cpp 发布 v0.9.2，这是一个基于 ggml 的高性能 C++ 音频推理框架，在 Windows、Linux、macOS 上支持 CUDA、ROCm、Vulkan、Metal 和 CPU 后端，覆盖 TTS、ASR、语音克隆、声源分离等 110+ 模型家族、190+ 变体，通过统一 CLI、server API 和 WebUI 运行。新版本改进 Qwen3 TTS、BreezeTTS2 等流式推理（BreezeTTS2 首音频时间降低约 85-90%），部分 CUDA TTS 路径比 Python 快 1.8-8x，Supertonic 3 在 RTX5090 上 3 分钟生成约 10 小时音频，并已集成进 Unsloth Studio。
moeshawky 发布 distributedcognition/humanizer-abliterated（11.96B 参数，Gemma4UnifiedForConditionalGeneration 架构）的 FP8-DYNAMIC 量化版，体积 13.02 GB，为 BF16 原版的 54.4%，仅对 328 个语言模型 linear 层做 E4M3 权重与动态激活量化，嵌入、lm_head 及视觉/音频模块保持 BF16。该版本经结构验证可运行，可在 vLLM、SGLang 或 Transformers 中直接加载，但未做 benchmark，无 perplexity 或吞吐数据。许可证为 apache-2.0，需遵守上游基础模型的附加条款。
moeshawky 发布 distributedcognition/humanizer-abliterated 的 INT8 W8A8 动态量化版，基于 llmcompressor 对 11.96B 参数模型中的 328 个语言模型线性层做 8-bit 量化，体积从 23.92 GB 降至 13.02 GB（54.4%），embedding 与 lm_head 保持 BF16。实测 INT8 权重 SNR 约 39.9 dB，logits 分布与 BF16 源一致；未做 MMLU 重评与吞吐测试。模型可直接在 vLLM、SGLang 或 Transformers 中加载，采用 apache-2.0 许可。
moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 FP8-DYNAMIC 8-bit 量化版，基于 27.32B 参数的 BF16 原模型，体积从 54.64 GB 降至 30.30 GB（55.5%）。仅量化语言模型解码器内 496 个 linear 层权重（F8_E4M3、per-channel 对称），激活为 per-token 动态量化，lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 FP8 权重 SNR 约 31.6 dB，可在 vLLM、SGLang 或 Transformers 直接加载，未做 benchmark。
moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 INT8 W8A8 动态量化版，基于 27.32B 参数的 BF16 原模型，体积从 54.64 GB 降至 30.30 GB（55.5%），仅量化语言模型解码器中的 496 个 linear 层，lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 INT8 权重 SNR 约 39.6–40.8 dB，logits 分布接近原模型；可直接在 vLLM、SGLang 或 Transformers 中加载，尚未做 benchmark、吞吐或消融鲁棒性测试，许可证为 apache-2.0。
Reddit r/LocalLLaMA 用户发现，Qwen 3.8 Flash 常见 GGUF 量化中 PLE（SSD 上的 n-gram 表）被重度量化，影响性能。其用 ple_fp8_pack.py 打包 FP8 PLE（bf16 sidecar 仅 llama.cpp 支持，Strata 需 FP8），在 iq3_s 量化下明显减少低级错误且不损失速度，仅需约 47GB 额外磁盘空间。
Hugging Face 上线 Sindexter/qwen2.5-7b-abliterated-gguf 模型页面，提供 Q3_K_M 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理，也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行，并可接入 Pi、Hermes、OpenClaw 等 Agent 使用。