新闻、仓库与研究，按时间排列。
Reddit 用户用 sergqwer 的 Strata 分支（strata-nvfp4）在单张 RTX 5090 32GB 上运行自行转换为 NVFP4 的 Qwen3.8-Flash-Next 125B-A6B hybrid MoE，完成 Three.js 低多边形 3D 马循环动画挑战。纯智能体工作时长 23m 10s，共 87 步、124,443 输出 token，cache 命中率 99.0%，解码中位 116 t/s，262,144 上下文下 33 分钟内零压缩。
Hugging Face 上发布的 Ternary Bonsai 2 27B Uncensored Heretic v2 是一个自包含 MLX 2-bit 包，为原版 Heretic v2 添加 DFlash2 推测解码，保留 FP16 视觉塔（8,595,478,392 字节）和 3.85 GB BF16 drafter，不重量化不重训。在 Apple M1 Max 上，temperature 0 的代码和数学任务速度为普通解码的 1.07-1.23x，工具调用 1.16x，13 个提示中位数 0.90x，需约 4 GiB 额外内存。通用聊天、长文档和采样建议改用普通解码的 serve.py。
Hugging Face 上发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的 Compact MLX 2-bit 打包，内置 BF16 DFlash2 草稿模型（3.85 GB）与自定义运行时，模型权重未被重新量化或再训练。在 Apple M1 Max 上，temperature 0 的贪心解码下代码、数学与工具调用提速 1.07-1.24x，聊天、长文档等场景反而慢至 0.74-0.96x，13 条测试提示的加速中位数为 0.96x，且需额外约 4 GiB 内存。该打包仅支持 Apple Silicon Mac 与 mlx 0.32.2、mlx-vlm 0.7.2，文件夹内也保留原 serve.py 供普通推理使用。
伦敦一位全科医生开发了全本地运行的临床助手 OpenConsult，在单张 RTX 4090 上实测如何把自动提问的响应压到 3 秒内。MedGemma 27B (Q4_K_M) 每轮需 18 秒，Gemma 4 26B-A4B QAT 降至 5 秒且临床评分相当；vLLM 比.Ollama 和 llama.cpp 快至 3.5 秒，但占用 94% 显存；把一轮的两次调用合并发送后 vLLM 降到 2.8 秒。模型输出约 170 tokens/秒，另测了 Qwen3.6-35B-A3B、Nemotron 3.5 Lightning 和 gpt-oss-20b，Gemma 4 仍最快。项目以 AGPL-3.0 开源，作者在征求进一步提速与 CPU offload 建议。
开发者发布 C++/CUDA 编写的原生张量运行时 SonicBoom v0.0.1，在笔记本 RTX 3050 8 GB 上以相同 GGUF 量化内核实现 Gemma 4 E4B-it 解码 51.65 tok/s，超过 llama.cpp 的 45.20 tok/s，提升来自图编译器（激活量化复用、算子融合与 CUDA Graph 重放）。当前仅支持 Q3_K/Q4_K/Q5_K 量化、Gemma 4 E4B 与 greedy 采样，prefill 约为 llama.cpp 一半，采用 GPL-3.0 协议，后续路线图包括 MLIR GPU codegen 与投机解码。
开发者 turtleninja99 采纳 LocalLLaMA 建议的 n+2 lookahead 预测，在 Mac Mini M5 64GB 上通过 SSD streaming 运行 Qwen Flash Next 时提前两层加载 experts，相比提前一层的方法带来 chat +8%、code +4.2% 的提升。该优化可叠加在其他优化之上，在未优化的原始配置上收益可能更大。
alex-and-the 在 Hugging Face 发布 Qwen3.8-27B-Uncensored-MLX，一个基于 MLX 的 27B 无审查模型，可通过 mlx-vlm 加载并处理图像输入。模型可用 mlx_lm.server 启动 OpenAI 兼容本地服务器，接入 Pi、Hermes Agent 和 OpenClaw 等 Agent 工具。
robertbschuette 在 Hugging Face 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored 的 GGUF 量化包。作者称该多阶段微调模型 8 bit 下 ARC-C 达 0.735、ARC-E 达 0.882（原版 Qwen3.8-27B 为 0.591/0.782），思考 token 减至原版的 1/2 至 1/10。
alex-and-the 在 Hugging Face 发布 Qwen3.5-9B-Uncensored-MLX 模型，提供基于 mlx-vlm 的加载与生成用法。该模型可通过 mlx_lm.server 启动本地 OpenAI 兼容服务器，并已在 Pi、Hermes Agent、OpenClaw 等客户端给出配置方法。
alex-and-the 在 Hugging Face 发布 Qwen3.5-4B-Uncensored-MLX，一个基于 MLX 的无审查多模态模型，可通过 mlx-vlm 加载生成图文描述。模型可经 mlx-lm 启动 OpenAI 兼容本地服务器，接入 Pi、Hermes Agent 和 OpenClaw 等 Agent 工具。
Black Forest Labs 在 Hugging Face 发布 FLUX 3 Image Klein Base，一个 5.6B 开放权重文生图与图像编辑模型，支持最多 10 张参考图，文本编码器为 Qwen3-VL-4B-Instruct。该仓库为未蒸馏 base checkpoint，面向微调、LoRA 训练与研究；模型卡强调必须使用提示词上采样器，并给出 BF16/FP8/NVFP4 格式在 B200 上 31/29/26 GB 的峰值显存数据。模型采用 FLUX Kommunity License，非商业使用免费，年收入低于 500 万美元的合格用户可享商业输出例外。
推荐理由：官方模型卡写清了基础版与蒸馏版的分工、提示词上采样要求和各精度显存占用，方便读者选对 checkpoint 再动手。
huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 通过 abliteration 技术制作去审查版 GGUF 模型，v2 版调整了消融重点且未消融任何专家模块。模型适合小说写作和编程，官方演示使用 UD-Q4_K_XL 量化并支持 262144 上下文，兼容最新 llama.cpp 与 Strata。因安全过滤大幅降低，建议仅用于研究测试环境，输出可能含敏感或不当内容，用户需自行审查并承担相应风险。
Reddit 用户 regunakyle 发帖询问如何本地运行 vLLM 发布的 d3 决策模型系列，llama.cpp 已支持。帖主询问决策模型对量化是否敏感（参照 qwen-2.5-coder FIM 模型建议 Q8 而非 Q4 的经验）、是否比模型本身占用更多 VRAM，以及是否应像 MoE 模型一样把权重拆分到 RAM——帖主认为其基座 qwen 是 dense 模型，应仅存于 VRAM。
一位 Reddit 用户分享 Strata 推理加速体验：加载 qwen3.8-flash-next-unsloth-ud-q4_k_xl、fp16 KV、130k 上下文时，长提示预填充（PP）从 llama.cpp 的 10 分钟缩短到 23 秒，文本生成速度约 3 倍（约 57 tok/s），expert cache 命中率 94.5%。用户连续使用约 10 天，结果稳定，且近期更新后速度进一步提升。
Hugging Face 用户 Joscio 发布 Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 多种格式，文件大小从 4.00 GB（MLX 4-bit）到 14.23 GB（BF16）不等，其中 Q4_K_M（4.60 GB）被推荐为体积与质量的最佳平衡。该版本移除内置安全检查器，可直接生成 NSFW 等敏感图像，需配合 ComfyUI 与配套的 qwen3vl_8b 文本编码器及 VAE 使用，遵循 Qwen Research License。
dealignai 团队基于 deepseek-ai/DeepSeek-V4.1-Flash（552B backbone，8B/16B 激活）发布权重级 abliterated 无对齐版本，原生 FP8 量化、1M token 上下文、保留视觉与工具能力，以标准 checkpoint 形式直接加载。HarmBench-320 上 CRACK 版在 effort=off 和 max 下 ASR 均为 100.00%，而基座分别为 42.81% 和 1.56%；MMLU-14k 全集精度从 86.96% 降至 82.74%（-4.22 pp），剔除伦理类题目后约 -1.1 pp。
同一新闻，精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布：权重级消融版附拒绝率与 MMLU 对比》
GitHub 上的开源 CLI 工具 audit-llm 用于审计本地 LLM 模型文件，提供三类检查：基于 SHA-256 与 HMAC 签名基准的完整性校验、GGUF 与 safetensors 头部验证，以及针对 .pt / .pth / .bin 的 pickle 静态安全分析（不执行代码）。可疑文件会被隔离，支持 JSON 输出与返回码以接入 CI/CD，架构可经 Check 抽象扩展新检查，采用 MIT 许可证。
GitHub 上的 Metriqen 项目在 Apple M2 上用 Ollama 0.30.8 和固定 llama3.2:1b Q8_0 模型做了本地 LLM 服务优化实验，比较 OLLAMA_NUM_PARALLEL=1 与 2，每组 324 次请求全部成功。并发 2 时吞吐提升 34.235%、p95 延迟从 13.561s 降至 11.164s，TTFT 从 5.940s 降至 0.654s；并发 1 时吞吐下降 3.895%。项目称结果为描述性而非因果性，报告未经 GitHub CI 独立审查，也无生产服务或 vLLM GPU 验证。
NeuralForge 让用户在本地 PC 上用显卡训练个人 AI 模型，无需云服务，通过图形界面管理训练数据和进度。要求 Windows 10/11、至少 8GB 显存的 NVIDIA 显卡和 16GB 内存，训练结果可导出为 GGUF 格式在本地聊天界面运行，数据全程保留在用户电脑上。
Nihal-puliyakkady 发布 Gemma-4-31B-Uncensored-NVFP4-DFlash，可在 Windows 本地运行 Gemma 4 31B 无审查模型，采用 NVFP4 压缩缩小体积，并用 DFlash 投机解码加快生成速度。运行需 NVIDIA GPU 至少 24GB VRAM、32GB 内存和 SSD 上 60GB 空间，全部推理在本地完成，无需联网。
Reddit 用户 MrCatberry 的 Tesla V100 SXM2 模组异常：nvidia-smi 中 Pwr:Usage/Cap 显示 N/A，运行 llama-cli 时 dmesg 报 NVRM Xid 44 错误。已尝试更换 PCIe 插槽、重新插拔模组、多次重启，并在 Ubuntu 26.04、nvidia 580 驱动下 CUDA13 与 CUDA12 环境均复现，问题依旧，发帖求助更多排查思路。
一名高中生用自研 C++ 引擎（llama.rn 的 fork）通过 USB RPC 把 Ternary-Bonsai-2-27B（2.06 bpw / 6.52 GiB，PPL 14.26）分层部署到两台 Android 手机上集群运行，集群模式速度约 2.8 tok/s，单机 Xiaomi 15 达 5.6 tok/s。权重以三值（-1, 0, 1）存储在 Hadamard 旋转基中，运行时在 ARM CPU 上应用 Hadamard 变换，只需加减运算、无 MAC 操作，最高温度约 30°C。
一位 Reddit 用户计划购置 Mac mini 全天候运行本地 LLM 与 AI Agent，用于 Q4 量化下最高 27B 参数模型的日常任务和模型探索。帖子在“M4 加 32GB 内存”与“M4 Pro 加 24GB 内存”之间纠结，询问更该优先内存以跑更大模型，还是优先 CPU/GPU 性能以换取更快推理。
Hugging Face 上的 mradermacher/qwen2.5-1.5b-uncensored-i1-GGUF 提供 qwen2.5-1.5b-uncensored 模型的 i1-GGUF 量化版本，供用户下载运行。模型参数规模为 509k params，采用 GGUF 格式，硬件兼容性信息需登录查看。
SaturnHeaven 在 Hugging Face 上传 DeepSeek-V4.1-Flash-UNCENSORED 的 RANMA EXL3 GGUF 版本，模型卡片与文件随后补齐。该版本基于 dealignai 制作的去审查与 EXL3 2.9bpw 量化模型 repack 而成，未重新量化，需 ranma.cpp ranma_20261013 或更新版本。
Hugging Face 上架 taurusduan/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-GGUF 模型，提供 BF16 量化版本。该模型为图像-文本到文本多模态模型，可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等多种方式运行，并支持 llama.cpp 和 vLLM/SGLang 的 OpenAI 兼容 API 本地服务。
DavidAU 在 Hugging Face 上架 Qwen3.6-35B-A3B-Brainwaves-Uncensored-Turbo-Brilliance-50X-Reasoning-Instruct 的 GGUF 版本。该仓库公开可访问，但用户需登录并同意分享联系信息的条件后才能下载模型文件。
ready-eight 发布 GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版，源模型为 dealignai 对 zai-org/GLM-5.3 做权重编辑（非微调）的去对齐版本，总量 753B，文件 273 GiB。作者给出与 FP8 源的 KL 散度和困惑度数据，tau2-bench 对比显示 airline 差 -0.070、retail 差 -0.022，均无统计显著性；另提醒 glm4_5 解析器会把字符串参数 JSON 解码成整数，导致零售场景约 70% 工具调用失败，评测已应用该修复。
推荐理由：作者实测了该量化版与原版的 KL 散度和 tau2-bench 对比数据，可据此评估去对齐与量化带来的实际损失。
Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。Q4_K_M（4.60 GB）为推荐的 GGUF 量化方案，MLX 格式针对 Apple Silicon 优化，模型无内置安全检查器，可直接生成成人及敏感图像。需配合 ComfyUI 和 leejet/ComfyUI-GGUF 使用，文本编码器可卸载到系统内存以节省 9–17 GB 显存。
MorinoNushi 发布 GLM-5.3-Flash（320B 总参/18B 激活 MoE，MIT 协议）的去对齐 LoRA 适配器 V3，用 heretic-gguf 对量化 GGUF 权重做 Optuna 优化的方向性消融。有害提示拒绝率从 V2 的 35/140 降至 14/140（10.00%），KL 0.2380 也低于 V2 的 0.3030；适配器约 86 MB，无需改动或重新量化约 160 GB 基座权重，可直接在主线 llama.cpp 上以 --lora 方式加载，不再需要 fork 或补丁。
推荐理由：原文给出消融方法、拒绝率与 KL 前后对比数据，读者可以据此判断 V3 相对 V2 实际去掉了多少拒绝行为。
mradermacher 在 Hugging Face 发布 tinyllama-1.1b-uncensored 的 i1-GGUF 量化版本，提供 imatrix 量化文件（约 0.1GB），可用于自行创建量化版本。该模型页还汇总了各尺寸量化文件下载列表及 GGUF 使用说明，static quants 也在相关页面提供。
Hugging Face 上的 BOBBYBONKERSBFD/Sulphur-2-Prompt-Enhancer-Uncensored-GGUF 提供了多种部署方式：可配合 LTX-2 视频生成管线（需搭配 google/gemma-3-12b 文本编码器，支持文生视频与图生视频），也可用 llama.cpp、vLLM、Ollama 等工具以 IQ4_NL 量化版本运行，支持 OpenAI 兼容 API 的本地服务器。
mradermacher 在 Hugging Face 发布 smollm2-1.7b-uncensored 的 i1-GGUF 量化模型。该模型参数量为 492k（模型大小 492k params），以 GGUF 格式提供，可按硬件兼容性下载使用。
mradermacher 在 Hugging Face 上发布 qwen2.5-1.5b-uncensored 的 GGUF 静态量化模型。该模型尚未接入任何 Inference Provider，下载量也未统计。
mradermacher 在 Hugging Face 上发布了 tinyllama-1.1b-uncensored 模型的 static quants GGUF 量化版本。该模型下载量未被追踪，目前未被任何 Inference Provider 部署，用户可申请提供商支持。
mradermacher 在 Hugging Face 上发布了 smollm2-1.7b-uncensored 的 static quants GGUF 量化版本。该模型暂未部署到任何 Inference Provider，下载量也未统计。
Reddit 用户 vitamins1000 在双 A100 80GB（PCIe Gen4 x8）+ EPYC 7402P 的 Proxmox 直通配置上运行 llama.cpp 和 qwen3.8 flash next UD-Q4_K_XL，上下文设为 1835008（7 个 262k slot）。单用户生成速度约 50-70tk/s，但 2-3 用户并发时骤降至 10-15tk/s。楼主用于长会话 agentic 编码场景，询问是换 vLLM 还是每卡各跑一个 qwen3.6-35b-a3b，并倾向 MoE 模型。
一位 Reddit r/SillyTavernAI 用户在跑约 300t 的快速角色扮演时，发现 Gemma 4 31B（IQ3XSS）效果不错但生成响应很慢，而 26B（IQ4）速度更快。发帖人询问两者哪个更好，并寻求这两个模型无审查版本（uncensored）的推荐。
Reddit 用户 /u/migsperez 在 AMD R9700 32GB、64GB 内存上用 Opencode 测试 Qwen3.8-Flash-Next IQ3_S 量化模型，解码速度约 90 tok/s，约为 27b 的 3 倍。作者通过先要计划再构建、指定 low poly 风格的提示方式获得明显更好的输出，并分享了结果。
GitHub 上的 sami-surgical-pruner 提供 CLI 工具 sami_gguf_layer_pruner.py，可在不反量化、不依赖 GPU 的前提下直接对 Q4_K、Q5_K、Q8_0 等量化 GGUF 文件做层级裁剪，仅用 CPU 和系统内存即可在数秒内处理多 GB 模型。工具支持按周期或指定索引删层并自动重编号张量与元数据，适合 Qwen3.5 这类混合架构，需 Python 3.10+，采用 Apache-2.0 许可，删层会带来困惑度下降且无需重训练。