新闻、仓库与研究，按时间排列。
DevelopingDad 在 Hugging Face 发布基于 NVIDIA Qwen3.8-Flash-Next-FP4-Local 的去对齐独立权重，将 trial 117 实验的拒绝方向干预直接烘焙进 checkpoint，无需运行时 adapter。实测显示烘焙版拒绝数为 0/100（开发集）与 3/100（保留集），与原 adapter 的 KL 差异约 0.037 nats；散文解码约慢 12%（34.8 vs 39.4 tok/s），代码速度基本持平，需 B12X vLLM 运行时，serve-spark.sh 支持 262,144-token 上下文与 MTP 投机解码。
推荐理由：原文给出了拒绝率与 KL 的实测对比和单机性能数据，读者可以据此判断这个去对齐版本的实际代价与效果。
Reddit 用户 /u/jacek2023 发帖称 Flint 模型已合并进 llama.cpp，PR 在 6 小时后被合并，GGUF 版本托管在 unsloth/flint-GGUF。
开源本地 AI 平台 Vortelio 发布，用单个 Go 二进制在本机运行 LLM、Stable Diffusion/FLUX.1 图像生成、Whisper large-v3 语音转写、Kokoro TTS、WAN 2.1 视频生成、TripoSR 3D 生成，并通过 CrewAI 编排多智能体工作流，无需云端、API 密钥或订阅。平台提供 OpenAI 和 Ollama 兼容 API，可无缝替换现有 SDK 代码，还内置类似 Claude Code 的终端编程智能体 vortelio code。
theJuice85 在 Hugging Face 发布面向 Qwen3.8-27B-GGUF（Q4_K_XL）的去对齐 LoRA 适配器 heretic-qwen38-t26，用 directional ablation 搜索找到。实测将硬拒绝率从基座的 33-86% 降到约 0，能力评测（AIME24、GPQA、MMLU Pro 等 43 个成对项）未发现可统计的能力损失；仅 2.5 MB，AGPL-3.0-or-later。注意其只评测了拒绝率与能力回归，未评测下游安全性，且系统提示词是必要条件，缺失时模型会以带说教的方式作答。
推荐理由：作者给出成对的拒绝率与能力回归数据，硬拒绝从 33-86% 降到约 0 且能力无可测差异，可据此判断这个去对齐适配器的实际效果。
Esxyko 在 GitHub 发布 llm-classification-finetuning 项目，用于 Kaggle LLM Classification Finetuning 竞赛，比较两个模型对同一提示词的回答并预测 A 胜、B 胜或平局。项目支持冻结 Qwen3-4B 主干加可训练成对分类器，以及 LoRA 和 4-bit NF4 QLoRA 训练，提供防泄漏的 80/20 分层划分、holdout 验证和混淆矩阵报告。训练需 1 块 CUDA GPU，提交推理需 2 块。
GitHub 上的独立社区研究项目 Maxxxel/v100-volta-ai-optimization-lab，在单张 NVIDIA Tesla V100-SXM2（16 GB HBM2）上研究推理性能、agent 可靠性与能效。项目基于 CUDA 12.8 与 llama.cpp/GGUF，累计覆盖 130 个模型挑战者、32 种附加技术、108 个合格因子范围，证据快照为 Matrix revision 237。项目与 NVIDIA、Ollama 等无隶属关系，研究仍在进行，未得出通用最优模型结论。
pipe1os 发布开源 CLI 工具 modelinfo-cli，可离线检查 .safetensors、.gguf、.pt 模型 checkpoint 并计算硬件需求，仅用 Python 标准库读取二进制头文件，本地解析在 100ms 内完成。支持通过 Hugging Face Hub 的字节范围请求在 2 秒内远程读取头部而无需下载 checkpoint，可按上下文长度计算 VRAM、用 --vllm 模拟 PagedAttention 池可服务 token 数，并按 --gpu 与多卡 --topology、--strategy 做硬件适配诊断和并排对比。
推荐理由：工具只用标准库解析模型头文件，本地毫秒级、远程免下载整个 checkpoint 就能算 VRAM，部署前选型可以省大量磁盘和时间。
Mica v0.5 是一个 4B 决策模型，可跑在单张消费级 GPU 上，在 RTX 6000 Ada 上 256 tokens 决策耗时 19.8 ms，比其他 4B 评测模型快至多 3.8x，比 API 决策模型快 25 到 340x。它在 JevBench Hard 得 84/111，为已知 4B 模型最佳，JDI 得 58.8，超过所有受测 9B 和 35B 模型。提供 INT8、BF16、Q8_0、IQ4_XS 等格式，8 GB 显存即可运行，采用 Apache-2.0 开源。
一位 Reddit r/LocalLLaMA 用户发布了 Swift 1.5 的自产量化版本，对全精度模型应用 Heretic 方法并量化到 IQ4_XS。其 tensor profile 提取自 Qwen 3.8 Flash Next 的 UD-IQ4_XS GGUF，量化所用 imatrix 覆盖数学、代码、英语、通用指令与工具场景。目前仅提供 IQ4_XS 格式，作者接受其他格式的请求。
ily-lab 发布 GLM-5.3-Flash-UNCENSORED 的 R2-40 IQ5_KS 路由专家 GGUF，供 g53 引擎在 1-2 张 RTX 3090 上运行这个 320B 总参 / 18B 激活的 MoE 模型。该模型基于 zai-org/GLM-5.3-Flash（MIT），由 dealignai 制作去对齐版本，移除了安全拒绝；专家文件约 207 GB 分 13 个分片，密集骨干来自 dealignai/GLM-5.3-Flash-UNCENSORED-FP8，相对 BF16 的平均 KL 散度为 0.026-0.036，并附 BF16 视觉投影器 gguf 支持图像输入。专家文件本身也是含全部张量的有效 ik_llama.cpp GGUF。
一位用户在不到 2000 欧元的二手 PC（RTX 3090 24GB、128GB DDR4、i9-9900X）上运行了 748B 参数的 DeepSeek-V4.1-Flash-1017，采用 1-bit 量化（Unsloth UD-IQ1_S GGUF，磁盘占用 233GB），通过 llama.cpp 实测速度 7.2 tok/s。110GB Engram 表留在 NVMe 上按需读取，上下文长度 16384；作者认为实用性有限，Qwen 模型在该配置下表现更好。
prithivMLmods 在 Hugging Face 发布 Qwen3.8-27B-abliterated-MTP-GGUF 模型，提供 BF16 量化版本。该模型为图像-文本到文本的多模态模型，可在 Transformers、llama.cpp、vLLM、SGLang、Ollama 等多种框架中加载运行，并支持通过 OpenAI 兼容 API 进行本地部署和调用。
Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版，体积 4.391 GB、4.94 bits/weight，相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式，组成 Q4_K×126、Q5_K×105、F16×66；实测平均 PSNR 24.25 dB，高于统一 Q4_K 的 22.44 dB，4 个测试主体中 3 个胜出，可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载，需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。
推荐理由：作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据，读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。
BIGJUTT/Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 是在 HauhauCS 的 uncensored Qwen3.8-27B 权重（866 个 tensor 与上游逐字节一致）上，套用 DavidAU Turbo-Brilliance "AI Construct" 聊天模板的 GGUF 模型，支持 Joker、Dr. House、20-agent Einstein panel、Socratic tutor 等按请求选择的模式。模板内置于每个 GGUF 中，llama.cpp、LM Studio、Ollama 无需额外参数即可加载，文档给出 llama.cpp、vLLM、Ollama、Docker 等多种运行方式，示例量化为 IQ4_XS。
mradermacher 在 Hugging Face 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Instruct 的 bf16 GGUF 量化版本（i1）。该模型为去审查（uncensored）指令模型，提供 GGUF 格式便于本地硬件部署。
作者 AryThakar 发布 Zen-harness，一个通过 llama.cpp 运行 Qwen 3.6 35B-A3B 的本地个人 Agent 框架，可在自有 GPU（约 24 GB 显存）或 Kaggle 免费 T4 x2 上运行。主 Agent 调度网页研究、文档检索和数据分析三个助手，关键事实和数字由代码校验而非模型自证，含 664 项测试、Windows 免安装包，采用 PolyForm Noncommercial 1.0.0 许可，非商业免费。
推荐理由：作者公开了完整架构文档、664 项测试和分阶段实测记录，可据此了解一个本地 Agent 系统如何用代码校验约束模型输出。
Tyler Greaux 发布的 Tyler-LLM 是一系列 1.7B–32B 的本地小型模型，经前沿模型知识蒸馏而来，提供 GGUF 与 NVFP4 格式并内置 agent，无需云端、无遥测，采用 Apache-2.0 许可开源。
yago-mendoza 发布 apu-llm 仓库，让 GPU 共享系统内存的 APU 笔记本一条命令完成本地大模型安装、问答与基准测试，并通过内置 MCP 服务器让 Claude Code 把批量文本工作交给本地模型。在 Ryzen AI 7 PRO 450、64GB LPDDR5X 参考机上，Qwen3.6 35B-A3B（MoE，3B 激活）经 Ollama 跑在 iGPU 上写入 11.7 tok/s、读长输入 93 tok/s，加载占 20.6GB；Qwen3.8 27B 稠密模型更聪明但写入仅 2.6 tok/s。
推荐理由：作者在一台 64GB 无独显的 ThinkPad 上实测了 APU 跑 35B 模型的真实速度与智能水平，并给出按内存选型的对照表。
社区在单张 RTX 5080 16 GB（Linux/Fedora 44）上用 Strata v0.2.1 测试 Qwen3.8-Flash-Next IQ3_XXS、64K 上下文，中位解码速度 150 tok/s，16K-32K 预填充约 4,400 tok/s，4K 预填充 3,755 tok/s、TTFT 1.08 s。agent 会话缓存命中 69.5%，每轮 TTFT 0.97 s。测试还发现 Fedora 44 上 GCC 16/15 混用导致链接失败，统一用 g++-15 编译可解决。
mradermacher 在 Hugging Face 上架了 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化模型，提供 IQ3_M 等量化格式。页面给出 Transformers、llama.cpp、Ollama、Docker、LM Studio、MLX 等多种本地运行与部署方式，可通过 llama-server 启动 OpenAI 兼容本地服务器。
一位 r/LocalLLaMA 用户在 strata 中部署 Qwen 3.8 Flash Next（IQ4 xs 量化）后表示被其表现折服，称体验接近其去年专业场景使用的模型。他此前常用 3.8 27b（Q6 kv8），认为 Flash Next 虽不完美但已足够胜任大多数任务。
r/LocalLLaMA 有用户称此前关于 RTX 3090 的热议帖现在看来有道理，但自己没有 3090 无法验证，希望社区有人证实。发帖者猜测早年为抑制挖矿需求所做的硬件改动若被修复，可能对 LLM 推理有利，并强调与原帖作者无关、没有小号。
mradermacher 在 Hugging Face 上线 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking-bf16-i1-GGUF 量化模型，提供 Q2_K 等量化格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行，支持 OpenAI 兼容本地服务器，并适配 Ollama、Docker Model Runner、Lemonade、LM Studio 等多种本地工具。
/u/jesdga95 在自研推理引擎 Basalt 中跑通 DeepSeek V4.1 Flash 1017（Unsloth UD-IQ1_S），硬件为 RTX 5090 加 RTX 5060 Ti 16 GB 和 128 GB DDR5。107 GiB 专家全部放内存、5090 作热门专家缓存时解码 53.6 tok/s，让 5060 Ti 计算部分专家后达 63.5 tok/s，同硬件同量化的 llama.cpp --fit 基线约 20 tok/s；6.2k 提示词 prefill 为 610 tok/s。支持工具调用、图像和最高 1M 上下文（1M 提示词约 26 分钟），greedy 输出与 llama.cpp 在全部测试提示词上一致，尚无 PPL/KLD 数据。
Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF：把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式，并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上，带草稿头的文件达 69.3 tok/s，无头版本 50.8 tok/s；困惑度 8.2894 优于 2.125-bit 版的 8.4593，MMLU 76.07%、HumanEval pass@1 75.00%，重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。
推荐理由：作者不仅重打包了消融权重，还给出困惑度、tok/s 和 MMLU 等前后对照数据，可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。
IBM 在 Hugging Face 发布 Granite Speech 5.0 系列：新增 granite-speech-5.0-2b 语音语言模型，并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置，英文平均 WER 5.06%，在开源权重 ASR 模型中排名第 2；Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx；4.1 2B Plus 说话人归因与时间戳更准，长语音 WER 降 24%。三款模型均为 Apache 2.0 许可，支持 Transformers、vLLM、llama.cpp 等。
推荐理由：官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据，读者可据此挑选适合的语音模型。
/u/No-Dragonfly6246 发布了优化版 Cosmos3-Edge，用 INT4 量化让 BF16 装不下的 8GB Orin Nano 也能运行。Orin Nano Super 8GB 解码速度 152.5 tok/s，VLM 峰值内存低至 3.3GB；五个 VLM 基准分数从 65.56 降至 65.20，当前已发布 VLM 部分，扩散模型与 robot policy 部分即将添加。试用地址 https://embedl.com/nvidia/cosmos3-edge/orin-nano-super
推荐理由：作者给出了量化后各设备的解码速度、峰值内存和五个 VLM 基准的前后分数，部署收益可直接对照验证。
Hugging Face 上架模型仓库 dsfsfdff/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-GGUF，提供 IQ3_S 量化版本。文档给出通过 llama.cpp、vLLM、Ollama、Docker 等工具运行该模型的具体命令，可启动 OpenAI 兼容 API 的本地服务器或在终端直接推理。
作者开源了一个基于 LangGraph.js 的 GitLab 代码审查 agent，用 sglang 在两块 4090（PCIe、TP=2）上跑 Qwen3.6-35B-A3B（QuantTrio AWQ 4-bit）。单流解码约 180 tok/s（~50k 上下文）、prefill 9-10k tok/s，8 并发共 985 tok/s；单次审查平均 26 次 LLM 调用、2.3M tokens，已累计 1300+ 次审查，约 70% 的评论被作者采纳解决，约 7% 的运行因模型自我循环而终止。
推荐理由：作者给出双 4090 跑 Qwen3.6-35B-A3B 做代码审查的完整吞吐数据和 1300+ 次实测结果，可复用到自己的本地部署。
AtomicChat 发布 DeepSeek-V4.1-Flash-1017 的 DwarfStar（ds4）Q2 版 GGUF，把 DeepSeek 的拒绝方向从权重中投影移除，仅替换写入残差流的 122 个张量，其余字节与原文件一致，文件大小 365.7 GB，MIT 许可。同一编辑在 llama.cpp 实测中，JailbreakBench 英文拒绝率从 91.4% 降到 0.0%，XSTest 安全拒绝率从 8.0% 降到 0.4%，MMLU 变化在约 2 分内；该文件本身尚未在 DwarfStar 上测得数据，适用 Metal（Apple Silicon）、单张 CUDA GPU 或 ROCm。
推荐理由：原文给出同编辑在 llama.cpp 上的 JailbreakBench 等前后实测数据，读者可以据此估算该 Q2 版本的去对齐收益与 MMLU 代价。
burningfeet 在 Hugging Face 发布基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 的 Genesis 版 GGUF 模型，经 Marchenko–Pastur 定律的 SVD 张量去噪修复，0/465 次拒绝。模型为 MoE 架构，总参数 35B、每 token 激活约 3B，原生 262K 上下文（YaRN 可扩展至 1M），支持文本、图像、视频多模态，兼容 llama.cpp、LM Studio 等运行时。
AtomicChat 将 DeepSeek-V4.1-Flash-1017 中的拒绝方向从权重中投影移除，发布 GGUF 量化版和 rank-1 LoRA 适配器。实测 JailbreakBench 英文拒绝率从 88.9%/91.4% 降至 0.0%，3.58bpw-Q2_K 档 MMLU 86.0%→86.6%，2.67bpw-IQ1_M 档 MMLU 降至 81.8% 未通过门槛；需支持 DeepSeek-V4.1 的 llama.cpp 构建（如 Unsloth 的 commit 9d907b7cfe0e），Engram n-gram 表可留在 SSD 上分页读取。
推荐理由：原文给出拒绝率、KLD 和 MMLU 的前后对照数据，还说明各量化档的取舍，读者可据此选择合适的版本。
Microsoft 在 GitHub 发布 multi-modal-rag-with-colpali 仓库，提供基于 Azure Kubernetes Service 的多模态 RAG 方案，将文档页作为图像处理并生成 token 级嵌入。默认使用量化版 TomoroAI/tomoro-ai-colqwen3-embed-4b-awq（4B 参数、320 维嵌入），由 vLLM 在 12 GB A10 GPU 上推理，检索用 Qdrant 向量数据库。方案包含事件驱动的文档处理流水线、Bicep 基础设施模板、Helm charts 及 Agent API 和 UI。
一篇 arXiv 论文提出用 16 MB 冻结 512-bit 编码表替代可训练嵌入层，经主成分投影和符号二值化得到，无任何可训练参数。在 Gemma 3 270M 形状模型上，可学习词表花 2.6 倍可训练参数只换来 0.20 nats 验证损失改善，而冻结词表模型在 LAMBADA、HellaSwag、PIQA 上持平或更好，仅 ARC-Easy 落后；在罕见词上反超 1.7 到 2.3 nats，训练后新增 10,000 词仅损失 3%，可学习词表则崩掉 43%。配合 ternary BitNet b1.58 主体，整个模型仅 46 MB，在笔记本 CPU 上以 62 MB 内存生成 615 到 740 tokens 每秒，速度是 float 模型 8-bit GGUF 的五到六倍、内存为其七分之一。
推荐理由：论文用同一训练设置对照验证冻结 16 MB 词表的效果，并给出 LAMBADA、PIQA 等基准与 CPU 生成速度数据，权重和评测全部开放。
AtomicChat 放出 BFL 的 FLUX 3 Image Klein 提示词扩展器去拒绝版本，通过投影移除拒绝方向，以 GGUF 和 3MB LoRA 两种形式提供。作为对话模型，英语拒绝率从 63% 降到 0%，俄语从 29% 降到 1%，MMLU 仅从 74.15% 降到 73.95%；在 Klein 文生图管线中未观察到去审查效果，因原始图像模型本身已能画出敏感类别。
推荐理由：发布方给出拒绝率、MMLU 和量化损失的完整实测数据，读者可据此判断这个去对齐版本的实际代价。
AtomicChat 发布 FLUX 3 Image Klein 文本编码器 Qwen3-VL-4B-Instruct 的去对齐 GGUF，将拒绝方向从权重中投影移除，供 stable-diffusion.cpp 以 --llm 直接使用。英文拒绝率从 79% 降至 0%，俄语从 32% 降至 0%，MMLU 从 71.1% 到 71.2%；提供 BF16 到 Q4_K 多档量化，并附与 webmp3 Sakura 等同类编码器的对比数据。
同一新闻，精选展示《FLUX 3 Image Klein 文本编码器去对齐 GGUF 版发布，英文拒绝率从79%降至0%》
OpenBMB 的技术文章介绍 MiniCPM-V 4.7 通过 Lookahead Expert Scheduling（LES）在本地运行 35B-A3B MoE，不改变路由或跳过专家。该方法预测下一层所需专家并提前从闪存预加载权重，配合优化的权重布局、混合精度量化和 DSpark 投机解码，在 iPhone 18 Pro Max 达到 20.51 tok/s，是 3.38 tok/s 基线的 6.07 倍；专家权重缩小 26.7% 且五个基准仅降 0.16 分，低内存配置峰值内存约 3 GB。实现已开源在 llama.cpp-omni。
推荐理由：原文转述了 LES 预加载专家权重、不改路由的思路，并给出 tok/s、体积和内存等实测数字，可作本地跑大 MoE 的参考。
pottokao 在 Hugging Face 发布 LiquidAI LFM2.5-24B-A2B 去审查版的 NVFP4（W4A16）量化模型，经 Heretic ARA 处理后拒绝率从 89/100 降至 0/100。模型体积 14.95 GB（BF16 原版 48 GB），仅 MoE 路由专家采用 NVIDIA ModelOpt 0.45 量化，其余权重保持 BF16，可用 vLLM 部署，适用于研究、红队测试与个人使用。
pottokao 在 Hugging Face 发布 LiquidAI/LFM2.5-24B-A2B 的去对齐 GGUF 量化版，用 Heretic ARA 去审查后拒绝率从 89/100 降到 0/100，BF16 权重上 KL 为 0.260。所有 attn_output 张量保持 Q8_0，去对齐修改集中在 blk.38.attn_output；IQ3_M 档可在 16 GB 显存单卡运行，模型回答前会先思考，需留较大输出预算。
推荐理由：作者给出了用 Heretic ARA 去对齐前后的拒绝率对比和 KL 数值，并说明各量化档的显存取舍。
mradermacher 在 Hugging Face 上架 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Instruct-bf16-GGUF 量化模型，提供 Q4_K_S 等量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具本地运行，支持启动 OpenAI 兼容服务器或在终端直接推理。