新闻、仓库与研究，按时间排列。
perkel 在 Hugging Face 发布 OrcaRouter 对 Qwen3.8-Flash-Next（177B 参数、每层 512 专家、10 激活）做 abliteration 去拒绝处理的 BF16 版本的 MegaCapybara 格式量化文件，提供 Tiny（专家 2 bit，30.7 GB）和 Small（专家 3 bit，45.8 GB）两档，可单张 RTX 5090 运行。
推荐理由：原文给出abliteration的具体改动位置和与BF16原模型的KL散度、top-1一致率及RTX 5090实测速度，可据此评估精度损失。
huihui-ai 基于 nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2 发布 abliterated 无审查版 GGUF 模型，通过 abliteration 移除模型拒答行为。仅第 2 至 52 层被消融，支持 llama.cpp 以 262144 上下文运行。官方提示安全过滤大幅降低，建议仅用于研究或受控环境。
作者 /u/web3samy 发布了受操作系统与 JIT 编译器启发的推理引擎 jitllm，可在生成回复过程中把模型层在不同硬件间移动并重新排布。Llama-3.2-3B 在 2×T4 上层迁移耗时 8.1-8.4ms、2×V100 上约 20-21ms，RTX 3050 Ti 笔记本上 CUDA 到 Vulkan 迁移 91ms，均无 token 重算。KV cache 随层分页迁移，prompt 无需重新处理，输出与未迁移运行一致。代码见 https://github.com/jitllm/jitllm
推荐理由：作者给出了各硬件组合下层迁移的耗时与零重算数据，可用于评估这种运行中模型调度思路的落地成本。
arXiv 论文 2610.18343 用 BAVGROUND 基准在巴伐利亚语、标准德语和英语上评估 14 个开源 7B–10B 指令模型的量化鲁棒性。8-bit GPTQ 接近 BF16 且基本保持三语相对行为；4-bit GPTQ 与 AWQ 使平均准确率下降约 1.4–1.5 个百分点，改变 11.9–16.0% 的 BF16 决策，且 5 个模型的自由文本评测显示 4-bit 压缩在选择题准确率变化不大时也可能劣化生成回答。受影响最大的语言随模型、量化方法和校准数据而变，不能仅凭聚合多语言准确率衡量。
D2ziggy/Qwen2.5-1.5B-Instruct-abliterated 已通过 ggml.ai 的 GGUF-my-repo 转换为 Q8_0 GGUF 格式并上线 Hugging Face，可用 llama.cpp 的 llama-cli 或 llama-server 直接加载运行，服务端示例上下文长度为 2048。模型卡还给出从 GitHub 克隆 llama.cpp、用 LLAMA_CURL=1 编译及 LLAMA_CUDA=1 等 GPU 标志的构建步骤。
evanwtf 发布 local-llm 仓库，通过 Python 脚本和 RESULTS.md 记录本地运行编码 Agent 的最佳模型+引擎+客户端组合，按代码质量、解题能力和速度评判。核心发现是答案是组合而非单一模型，同一权重在一个客户端下最慢、在另一个下最快，因此每条结果都同时标注模型（如 Qwen3.8-Flash-Next UD-Q3_K_XL）、引擎（llama.cpp、Ollama、ds4）和客户端（OpenCode、Claude Code、Codex）三个维度。
推荐理由：原文给出本地编码 Agent 的三维评测方法，同一权重在不同客户端下速度排名会互换，测量时必须同时报告模型、引擎和客户端。
Hanselor 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 套件，打包 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四种 GSQ-RCO 量化权重，并新增一个 480 KB 的拒绝方向文件，由 Strata 在运行时投影去除拒绝行为，权重本身保持原样。单张 RTX 3090 实测显示该向量开启后 10 条提示拒绝从 9-10 降到 0，IQ3_S 的 KL 到 BF16 为 0.0738，IQ2_XS 在 131K 提示下解码约 80 tokens/s；agent 编码任务 5/5 通过。作者提醒移除拒绝会移除安全行为，输出由使用者自行负责。
推荐理由：作者给出了拒绝率、KL 与解码速度的实测数据，可以据此判断运行时去拒绝方向对量化模型的实际改动有多大。
AtomicChat 基于 Liquid AI 的 LFM2.5-24B-A2B 发布去除拒绝行为的去对齐版本，英文拒绝率从 96.3% 降至 1.2%，俄语从 62% 降至 0%。方法为沿单一方向编辑 blocks 14-39 的 52 个矩阵，MMLU 基本不变（64.40%→65.55%），提供 6 个 GGUF 量化版和一个 24 MB LoRA 适配器，可对现有量化权重用 --lora-scaled 加载。
推荐理由：原文给出完整的拒绝率前后对比、MMLU 变化和编辑方法细节，读者可以据此判断这个去对齐版本去掉多少、损伤多少。
44sunsetsf 公开 DAT300 第 7 组项目，在 Raspberry Pi 集群上用 llama.cpp 跑 Llama-3.2-3B-Instruct Q4_0，对比流水线并行与张量并行并定位瓶颈：单台 decode 受内存带宽限制（1.85 tok/s），2 台 TP 每个 token 同步 56 次，原版在 4/8 台时全经主控中转，模拟 8 台时每 token 有 4164 次串行网络延迟。其 fork 的 dat300 分支实现任意 2/4/8/16 台直接 allreduce，模拟 8 台时串行延迟次数少 19 倍；rpc-server 用 -t 3 后 2 台 TP 从 2.31 提到 2.93 tok/s，输出层改 Q4_0 再快 9% 至 3.19，困惑度仅差 0.6%。
cc1244578151 在 Hugging Face 发布 UkisAI Swift-1.5-Qwen3.8-Flash-Next（Qwen3.8-Flash-Next 的推理高效量化衍生版）的 abliterated 版本，通过对已量化 GGUF 做 GGUF 字节级张量移植，替换写回残差流的 144 个张量（约 41.1B 参数，占 125B 主模型的 33%），移除拒绝方向，donor 权重来自 orcarouter 的去对齐版本。发布 IQ3_S / IQ3_XXS / IQ2_XS / Q2_0 四档量化，每档与上游差距不超过 0.2%，并给出逐张量 blake2b 校验（144 变更 / 1080 不变 / 0 例外）。
推荐理由：原文给出了逐张量 blake2b 校验、BF16 对比和推理效率前后数据，读者可以据此判断这种字节级移植的去对齐质量。
jongstra 在 Hugging Face 发布 Qwen3.8-27B-Abliterated-MLX 的 6bit FP16 社区转换版，面向 Apple Silicon 上 oMLX 的 FP16 prefill 路径，并从 metajazz 仓库移植了 29 个 tensor 的 MTP draft head。在 Mac Studio M2 Ultra 上实测，开启 MTP 后代码解码从 26.4 tok/s 升至 31.6 tok/s（+20%），推理任务 +25%，draft 接受率约 92%。该模型经 abliterated 处理以抑制拒答，采用 Apache 2.0 许可。
thelogicalgate 发布 NVIDIA Nemotron 3.5 Lightning 30B-A3B 的去对齐 MLX 4-bit 版本，保留原量化格式与 MTP sidecar，权重约 17.25 GiB。去对齐采用残差方向投影，从 8 个拒答提示与 8 个良性提示估计对比方向，移除第 20 层方向于 76 个残差写入矩阵；验证显示全部张量校验通过，16 条良性提示未检出拒答前缀，256-token 语言控制 NLL 上升 1.01%，拒答前缀概率比约 0.555 与 0.603。作者指出这是真实权重修改而非系统提示替代，模型仍可能拒答部分请求，且未生成完整有害回答评测。
推荐理由：模型卡给出消融方向、编辑层与拒绝概率比等验证数据，可据此评估这一去对齐版本的实际改动幅度。
一位开发者在 NVIDIA Tesla P40（24 GB）上本地运行 Qwen3.8FN Q4 智能体 Drax，10 轮对话含缓存 electricity 成本为 C$0.0068-C$0.014，低于除 GPT-6 Luna 和 Claude Haiku 5.5 之外的云模型，谷段电价下为全场最低。该智能体支持约 130k 上下文、prompt cache 利用率超 90%，可整天运行至任务完成，虽然速度慢但完成质量更高。
三值量化 LLM 在无点积指令的 Arduino UNO Q（4x Cortex-A53）上测试：TQ2_0 比 Q4_0 快 43.7%，但训练后三值化的 Qwen3-0.6B 质量崩溃。Stage 0 结果见 REPORT.md（G1: PASS），预注册方案为 PREREG.md。
/u/giveen 发布 NInfer 的扩展 fork ninfer-ext，在单张 RTX 5090 上实测多款模型的 prefill 与 decode 吞吐。测试覆盖 Gemma 4 26B-A4B (QAT int4)、Gemma 4 31B IT M1、Qwen3.6-35B-A3B（含 nvfp4）、Qwen3.8-27B（含 nvfp4）和 Qwen3.8-Flash-Next nvfp4，给出 1/2/4/8 并发下数据，prefill 最高达 21,897 tokens/s（Qwen3.6-35B-A3B nvfp4，C=8），并对比 plain 与 MTP 投机解码模式。
推荐理由：作者用自家 fork 在单张 RTX 5090 上给出多个模型不同并发与量化档的 prefill 和 decode 数据，可直接比对选型。
一位 LocalLLaMA 网友询问：现用 RX 7800 XT 16GB 跑 Qwen3.8 27B 4bit 量化，120k 上下文约 40 t/s，想扩到 250k 上下文以替代 AI 订阅。发现二手 RX 7900 XTX 售价 €900，旧卡可卖 €500，升级净成本约 €400，并称 7900 XTX 社区更大、跑 LLM 的方案更多。
Reddit 用户 /u/Usual_Tackle5892 不等 512GB 版 M5 Ultra，改用 M5 Ultra 256GB 做 prefill、M3 Ultra 512GB 经 Thunderbolt 5 RDMA 接收缓存做 decode。17.5k token 提示下，GLM-5.3-Flash 4-bit 总耗时从约 40 秒降到约 18.5 秒，缓存交接仅 38 ms 传输 358 MB，M3 上解码 36.8 tok/s 且输出与 M5 一致。作者用 MLX JACCL 后端与 mlx-vlm 0.7.6 搭建，并逐组件分析出 M5 预填充近半时间花在无法用矩阵单元的内核上，限制是 prefill 节点需装下完整模型，仅适用于 256GB 内可容纳的模型。
推荐理由：作者用真实负载实测拆分前后数据，并逐组件剖析预填充耗时构成，方法可迁移到自己的多机推理调优。
一位 PhD 学生在 r/LocalLLaMA 征求 GPU 升级建议，现用 RTX 3060 12GB 跑 Qwen3 14B，想升级到 27B 级模型做智能体编排、会议转录和 Home Assistant 等本地服务。三个选项：二手 3090（€1100–1400，24GB）、2x 改装 3080 20GB（约 €650–900，共 40GB）、全新 R9700（约 €2000，32GB），并询问量化等级对 tool-calling 及 ROCm 在 Proxmox 下的实际表现。
Liquid AI 在 Hugging Face 发布 LFM2.5-24B-A2B，一个 24B 总参数、2.45B 激活参数的纯推理模型，主打设备端私有 Agent，上下文 131,072 tokens，支持 16 种语言。该模型在 LiveClaw 上得 48.09 分，超过参数量多约 50% 的 Qwen3.6-35B-A3B（38.19）；在 Apple M5 Max 上解码 184 tok/s，单张 NVIDIA B300 GPU 高并发下超 21K 输出 tok/s。官方同步提供 FP8、GGUF、ONNX、MLX-4bit 等多格式权重，并给出与 vLLM、SGLang、llama.cpp、Transformers 的部署指南及 Agent Harness 配置示例。
minpei 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated IQ3_S 的 Strata pack，包含 dense 权重与张量索引，绑定 GGUF revision eec4e10a，dense.bin（1.5 GB）仍在上传，可用 tools/iq_pack.py 9 秒自建。在 RTX 3060 12 GB + GTX 1080 Ti 11 GB、64 GB RAM 参考配置下，上下文 131,072 tokens，解码速度 21.9–24.6 tok/s。该模型已 abliterated（移除拒绝方向），无内置护栏，需自行提供内容审核。
AtomicChat 将 OpenBMB MiniCPM-V 4.7 35B-A3B 的一个拒绝方向从原权重中投影消除，提供三种内置 GGUF 量化版本和一个 106 MB LoRA 适配器。在 held-out 提示上，英文拒绝率从 96.3% 降至 0%，俄语从 70% 降至 0%，MMLU 仅变化 0.25 分；20.1 GB 版本与原模型 top-1 一致率 94.5%。方法基于 Arditi et al. 2024 的单方向拒绝机制研究。
推荐理由：发布附上完整的消融方法与held-out测试数据，拒绝率、MMLU、KLD等前后对比都可复核，适合想自己动手去对齐的人参考。
webmp3 在 Hugging Face 上架 Sakura-MiniCPM-V-4.7-1B-Uncensored 的 GGUF 量化模型（示例量化格式 Q4_K_M）。模型可通过 llama.cpp 本地部署，支持 OpenAI 兼容 API，并提供 vLLM、Ollama、Docker Model Runner、Lemonade 等多种运行方式。
Qwen3.8-27B 的 HauhauCS Aggressive 去审查微调版被转换为 NInfer 专有的 .ninfer 格式，供 RTX 4090（sm_89）使用，每个文件约 19.03 GiB，提供 v2 与 v3 两种容器。该模型去审查彻底，HauhauCS 报告在 465 条探测集上 0 次拒答，仅能被 NInfer 引擎加载，不支持 transformers、vLLM、llama.cpp 或 LM Studio。262,144-token 预算、INT8 KV 下快速语料困惑度为 4.4005（官方版 4.3446）。
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复，发布 Huihui-Qwen3.8-27B-abliterated-GGUF 无审查版本，仅对 22 至 52 层（0 起始索引）做消融，其余层保持原样。针对 Q8_0 以下量化版本，将 token_embd、output、ffn_down、ssm_out、attn_output 等张量转换为 Q8_0 并命名为 K_L 系列，Q8_0 版则改为 BF16 并命名 Q8_0_L。模型可经 ollama（huihui_ai/Qwen3.8-abliterated）运行，llama.cpp 需最新版，上下文长度 262144。
huihui-ai 基于 abliteration 技术推出 Qwen3.8-27B 的去审查 GGUF 版本，仅对第 22 到 52 层（0 起始索引）做消融，其余层保留原样，MTP 与视觉部分未修改。多个衍生系列分别来自 unsloth、ISTA-DASLab、prism-ml、ukisai 和 ConwayResearch 的 GGUF 权重，其中 Q2_K_L 至 Q6_K_L 版本将待消融张量 requantize 到 Q8_0 以提升回复质量。模型可通过最新版 ollama（huihui_ai/Qwen3.8-abliterated）或 llama.cpp 运行，支持 -c 262144 上下文，官方建议仅用于研究测试而非生产环境。
LiquidAI 发布 LFM2.5-24B-A2B，是 LFM2.5 家族中最大的最终版本，为 24B 总参数、2.45B 激活参数的 MoE 推理模型，主打端上快速私有 Agent，并放出 GGUF 权重和 playground.liquid.ai 在线演示。官方称其 agentic 与工具调用能力可对标总参数和激活参数多约 50% 的 Qwen3.6-35B-A3B，LiveClaw 得分 48.09 对 38.19；Apple M5 Max 上 184 tok/s，单张 NVIDIA B300 GPU 上最高 21K 输出 tok/s。模型上下文长度 131,072 tokens，支持 16 种语言，训练用量 36 trillion tokens。
Launch80 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-Int4-baked，将上游 ajgazin 的拒绝方向消融权重整体量化为 GPTQ INT4，lm_head 与 MTP draft 也压到 INT4，单卡 Intel Arc Pro B65 32 GB 可用原版 vLLM 服务 262,144 token 上下文。
推荐理由：原文给出拒绝率实测、困惑度与逐张量相对误差对比，读者可据此核验这个 INT4 去对齐版本的量化质量与解码速度。
AliceThirty 发布的 GLM-5.3-Flash-UNCENSORED-V3-GGUF 模型提供 UD-Q4_K_XL 量化版本，可通过 llama.cpp 在 macOS、Linux 和 Windows 本地运行，支持启动 OpenAI 兼容服务器及终端直接推理。该模型也可通过 Ollama、Docker、LM Studio 等工具加载使用。
TokForge 为 Qwen3.5-4B-Claude-4.6-Opus-abliterated 模型发布 NPU catalog pair 资源包，让骁龙 8 Elite Gen 5 与 8 Gen 3 手机在 TokForge 应用内用 Hexagon NPU 读取长提示词，CPU 负责生成回复。资源包按芯片分为两个文件夹，分别约 3.67 GB 和 3.65 GB，含 49 个 QNN context binary 及 MNN 配置，须搭配指定 commit 的 MNN 转换模型使用，NPU 部分加载约需 6.3 GB 内存。
一位 Reddit 用户分享如何用一台 4U 服务器为 40 名员工（其中 10 名开发者）提供本地 AI 服务，总成本约 55k€。服务器配备 4 张 6000 Blackwell MaxQ、384GB DDR5 和 AMD EPYC 9275F 24 核 CPU，运行 Proxmox 并以 LXC 容器部署。主模型为 DeepSeek V4 Flash（vLLM、TP4、1M 上下文），备用模型 Qwen 3.8 27B Q8（265K 上下文），另配 n8n 自动化、OpenWebUI、ComfyUI 及 BGE-M3 嵌入/重排。
3090 Founders Edition 的 VRAM 散热较差，实测在 Nvidia 默认风扇/功耗曲线下，token 生成开始数秒内 VRAM 温度即达 112C，超过 96C 的持续运行额定值。测试用 qwen3.8-27b 5.1bpw 并开启 MTP（三 token/前向、70% 接受率），结论是将功耗压到 270W 并手动设 100% 风扇可防过热，代价是吞吐量损失 30%；undervolting 无效，因 Nvidia 只在 300W 以上才应用 clock offset。
webAI 发布 TwIL-LM3-Pro，一个基于 IBM Granite 4.2 3B、专为形式逻辑后训练的 3.66B 模型，做蕴含检查、规则归纳和 Lean 证明批评。模型卡显示 Logic composite 55.4（对比 Granite base 43.1、Qwen3-8B 53.4），BBH logic 95.4%，gpt-oss-120b 仍在规则归纳、蕴含和 Lean 形式化上领先。作者提到其 CPU-only Xeon（15 GiB 内存、无 GPU）上约 10.5 tok/s，比同硬件 Qwen3.8-27B 快 98 倍；Q4_K_M GGUF 为 2.09 GiB，支持 Ollama、LM Studio 和 llama.cpp，温度设为 0 并预留 2048+ token 预算。
Hugging Face 上架了 webmp3 发布的 Sakura-MiniMax-H3-Uncensored-GGUF 量化模型仓库。该仓库被标记为包含敏感内容（Not-For-All-Audiences），可能含有潜在有害及敏感信息，查看需查看模型卡确认。
metalman3289 在 Hugging Face 发布 4Bit 量化的 MLX 模型 Mistral-Nemo-2407-12B-Thinking-Claude-Gemini-GPT5.2-Uncensored-HERETIC-mlx-4Bit。该模型可通过 Transformers、MLX LM、vLLM、SGLang 等多种方式运行，并提供 OpenAI 兼容 API 与 Docker 部署方式。
Moralfish-Labs 开源的 MaatML（Apache-2.0，PyPI 版本 0.13.0）面向文本、视觉与视觉-语言模态的小型任务专用模型，由一个声明式 model.yml 驱动 prepare → train → evaluate → export → serve 全流程。其特色是正确性由模型外部的校验器检查：同一校验器门控合成数据与评测，maatml serve 可按请求校验并在 --enforce 下以 HTTP 422 拒绝失败输出，支持 QLoRA、DPO/ORPO、vLLM 部署等 extras，附 Qwen3-0.6B、SmolVLM-256M-Instruct 等四个参考模型。
/u/naklitechie 把上周的磁盘流式加载 MoE 专家方案接到 llama.cpp 自带的 WebGPU 后端，Qwen3-Next 80B-A3B（48.4 GB Q4_K_M GGUF）在 Chrome 标签页中成功运行，MacBook Pro M4 Pro 上加载 48 秒、解码 2.9 tok/s，并称是概念验证。方法是把 GGUF 一次性下载到浏览器 OPFS 私有存储，GPU 只保留稠密层、KV cache 和每层固定数量的专家槽位，路由选中的专家不在槽位时从磁盘按 LRU 换入；分页开关下 OLMoE 与 LFM2 各 9 段对话回复完全一致，对 Metal 后端 9 条中 4 至 8 条一致，差异来自 WebGPU 与 Metal 的舍入。
推荐理由：作者给出各模型的加载时间、解码速度和分页正确性对照数据，可据此评估在浏览器标签页里跑 MoE 的实际可用度。
一位 Reddit r/LocalLLaMA 用户计划用二手显卡搭建本地推理服务器：4 张 RX7900XT（20GB）加 1 张 RTX3060（12GB）共 92GB VRAM，配 64GB 3600MHz 内存。目标是让 GLM 5.3 Flash q3xl/q4 与 Qwen 3.8 next flash 至少跑到 30 token/s，因所在地区买不到服务器级硬件而求建议。
TokForge 发布面向 Qwen3.5 4B Abliterated（huihui-ai 去审查版）的 NPU prompt pack，在 Snapdragon 8 Elite Gen 5（Hexagon V81，3.67 GB）与 Snapdragon 8 Gen 3（V75，3.65 GB）上让手机 NPU 分 128-token 块读取长提示词，CPU 生成回复，占用约 6.3 GB 内存。该包从 darkmaniac7/Qwen3.5-4B-uncensored-MNN commit 9416259dd5ed 的 int4 权重导出，经 QAIRT 2.40.0.251030 编译为各 49 个 QNN context binary，仅支持上述两款芯片，License 为 Apache-2.0。
tracel-ai 的开源 Rust 深度学习框架 Burn 通过统一 API 让训练与生产代码完全一致，支持端上个性化和联邦学习等场景。其基于 CubeCL 的后端覆盖 CUDA、ROCm、Metal、Vulkan、WebGPU 和 CPU，自动执行 kernel fusion；模型代码修改在 release 模式下增量编译不到 5 秒。LibTorch 已在 0.22.0 中废弃并从 main 移除。
Reddit 用户用 sergqwer 的 Strata 分支（strata-nvfp4）在单张 RTX 5090 32GB 上运行自行转换为 NVFP4 的 Qwen3.8-Flash-Next 125B-A6B hybrid MoE，完成 Three.js 低多边形 3D 马循环动画挑战。纯智能体工作时长 23m 10s，共 87 步、124,443 输出 token，cache 命中率 99.0%，解码中位 116 t/s，262,144 上下文下 33 分钟内零压缩。