spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored GGUF 量化版
spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored 的 GGUF 量化版，把 yamz-labs 的运行时去审查编辑直接烘焙进权重，使其在任意 llama.cpp 运行时无需特殊引擎即可生效。
推荐理由：原文给出了拒绝率前后对比和量化损失数据，读者可以据此判断这个去对齐版本到底去掉了多少、代价多大。
#量化
新闻、仓库与研究，按时间排列。
Hugging Face · 新模型：uncensored精选AI 评分6868 GitHub · 灵魂体仓库精选AI 评分6666 ckpt-reshard-cli：单个 Rust 二进制检查、转换与重分片分布式训练 checkpoint
作者发布 ckpt，一个无需 Python、torch 和 pickle 执行的 Rust 单二进制工具，可检查、转换、重分片和对比分布式训练 checkpoint。
推荐理由：作者用 Rust 单二进制替代一次性 Python 转换脚本，给出了与各框架参考实现逐位对齐的验证结果和内存占用对比。
GitHub · 去对齐工具与仓库AI 评分4343 FlashInfer：高性能 GPU 推理内核库
FlashInfer 是一个面向推理的高性能 GPU 内核库与内核生成器，为 attention、GEMM 和 MoE 操作提供统一 API，后端涵盖 FlashAttention-2/3、cuDNN、CUTLASS 和 TensorRT-LLM。
GitHub · 去对齐工具与仓库AI 评分5353 FDOTPike 开源离线训练智能应用 athlete-kinetics，用确定性策略表替代 LLM
FDOTPike 在 GitHub 开源 athlete-kinetics，一款面向力量与缠斗运动员的免费离线训练智能应用，全程在手机本地运行，无云端、无账号、无订阅，数据存于本地 SQLite。
GitHub · 去对齐工具与仓库AI 评分4747 EdgePulse：面向端侧 AI 模型的运行时可观测框架
EdgePulse 是一个端侧 AI 模型运行时可观测框架，可为每次推理捕获结构化 InferenceTrace，涵盖内存（RSS、heap、native）、热状态、电池微安功耗、CPU 占用、逐层耗时与输出置信度，并导出为 JSON、Markdown 或 CSV。
GitHub · 去对齐工具与仓库精选AI 评分6363 OpenTail.Stingray 发布：纯 C# 的 .NET 本地 AI 推理库
OpenTail 发布 OpenTail.Stingray，一个纯托管 C# 的 NuGet 包，可在 .NET 进程内运行本地 AI，无需 Python、sidecar 服务或原生二进制，支持 CPU 及 Vulkan/CUDA GPU。
推荐理由：README 给出了各任务的实测速度、内存需求和逐模型验证记录，可据此评估在 .NET 进程内跑本地模型的可行性。
GitHub · 灵魂体仓库精选AI 评分7171 Hearth v0.1 发布：零依赖 C11 推理引擎，在普通 PC 上流式运行万亿参数 MoE 模型
pierce-lonergan 在 GitHub 发布零依赖 C11 推理引擎 Hearth v0.1（pre-alpha，2026 年 10 月），面向在普通 PC 上运行数千亿到万亿参数的 MoE 大语言模型。
推荐理由：原文给出了实测数字与位级一致性设计，读者可以据此评估在普通 PC 的 NVMe 上跑万亿参数 MoE 模型的可行性。
GitHub · 去对齐工具与仓库精选AI 评分6565 tokatlas 开源本地 LLM 推理性能数据集与查询网站
tokatlas 在 GitHub 开源了一个持续更新的本地 LLM 推理性能数据集与网站，收录 GPU/CPU/APU 在 llama.cpp（CUDA/ROCm/Vulkan/Metal/SYCL/CPU）、MLX、vLLM、ExLlama 等后端下的 prompt 处理与生成速度、功耗等实测记录，每条记录附来源 URL、检索日期和精确引用数字。
推荐理由：这个仓库把分散的本地推理实测数据汇成带来源引用的数据集，买硬件或选量化、后端前可先查同型号芯片的实测速度。
Hugging Face · 新模型：abliterated精选AI 评分6262 Swift 1.5 Qwen3.8-Flash-Next GSQ-RCO 消融版 IQ3_S GGUF 量化发布
slider-meister-pub 在 Hugging Face 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 的 IQ3_S GGUF 量化，总大小 83.74 GB（约 3.79 bpw），补上上游缺失的 IQ3_S 档位。
推荐理由：原文给出量化构建细节和消融前后拒绝率对比，硬拒绝从98/100降到0，读者可据此评估这个低比特去对齐版本。
Hugging Face · 新模型：uncensoredAI 评分4141 minas2025 发布 Gemma-4-E2B-Coder-Uncensored：面向 Python 与前端的 QLoRA 微调模型
minas2025 基于 Gemma 4 E2B（约 4.6B）的 uncensored 版本微调出 Coder-Gemma-4-E2B-Uncensored，专注 Python 与 React/TypeScript/HTML/CSS 前端开发，采用 QLoRA 4-bit 训练，上下文 2048，提供 Q8_0 GGUF（约 5.0 GB）。
Hugging Face · 新模型：abliteratedAI 评分1212 Hugging Face 模型仓库 Beached89/Qwen3.8-27B-Q3_K_XL-abliterated 上线
Hugging Face 上架了 Beached89 发布的 abliterated 版模型仓库 Qwen3.8-27B-Q3_K_XL-abliterated，为 Q3_K_XL 量化版本。该模型目前未被任何 Inference Provider 部署，也不统计下载量，README 为空。
Hugging Face · 新模型：uncensoredAI 评分5050 Muse-Glimmer-30B 去审查版 GGUF（Heretic Abliteration）发布
cvgro 基于 meta-models/Muse-Glimmer-30B 使用 Heretic v2.0.0.dev0 的 Abliteration 参数制作出去审查版 GGUF 模型。
Reddit · r/LocalLLaMAAI 评分3636 Qwen3.8-Flash-Next NVFP4 搭配 Strata 在单张 RTX PRO 4500 32GB + 64GB DDR5 上跑出 ~188k 上下文 ~60–67 tok/s
在单张 RTX PRO 4500 32GB 加 64GB DDR5 上，用 Strata NVFP4 fork 运行 OrcaRouter-Qwen3.8-Flash-Next-Uncensored-ModelOpt-NVFP4 模型，~188k warm 上下文达到 ~60–67 tok/s，~50k 上下文最高 ~80 tok/s。
Reddit · r/LocalLLaMAAI 评分4545 用 FFT 替换 AdamW 优化器状态，微调 8B/70B 模型时 VRAM 减半
一组开发者在微调 8B 和 70B 模型时，用 FFT 在频域压缩 AdamW 优化器状态，替代 8-bit 量化，VRAM 占用减少约 50%，且避免收敛退化。代价是每步训练因 FFT 运算略慢，但可避免 OOM 并显著增大 batch size。团队已开放内部 Colab 环境和基线权重供测试。
Hugging Face · 新模型：uncensoredAI 评分1818 Qwen2.5-1.5B-Instruct-uncensored 发布 LiteRT-LM 端侧转换版本
社区用户将 thirdeyeai/Qwen2.5-1.5B-Instruct-uncensored 转换为 LiteRT-LM（.litertlm）格式，可在 Android 与桌面端通过 Google AI Edge LiteRT-LM / MediaPipe 端侧运行。
Hugging Face · 新模型：uncensoredAI 评分5050 Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF 发布
HauhauCS 发布的 Qwen3.6-35B-A3B-Uncensored 无审查模型推出 Wasserstein Genesis-V2 更新 GGUF 量化版本，支持 MTP，无需重训练即通过数值修复 3 个 ssm_conv1d 层的尺度失配，W1 指标下降约 80%，500 个权重张量中 497 个通过全部检测。
Hugging Face · 新模型：uncensoredAI 评分4848 HauhauCS 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 无审查量化版
HauhauCS 基于 Qwen3.6-35B-A3B 推出 Aggressive 无审查量化模型，0/465 拒答率，完全解锁不拒绝提示词。该模型为 MoE 架构，总参数 35B、每 token 激活约 3B，原生 262K 上下文，支持文本、图像、视频多模态。
Hugging Face · 新模型：abliterated精选AI 评分6868 gbuzhf 发布 Occamy-1.0 去对齐版 Sangreal ICE 量化 GGUF
gbuzhf 在 Hugging Face 发布 Occamy-1.0 Abliterated 的四个 Sangreal ICE 量化档位（14.51/18.47/22.52/24.53 GB），基于 SC117 的去对齐 BF16 权重，附带 Qwen-Sharp v22.5.0-arrow.3.1 聊天模板和视觉 mmproj 文件。
推荐理由：作者用同一会话的 KLD 实测把四个 ICE 档位与 SC117 同尺寸量化逐一对照，读者可按文件大小直接选档。
Reddit · r/LocalLLaMAAI 评分3636 花了 ₹30,000 买 RTX 5060 跑本地 LLM，现实差距让我怀疑所有“本地运行”的帖子
一位用户花 ₹30,000 购入 NVIDIA RTX 5060（8GB VRAM、578 AI TOPS）跑本地 LLM，发现量化 7B/9B/13B 模型在多步推理、长上下文和结构化输出上仅得 2/10，而云端模型一次或两次尝试即达 9/10。作者质疑“本地 LLM 优先”叙事，并询问 8–12GB 显卡上是否有真正可靠的量化或微调方案。
Reddit · r/LocalLLaMAAI 评分1818 老旧 X79 平台能否跑 Strata：i7-3930K + 双 GPU 混搭方案讨论
一位 Reddit 用户打算用旧 X79 电脑（i7-3930K、56 GB DDR3、RTX 2080 Ti 11 GB + RTX 3060 Ti 8 GB，CachyOS headless）运行 Flash-Next IQ3_XXS，询问量化档位和预期 tok/s。
GitHub · 去对齐工具与仓库精选AI 评分7575 
MegaCapybara 推理引擎发布，针对 RTX 5090 优化 Qwen3.8-27B 多智能体推理
perkel666 发布 MegaCapybara，一个面向 NVIDIA RTX 5090 的 Qwen3.8-27B 推理引擎，支持 Windows 11 和 Linux。
推荐理由：原文给出了各模型档位的 tokens/s、显存占用和 Top-1 agreement 实测数据，读者可据此评估在 RTX 5090 上跑多智能体的取舍。
GitHub · 去对齐工具与仓库AI 评分3131 Oxide-Tech-LLM-Engine：纯 Rust 编写的高吞吐确定性推理运行时
Oxide-Tech-LLM-Engine 是一个用纯 Rust 编写的裸金属高吞吐确定性推理运行时，支持 NVIDIA GPU、AMD CDNA/RDNA、Apple Silicon、Google TPU、Intel Arc/Xeon、Qualcomm Snapdragon、Rockchip RKNN 和 Raspberry Pi 5 AI HAT+ 2 等异构硬件。
Reddit · r/LocalLLaMA精选AI 评分6262 Kolibri-1 78B-A3.5B 被压至 20.9 GiB / 2.30 bpw，KL 散度比标准 IQ2_XS 低约 59%
作者发布 Aleph Alpha Kolibri-1（约 78B MoE、每 token 约 3.5B 激活参数）的 Sakura-MicroQuality IQ2_XS GGUF 量化版。
推荐理由：作者给出了基于张量敏感度分配比特位的量化方法，并用 KL 散度和 top-token 一致率与标准 IQ2_XS 做了对照。
Reddit · r/LocalLLaMA精选AI 评分5858 
Cactus 发布 16.9MB 语音识别模型 Whistle，体积为 Whisper base 的 1/9
Cactus Compute 发布面向超小型设备的语音识别模型 Whistle，文件仅 16.9MB，官方称多数场景优于 Whisper base，且体积小 9 倍、速度快 6 倍。
推荐理由：原文给出了与 Whisper base 在 LibriSpeech、FLEURS 等基准上的 WER 对比数据，可据此评估小体积语音识别模型的实际精度。
Hugging Face · 新模型：abliteratedAI 评分2222 atlas-institute 发布 qwen3-14b-orchestrator-abliterated GGUF 模型
atlas-institute 在 Hugging Face 上发布 abliterated 版 Qwen3 14B orchestrator 模型，提供 Q4_K_M 量化的 GGUF 格式。
Hugging Face · 新模型：uncensored精选AI 评分5757 Qwen3.8-27B-Uncensored 发布 NVFP4 量化版，体积从约 65 GB 压至 19.2 GiB
zuozijian 发布 JonathanColetti/Qwen3.8-27B-Uncensored 的 NVFP4 量化版，用 NVIDIA TensorRT Model Optimizer 0.43.0 制作。
推荐理由：原文给出分层量化取舍与双节点 DGX Spark 实测吞吐数据，部署参数和踩坑记录可直接复用。
Hugging Face · 新模型：uncensoredAI 评分4040 
Shihan420/Qwen-Image-2.1-Uncensored-GGUF 量化版本发布
Hugging Face 用户 Shihan420 发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本，提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式，其中 Q4_K_M（4.60 GB）被推荐为体积与质量的最佳平衡。
Reddit · r/LocalLLaMAAI 评分2929 Qwen3.8-27B 获 LocalLLaMA 用户盛赞：本地智能体任务零失败
一位 Reddit 用户分享 Qwen3.8-27B 的使用体验：以 q3_k_xl 量化运行，成功完成配置 OpenWebUI、调试 Cloudflare tunnel、修复 bug 等任务，至今没有真实任务失败。作者还称赞 unsloth 的 UD3.0 量化方案，称降到 q2_k_xl 仍能正常工作，并期待 Qwen4-27B。
Reddit · r/LocalLLaMA精选AI 评分7373 
Qwen3.8-Flash-Next (125B) 量化权重与 Kyojin 引擎发布，单台 Strix Halo 迷你主机跑出 44-59 tok/s
Yamz Labs 发布了 Qwen3.8-Flash-Next（125B MoE，6B 激活）的 95 GB EXL3 量化权重和自研推理引擎 Kyojin 新版本（基于 ExLlamaV3，开放源码），可在单台 AMD Strix Halo 迷你主机（Ryzen AI Max+ 395，128 GB）上运行。
推荐理由：作者给出了与 FP8 原模型的 top-1 一致率以及和 Halogen、llama.cpp 的同机对比数据，可据此评估这套量化方案的实际取舍。
Reddit · r/LocalLLaMAAI 评分4444 
UCVG.cpp：用一对提示词为任意 LLM 生成控制向量的 C++ 工具
Reddit r/LocalLLaMA 用户发布 C++ 工具 UCVG.cpp，安装流程尽量贴近 llama.cpp，只需输入一对对比提示词即可为任意 LLM 生成控制向量。控制向量比系统提示词更持久，不会被用户输入覆盖，且可在对话中途调整向量强度即时改变模型响应；缺点是难以满足高度具体的要求，且高转向强度会降低回复质量。
Reddit · r/LocalLLaMA精选AI 评分5858 本科生发布自研 4-bit Qwen2.5 量化模型，fp16 精度保持优于官方 AWQ
一位本科生在 Claude 辅助下开发了一个 GPTQ 量化器，在 Qwen2.5-1.5B 和 7B 上产出 4-bit 权重，由 M. Federico 在 NVIDIA A10G 上用独立脚本复现结果。
推荐理由：作者给出自建 GPTQ 量化器的具体改进点，并附 fp16 与官方 AWQ 的困惑度和 HumanEval 对照数据，还坦陈了局限。
Hugging Face · 新模型：uncensoredAI 评分5757 
Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored GGUF 微调发布
作者在 Hugging Face 发布了基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版本，用 Heretic v1.2.0 加 ARA 方法去审查，Stage 1 拒绝率从原版 99/100 降到 0/100（KL 散度 0.0535），Stage 2 为 11/100（KL 0.0025）。
Hugging Face · 新模型：uncensoredAI 评分1818 Chuncho32 发布 Mistral-Nemo-2407-12B-Thinking-Claude-Gemini-GPT5.2-Uncensored-HERETIC 的 Q8_0 GGUF 版本
Chuncho32 在 Hugging Face 上将 DavidAU/Mistral-Nemo-2407-12B-Thinking-Claude-Gemini-GPT5.2-Uncensored-HERETIC 转换为 Q8_0 GGUF 格式，转换通过 llama.cpp 的 ggml.ai GGUF-my-repo 空间完成。
Reddit · r/LocalLLaMA精选AI 评分6565 
Blockway 发布自研混合架构模型 Agens Volundr 32B Preview，仅 18/72 层保留 KV cache
香港小团队 Blockway 发布 Agens Volundr 32B Preview，是其自研混合架构的首个模型，Apache-2.0 开放权重。
推荐理由：作者团队自述架构细节和自测数据，包括 KV cache 层数占比、各上下文长度下的解码速度与基准对比，可直接评估其实用性。
Reddit · r/LocalLLaMAAI 评分5555 Lokutor 团队发布 ItoTTS：4.89 MB 语音包可在 5 美元 ESP32-S3 上运行
Lokutor 团队发布面向 ESP32-S3 的流式 TTS 引擎 ItoTTS，提供两个英语语音，24 kHz 音频，每个语音权重 4.89 MB，目标是给本地 LLM 配上语音。
Hugging Face · 新模型：uncensored同新闻AI 评分6060 
Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored GGUF 量化发布
Humberto16 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版，8bit ARC-C 达 0.735、ARC-E 0.882，4bit ARC-C 0.719，均高于原版 Qwen3.8-27B（8bit ARC-C 0.591）。
同一新闻，精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版，ARC-C 达 735》
Hugging Face · 新模型：uncensored精选AI 评分5858 Qwen3.5-2B 去审查量化版 Q4_K_M 发布，附 Pareto 最优配方与复现配置
作者发布基于 Abliterix SOM 方法对 Qwen3.5-2B 去审查后的 Q4_K_M 量化版本，选用综合表现最优的 Trial #107，拒绝率 0.49%（2/408），KL 散度 0.2686 nats/token。
推荐理由：原文给出各拒绝率档位的 Pareto 最优解及 KL 散度数据，读者可据此比较不同去审查配方的拒绝率与知识损伤权衡。
Hugging Face · 新模型：uncensored精选AI 评分6464 jessedye90 发布 Qwen3.8-Flash-Next Swift 1.5 微调版的无对齐量化权重
jessedye90 发布 qwen3.8-flash-next-swift-uncensored，在 UkisAI Swift 1.5 对 Qwen3.8-Flash-Next 的 INT4 W4A16 微调权重内投影掉拒绝方向，文件布局、大小和推理速度与基座一致。
推荐理由：原文给出量化网格内消融的具体做法和 AdvBench、代码任务等前后实测对比，可据此评估去对齐的代价。
Hugging Face · 新模型：abliterated精选AI 评分6666 
Qwen3.8-Flash-Next GSQ-RCO 消融版 GGUF 发布，144 个张量移植保留 GSQ 量化
KilltheSniper 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF，在已量化的 ISTA-DASLab GSQ-RCO 权重内直接移植 144 个张量（覆盖全部 48 层）实现去对齐，不重算任何 GSQ 学到的量化值，消融源为 orcarouter 的 Uncensored 版本。
推荐理由：原文给出逐张量 blake2b 校验和 Strata 实测速度对比，读者可以据此判断这种免重量化的张量移植方案损失了多少。
Hugging Face · 新模型：uncensored精选AI 评分7474 jessedye90 发布 qwen3.8-27b-swift-uncensored 无对齐版本
jessedye90 发布 qwen3.8-27b-swift-uncensored，在 UkisAI 的 Swift 1.5 对 Qwen3.8-27B 的 NVFP4/FP8 量化微调基础上，将 OrcaRouter 消融得到的拒绝方向从权重中投影移除，编辑在原量化网格内完成，文件布局、大小和推理速度与基座一致。
推荐理由：原文给出消融方向、量化网格内编辑方法和 AdvBench 拒绝率 100% 到 0% 的实测对比，可据此评估该去对齐版本的实际改动幅度。