orcarouter 发布 Qwen3.8-Flash-Next 去对齐版 GGUF 量化（2-bit 至 8-bit）
orcarouter 在 Hugging Face 放出 Qwen3.8-Flash-Next 的去对齐（abliterated）GGUF 量化版本，覆盖 2-bit 到 8-bit，供 llama.cpp 运行。
推荐理由：原文给出消融后拒绝率从64-100%降到约0-3.3%、能力与基线差±2分以内的实测数据，并说明各量化的取舍。
方向
本地部署与推理 最新动态
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,762 条
更新
精选归档 · 第 76 页
Hugging Face · 趋势模型精选AI 评分7878 Hugging Face · 趋势模型精选AI 评分7676 
Unsloth 发布 Qwen3.8-27B Dynamic v3.0 GGUF 量化版
Unsloth 在 Hugging Face 发布 Qwen3.8-27B 的 Dynamic V3.0 GGUF 量化版本，称同等体积下精度比其他所有 GGUF 提供方高出逾 10%。
推荐理由：原文给出了 Dynamic v3.0 量化在同等体积下与其他 GGUF 提供方的精度对比，以及 27B 密切模型的完整架构与部署参数。
Hugging Face · 趋势模型精选AI 评分8383 
智谱发布 GLM-5.3：与 GLM-5.2 同底座，编码与漏洞利用能力大幅提升
zai-org 发布 GLM-5.3 开放权重模型，称其与 GLM-5.2 使用同一 base 模型，全部提升来自后训练。
推荐理由：模型卡逐项列出各基准的评测脚注、采样参数与反作弊措施，并附完整对比表，读者可自行核对编码和漏洞利用成绩的可信度。
GitHub · 去对齐工具与仓库精选AI 评分7272 Distillery：把大模型蒸馏成单任务小模型的开源流水线
gelevanog 发布开源项目 Distillery，提供从教师模型生成与标注数据、LoRA 微调小模型到路由器分流评测的完整可复现流水线。
推荐理由：作者用真实跑通的数据展示蒸馏全流程的每一步收益与短板，包括路由器分流比例和每千条成本，方法可直接迁移到类似单任务场景。
GitHub · 灵魂体仓库精选AI 评分6363 LLooM：单个 Rust 二进制实现的自托管 LLM 路由网关开源
citrus-dot 在 GitHub 开源了 LLooM，一个自托管 LLM 路由网关，单个 Rust 二进制即完成路由、计价、缓存与安全，无需 Docker 和外部数据库。
推荐理由：作者是项目方本人，正文给出路由打分、预算分层、语义缓存阈值等具体实现细节，可按需复用为自托管 LLM 网关。
GitHub · 去对齐工具与仓库精选AI 评分6060 HA_Automation_Pi：在树莓派 5 上用 Ollama 和 Gemma 3 构建离线可用的智能家居大脑
作者开源了 HA_Automation_Pi 项目，将 Raspberry Pi 5 变成完全本地运行的 Home Assistant 智能家居 AI，断网时灯光、门锁、温控和语音播报仍可工作。
推荐理由：作者给出了在树莓派 5 上跑本地 LLM 智能家居的完整架构与实测数据，包括 18 实体下 70-85% 的工具调用可靠性和备选模型切换方案。
GitHub · 去对齐工具与仓库精选AI 评分5959 
JadELHAJJ-prog 开源本地 AI Agent 项目 local-ai-agent
作者开源了一个完全本地运行的 AI Agent 项目 local-ai-agent，支持浏览网页、执行代码和分析图像、视频与文档。
推荐理由：作者完整公开了本地 Agent 的架构、工具清单和 8GB VRAM 下的模型切换细节，可复现也可借鉴到类似项目。
Hugging Face · 新模型：abliterated精选AI 评分6969 shefowl 发布 Qwen3.8-Flash-Next 混合精度 GGUF 量化版
shefowl 发布了 Qwen3.8-Flash-Next 的混合精度 GGUF，非专家张量取自 SC117 的 IQ3_XXS 档、路由专家张量取自 Q2_0 档，逐字节复制未重新量化，权重为上游已去拒绝的 abliterated 版本。
推荐理由：作者给出了与 IQ3_XXS 和 Q2_0 档在困惑度、解码速度和内存占用上的实测对比，可据此权衡这套混合量化的取舍。
Hugging Face · 新模型：uncensored精选AI 评分6666 Swift-Qwen3.8-27B 无对齐消融版发布，拒绝率从 98/100 降至 15/100
发布 Swift-Qwen3.8-27B 的 abliterated 无对齐版本，采用 orcarouter/Qwen3.8-27B-Uncensored 的单方向拒绝消融方法，从权重差异中恢复拒绝方向后投影到 Swift 的 131 个张量。
推荐理由：原文给出拒绝率与 KL 散度的前后对照数据，以及恢复拒绝方向并投影到 Swift 权重的完整方法，可复现性较强。
Hugging Face · 新模型：uncensored精选AI 评分5353 GLM-5.3-UNCENSORED 发布 EXL3 3.0bpw 量化版，附量化保真度与 Agent 评测数据
Ars14n 在 Hugging Face 发布 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版（3.04 bpw，273 GiB），上游是对 zai-org/GLM-5.3 做权重编辑（非微调）的去对齐变体。
推荐理由：作者给出了量化前后的 KL 散度和 tau2-bench 对照数据，并指出 glm4_5 解析器会把字符串参数误转整数导致约七成工具调用失败。
Hugging Face · 新模型：uncensored精选AI 评分7272 DeepSeek-V4.1-Flash 无对齐 EXL3 量化版发布，可在 2× DGX Spark 上运行
dealignai 团队发布 DeepSeek-V4.1-Flash 的 abliterated 无对齐版本，量化为 EXL3 2.9bpw，约 197 GiB，可在两台 DGX Spark (GB10) 上以 TP=2 部署。
推荐理由：原文给出 HarmBench 拒绝率与 MMLU 全量对比，量化了能力损失集中在伦理子集，读者可自行评估取舍。
Hugging Face · 新模型：abliterated精选AI 评分7272 Qwen3.8-27B RVN 消融版 GGUF 发布，拒绝率降至 0-1/100
xannie1 在 Hugging Face 发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored GGUF，在 trohrbaugh 的 heretic-ara 基础上追加两轮全权重 ARA 消融，有害提示拒绝率从 3/100 降至 0-1/100，KL 损伤从 0.0535 降到 0.0085。
推荐理由：原文给出两轮 ARA 消融后的拒绝率与 KL 前后对比数据，并附各量化的 PPL 和 MTP 实测速度，便于按硬件选文件。
Hugging Face · 新模型：abliterated精选AI 评分6868 TechPrototyper 发布 Gemma4-31B 6-bit 量化版的原格式去对齐权重
TechPrototyper 在 rdtand 的 PrismaQuant 6-bit 量化构建内，将 BF16 去对齐供体的权重移植进 118 个张量并按原量化网格重编码，不重新量化。
推荐理由：原文给出拒绝率前后对比、逐项验证和已知回归，读者可据此判断这种不改量化布局的去对齐做法是否值得采用。
Hugging Face · 新模型：uncensored精选AI 评分6060 
xCloudinfo 发布 Granite-4.2-30B-xVITA-zhTW-Uncensored GGUF 去审查模型
xCloudinfo（云碩科技）发布 Granite-4.2-30B-xVITA-zhTW-Uncensored，基于台湾繁中微调版 Granite-4.2-30B-xVITA-zhTW（底座 ibm-granite/granite-4.2-30b）。
推荐理由：原文给出拒绝方向消除方法与去审查前后的拒答率和能力对照数据，读者可据此评估这个繁中去审查版本的实际代价。
Hugging Face · 新模型：abliterated精选AI 评分5454 drowzeys 发布 keys-GLM-5.3-EXL3-2.75BPW-Abliterated 去对齐版
drowzeys 在 Hugging Face 发布基于 zai-org/GLM-5.3 的 abliterated 量化版本 keys-GLM-5.3-EXL3-2.75BPW-Abliterated。
推荐理由：原文给出 Blackfrost 消融张量的重编码位置与 32 项拒绝率实测数据，可据此判断这个 abliterated 版本改动范围和去对齐程度。
Hugging Face · 趋势模型精选AI 评分6969 
NVIDIA 发布 Nemotron-3.5-Bolt-E4B-4GB 量化小模型
NVIDIA 在 Hugging Face 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB，从 Gemma-4-E4B-it 后训练而来，Q4_K_M 量化、总参数 8B（有效 4B），上下文最长 64K tokens，采用 OpenMDW-1.1 许可。模型主打低内存、低 TTFT 的本地语音助手、交互人格和嵌入式接口，支持多轮工具调用、指令遵循、可开关的思考模式与运行时思考预算，可搭配 DFlash drafter 做投机解码，llama.cpp 部署，10/23/2026 GA。
推荐理由：官方给出了 BF16 与 Q4_K_M 两档精度、多组同类小模型的同基准横向对比数据，读者可直接核对这个 4GB 级小模型的实际水平。
Hugging Face · 趋势模型精选AI 评分8181 
Qwen3.8-Flash-Next 开放权重发布：125B 参数激活 6B，原生 262K 上下文
Qwen 团队在 Hugging Face 开放 Qwen3.8-Flash-Next 权重，这是支撑 Qwen4 架构的实验性预览版本，总参数 125B、激活 6B，另有 51B n-gram 嵌入和 4B MTP。
推荐理由：官方模型卡给出了完整架构细节与多基准对比数据，读者可以据此评估新架构在长上下文和 Agent 任务上的实际表现。
Hugging Face · 趋势模型精选AI 评分6868 
DavidAU 发布 Qwen3.8-27B-TURBO 无审查微调版 GGUF
DavidAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的多阶段微调去审查版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored 的 GGUF 量化。
推荐理由：作者给出了用 Heretic ARA 方法去审查的拒绝率前后数据，并附各量化档位与 Qwen 官方模型的基准对比，可核验其宣称。
Hugging Face · 趋势模型精选AI 评分8383 
ISTA-DASLab 发布 Qwen3.8-27B 的 GSQ-RCO 非均匀量化 GGUF 权重
ISTA-DASLab 发布 Qwen3.8-27B 的 GSQ-RCO 非均匀量化 GGUF 权重，提供 2.50 至 3.50 bpw 四个档位及 BF16 视觉投影器。
推荐理由：仓库给出各量化档位与 Unsloth Dynamic 的完整基准对比，并附可审计的逐张量分配文件，读者可据此评估是否采用。
Hugging Face · 趋势模型精选AI 评分8181 
ISTA-DASLab 发布 Qwen3.8-Flash-Next GSQ-RCO Coder 压缩版 GGUF 权重
ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO Coder 压缩版 GGUF 权重，通过移除一半路由专家并将剩余权重存为 3.5 bpw，使 176.9B 参数模型的常驻显存从 354 GB 降至 29.6 GB，可装入单张 32 GB 加速卡。
推荐理由：原文给出压缩方法细节与 SWE-bench、LiveCodeBench 前后对比，读者可据此评估专家剪枝加量化的实际代价。