fyb1214 发布 Huihui-Qwen3.8-27B-Abliterated-Ternary-Bonsai 的 NInfer 单文件封装
fyb1214 将 huihui-ai 的 abliterated Ternary-Bonsai-2-27B（消融第 22–52 层）重新封装为 NInfer 引擎可读的单文件 .ninfer 容器，基于 f16 版本用量化器重制 PQ2_0 与 PTQ1_0 两种打包，各 6.87 GiB，类型分布与 PrismML 原版 PQ2_0 一致。
#本地部署
新闻、仓库与研究，按时间排列。
Hugging Face · 新模型：abliteratedAI 评分3434 Hugging Face · 新模型：uncensoredAI 评分4343 HauhauCS Qwen3.8-27B-Uncensored 发布 imatrix 优化的 NVFP4 量化版本
HauhauCS 发布 Qwen3.8-27B-Uncensored-Aggressive 的 imatrix 优化 NVFP4 量化版本（Q5_NVFP4），体积从 Q5_K_P 源文件的 18.83 GiB（5.92 BPW）降至 14.74 GiB（4.63 BPW），约缩小 22%。该版本保留了原生 MTP/NextN 头、视觉能力和完整 Aggressive 去审查配置，LM head（output.weight）首次做了 imatrix 优化。模型针对 Blackwell（sm_120）GPU 原生加速构建，但文件为标准 GGUF，可在任意当前 llama.cpp 版本上加载。
Hugging Face · 新模型：abliterated精选AI 评分5656 shamidk 发布 Apex Flash 1 abliterated 的 DS4 混合 Q2 GGUF 量化版
shamidk 在 Hugging Face 上发布了 Apex Flash 1 abliterated 的纯文本 GGUF 转换版，采用 IQ2_XXS 与 Q2_K 混合量化配方，文件 89.88 GiB、含 1,412 个张量，省略视觉权重。作者在 128 GiB 内存的 Apple M5 Max MacBook Pro 上用 DS4 runtime 实测，解码速度中位数 11.13 tokens/s，有界质量测试 3/4 通过、严格类型化工具测试 34/36 通过；作者明确说明 abliteration 只针对拒绝行为，不代表能力提升，Agent 编码交付、视觉权重、更大上下文和与 BF16 的质量对等均未验证。转换版以 MIT 许可分发。
推荐理由：这是一次量化转换加实测记录，作者给出了具体推理速度、质量测试结果和明确的未验证范围，便于读者自行评估可用性。
Hugging Face · 新模型：abliteratedAI 评分4343 LMLiutenant 发布 Qwen3.6-35B-A3B-abliterated-v2 的 GGUF 量化版本
Hugging Face 用户 LMLiutenant 用 llama.cpp 制作了 abliterated（抑制拒答）版模型 wangzhang/Qwen3.6-35B-A3B-abliterated-v2 的 GGUF 量化，属非官方再分发。该模型为 MoE 架构，总参数 35B、每 token 激活约 3B（256 个专家激活 8 个），上下文长度 262144 tokens。仓库提供 IQ2_XS 到 Q8_0 共 24 种量化，并附 F16 多模态 projector，各量化均基于同一 importance matrix 计算，BF16 源模型 wikitext-2 PPL 为 6.4743。
Hugging Face · 新模型：abliteratedAI 评分2626 Huihui-Qwen3.8-27B Abliterated Swift-1.5 GSQ-RCO 发布 NInfer 单文件格式
fyb1214 将 huihui-ai 的 Huihui-Qwen3.8-27B Abliterated Swift-1.5 GSQ-RCO GGUF 系列重新打包为 NInfer 引擎可用的单文件 .ninfer 容器，共发布 IQ2_XS、IQ2_S、IQ3_XXS、IQ3_S 四个量化档位，文件从 8.76 GiB 到 11.91 GiB 不等，其中 IQ3_S 档需要 16 GB 以上显存或卸载。该仓库仅做格式转换，abliteration（第 22–52 层去拒绝方向消融）由 huihui-ai 完成，文本塔无重新量化或再训练。模型仅在 Hugging Face 发布，安全过滤大幅降低，仅建议用于研究和受控环境。
Hugging Face · 新模型：abliterated精选AI 评分7373 vaultai 发布 GLM-5.3-Flash-Abliterated MLX 4bit 量化版，上游拒绝率约 1.3%
vaultai 在 Hugging Face 发布 GLM-5.3-Flash 的 abliterated 4bit 量化版（oQ4e，173 GiB，35 个分片），基于 Blackfrost-Research 的去对齐 BF16 权重，面向 Apple Silicon 的 oMLX 运行时。去对齐在上游权重层完成，Blackfrost-Research 用 R1-HARMFUL-BENCH-450 测得有害提示拒绝率 1.3%（4/300），本 4bit 版仅做了抽查未系统复测。视觉塔与 MTP 草稿头均保留并经真实请求验证，M3 Ultra（256 GB）实测短上下文 DFlash2 解码最高 51.2 tok/s，附带的前缀缓存补丁把多轮长上下文 TTFT 从约 46 s 降到 0.26 s。
推荐理由：模型卡附上了上游拒绝率实测与 Apple Silicon 上的逐档解码速度和 TTFT 数据，读者可以对照判断量化后的行为和性能。
Hugging Face · 新模型：uncensored精选AI 评分7474 TokenTinkerer 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 十档 GGUF 量化集
TokenTinkerer 基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布了 TTQ 十档 GGUF 量化集，从 3.33 bpw 到 6.72 bpw，全部从上游 Q8_K_P 用自建 imatrix 重量化。每档以同一机器同一协议实测 KLD/RMS 与 llama-bench 速度，每档 KLD 均优于上游仓最接近尺寸的量化 1.26× 到 3.51×，同质量档位小 1.44 到 7.90 GiB，匹配对比下 decode 快 6% 到 19%、prefill 快 28% 到 80%。
推荐理由：作者用同一协议实测十档量化的KLD、体积与速度，并给出与上游仓位的逐项对照，读者可按显存和用途挑选合适的档位。
Hugging Face · 新模型：uncensoredAI 评分4242 
Nathan512 发布 Qwen-Image-2.1-Uncensored GGUF 量化版
Nathan512 在 Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本，提供 BF16、Q8_0、Q6_K、Q4_K_M 等 12 种格式，体积 4.00–14.23 GB，推荐兼顾体积与质量的 Q4_K_M（约 4.60 GB）。
Hugging Face · 新模型：uncensoredAI 评分4848 
Qwen-Image-2.1 Uncensored GGUF 量化版本发布，支持本地图像生成
Hugging Face 用户 Aero2026 基于 Qwen/Qwen-Image-2.1 原始权重发布了无内容过滤的 GGUF 量化版本，可配合 ComfyUI 与 ComfyUI-GGUF 本地生成图像。提供 BF16 到 Q4_0 等多种量化，文件大小 4.15 GB 至 14.23 GB，推荐 Q4_K_M（4.60 GB）兼顾体积与质量；文本编码器 qwen3vl_8b 与 VAE 文件也打包在仓库内。该版本移除了内置安全检查器，可直接生成 NSFW 内容，采用 Qwen Research License。
Hugging Face · 新模型：abliteratedAI 评分2626 jingamin/Huihui-Qwen3.8-27B-abliterated-Q5_K.gguf 上架 Hugging Face
abliterated 版 Huihui-Qwen3.8-27B 的 Q5_K 量化 GGUF 模型已在 Hugging Face 发布，基于 Qwen3.8 27B。该页面给出在 llama.cpp、Ollama、LM Studio、Docker Model Runner、Lemonade 等工具中的使用方法，可通过 llama serve -hf 启动本地 OpenAI 兼容服务器并直接推理。
Hugging Face · 新模型：uncensoredAI 评分3232 mradermacher 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Final-Safetensors GGUF 版本
mradermacher 的 Qwen3.6-35B-A3B-Uncensored-Genesis-Final-Safetensors GGUF 量化模型现已在 Hugging Face 上线。
Hugging Face · 新模型：abliteratedAI 评分2828 mradermacher 发布 Qwopus3.8-27B-Flash-V2-abliterated 的 i1-GGUF 量化版本
mradermacher 在 Hugging Face 上发布 Qwopus3.8-27B-Flash-V2-abliterated 的 i1-GGUF 量化版本。
arXiv · cs.AIAI 评分4747 迈向本地部署的智能体 Co-Scientist：小型模型规划用于早期药物发现
一项研究提出轻量级工具增强框架，让可本地部署的紧凑语言模型为早期药物发现规划 18 个模块化工具的调用。研究者构建 1,263 条人工精修的 query-plan 对，对三个紧凑模型家族做 LoRA 微调；Llama 3.2-3B 在 query 级划分下工具选择 F1 达 0.998、序列精确匹配 0.979，更严格的 workflow-grouped 划分下精确匹配为 0.452 至 0.548，表明组合泛化仍是难点。
arXiv · cs.CL精选AI 评分5757 开放权重 LLM 流水线将 218 万份放射报告存档自动结构化
一项回顾性研究用开放权重模型 gpt-oss-120B 构建流水线，将自由文本放射报告无人工监督地转为结构化报告，含 150 个分层模板，经三步受限解码选择模板并在单张 GPU 上本地运行。
推荐理由：论文用开放权重模型在单张 GPU 上无人工监督地结构化了整院放射报告存档，并给出模板选择与内容保真的量化结果。
Hugging Face · 趋势模型AI 评分4848 
EMA Lightning：8.6M 参数的开源土耳其语文本转语音模型，WER 低至 0.92%
EMA Lightning 是一个开源（Apache 2.0）的土耳其语文本转语音模型，由 5.6M 参数 DiT 声学模型和 3M 参数 vocoder 组成，总计仅约 34 MB。在 Freya-TR-Eval 上 WER 为 0.92%，低于 ElevenLabs v4、Gemini 3.8 和 2.38B 参数的 Trendyol-TTS 等所有被测系统；在 RTX 4090 上首批音频仅需 3.86 ms，比实时快 440×（批处理达 1,316×）。模型可完全离线运行于 GPU 或 CPU，无需 API key，文本和音频不离开本机，成本约 $0.0085 per million characters。
Hugging Face · 趋势模型精选AI 评分5252 Cactus Compute 发布端侧语音识别模型 Whistle，整个模型仅 16.9 MB
Cactus Compute 团队发布面向手机、可穿戴、机器人、智能家居、汽车和微控制器的端侧语音识别模型 Whistle，整个模型为单个 16.9 MB 文件，无需 GPU 和外部依赖，与 Needle 共用同一运行时。支持英德法西意荷波七种语言的转写（单次最长 30 秒）、词级时间戳和语音嵌入，静音返回空文本而非编造句子。WER 基于 86,174 条语音实测，并用与 Whisper、Moonshine 已发布数据对比；精度为 Whistle 2 至 4 bit，Whisper fp32，Moonshine int8。
推荐理由：原文给出了完整的 WER 基准、精度设置和与 Whisper、Moonshine 的对比口径，读者可以据此评估端侧语音识别的实际表现。
Ollama Blog精选AI 评分6464 Ollama 0.35 支持 Jev 风格决策模型，新增 nimble 与 tev1 等 3 个模型
Ollama 0.35 新增基于 TypeSafe Jev API 的决策模型支持，通过 /v1/systemone 端点在本地一次请求回答多个命名问题，适用于工单分诊、模型路由和内容审核等快速决策场景。
推荐理由：官方给出了本地决策模型的延迟数据、三个可用模型和 API 用法，读者可以直接照着在本地跑起来。
Ollama Blog精选AI 评分6363 
Ollama 支持 Claude Desktop 接入本地与云端模型
Ollama 宣布支持将 Claude Desktop 配置为经 Ollama 的第三方网关。在 Ollama 中开启 Claude 即可自动配置，可选用 Ollama 内本地或云端模型，关闭后恢复原设置；默认关闭遥测并执行零数据保留政策，也可在设置中配置本地模型。
推荐理由：官方说明了 Claude Desktop 接入 Ollama 的配置步骤、数据保留政策和本地模型用法，便于按需切换云端与本地模型。
Hugging Face · 趋势模型精选AI 评分5959 HauhauCS 发布 Qwen3.8-27B Aggressive 无对齐 GGUF 量化版并附带 FastMTP 加速方案
HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化系列，实测拒绝率 0/465，保留文本、推理、Agent 及图像视频能力。全套量化提供 K_P 自定义档位，附带的 FastMTP 32K 加速 sidecar 相比无 MTP 最高达 3.02x 文档 TG 和 1.93x 推理 TG，比内嵌 MTP 最高快 35.2%/21.1%，实测基于 RTX PRO 6000 Blackwell 96GB。需配套 llama.cpp 补丁，vision 需单独 BF16 projector，原生上下文 262,144 token，可扩展至 1,000,000。
推荐理由：原文给出了0/465拒绝实测和完整量化档位的MTP加速对比数据，读者可据此判断去对齐程度和各档位实际推理速度。
Ollama Blog精选AI 评分6666 NVIDIA Nemotron 3.5 Lightning 开放模型登陆 Ollama，可完全本地运行
NVIDIA Nemotron 3.5 Lightning 现已可在 Ollama 上下载并完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 架构，面向长时运行的 Agent 任务，支持最高 1M token 上下文，通过 MTP、DFlash 或 DSpark 投机解码实现最高 4x 于同类开放模型的吞吐，任务完成时间快 30%。
推荐理由：原文给出了 MoE 架构、1M 上下文和 4x 吞吐等具体配置与对比数据，读者可据此评估其本地 Agent 部署价值。
Ollama Blog精选AI 评分7575 Meta Superintelligence Labs 首个开放模型 Muse Glimmer 上架 Ollama
Meta Superintelligence Labs 首个发布的开放模型 Muse Glimmer 现已登陆 Ollama。该模型为 30B 多模态模型，专为本地运行的 Agent 工作负载构建，支持 128K+ 上下文，采用 Apache 2.0 许可证。
推荐理由：官方说明了在 Ollama 上运行该模型的具体命令、MLX 引擎的 DFlash 加速倍数和图像输入用法，可直接照做。
Ollama Blog精选AI 评分7373 Ollama 0.31 通过多 token 预测让 Gemma 4 在 Apple Silicon 上生成速度提升近 90%
Ollama 0.31 通过多 token 预测（MTP）让 Gemma 4 在 Apple Silicon 上生成速度平均提升近 90%，基于 Aider Polyglot 基准在 M5 Max 上实测。
推荐理由：原文讲清了 MTP 投机解码的三个实现环节和 Aider polyglot 实测数据，并指出新内核可被其他模型复用。
Ollama Blog精选AI 评分7171 Ollama 更新 MLX 引擎，Apple Silicon 性能提升并支持 NVFP4 量化
Ollama 更新其 MLX 引擎，称在 Apple Silicon 上实现迄今最高性能，支持 NVIDIA 的 NVFP4 量化格式：在 Gemma 4 12B 上相对 q4_K_M 大约将 4-bit 量化的质量损失减半，输出速度在 8,300-token 输入下快约 20%。
推荐理由：官方给出了 NVFP4 相对 q4_K_M 的困惑度对比和快照缓存对 Agent 工作流的处理方式，数据与方法都可直接参考。
ComfyUI Releases · 图像工作流AI 评分3838 ComfyUI v0.21.0 发布
ComfyUI 发布 v0.21.0，视频加载节点支持同时读取音频和视频，改用 pyav 加载图像，并新增 block prefetch 与 LoRA 异步加载以提升 LTX 速度。版本还加入 Gemma4 文本生成、Flux2 latents 高质量预览、自回归视频生成支持，新增 Topaz Astra 2、Luma UNI-1、GPT 5.5 / 5.5-pro 等 Partner 节点，并移除 IPEX 支持。