跳到正文
10月22日周四
  1. Hugging Face · 新模型:uncensored50

    na0fu3y 发布 Qwen3.8-Flash-Next-Uncensored 的 mlx-serve iQ-MLX 4.7bpw 量化版

    na0fu3y 发布 Qwen3.8-Flash-Next-Uncensored 的 mlx-serve iQ-MLX 4.7bpw 量化版,基于 orcarouter 的 abliterated bf16 权重,路由专家为 4-bit、其余多为 8-bit,含 MTP 头和视觉塔,移除安全对齐后可响应原模型拒绝的请求。下载体积 100 GB,无 --ple-gpu 时常驻约 75 GB;在 M3 Ultra 上 decode 速度约 124.3-124.8 tok/s,13 个边缘提示词中仅 1 个被拒绝(对照组为 11 个)。许可证为 Qwen Community License 1.0。

  2. Hugging Face · 新模型:uncensored23

    mradermacher 发布 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 GGUF 量化版本

    mradermacher 在 Hugging Face 上提供 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 的 GGUF 量化版本,支持 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具以 OpenAI 兼容服务器或命令行方式本地运行,也可接入 Pi、Hermes、OpenClaw 等智能体工具。

  3. Hugging Face · 新模型:abliterated20

    privastudio 发布 Qwen3.8-27B Abliterated GGUF 版本

    privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版(约 16.8 GB),打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B,由 huihui-ai 移除了拒绝回答行为,附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入,采用 Apache-2.0 许可证。

  4. Hugging Face · 新模型:abliterated48

    DeepSeek V4.1 Flash 1017 Abliterated MLX 版本上传中:面向 Apple Silicon 的 oQ2.5e 混合精度检查点

    apetersson 正在上传 DeepSeek V4.1 Flash 1017 Abliterated 的 MLX 版本,为 Apple Silicon 准备的 oQ2.5e 混合精度检查点,共 53 个 Safetensors 分片,包大小约 342.7 GB,尚未完成,需等待 PUBLICATION.json 和 v1-oQ2.5e-mtp 标签发布后再下载。推荐在 256 GiB 统一内存 Mac 上用 oMLX 0.7.2 运行,上下文从 32K 起步,Engram 张量约 114.4 GiB 卸载至本地 SSD;SSD 前缀缓存测试中 8,588 个 token 复用 8,192 个,请求耗时从 14.62 s 降至 1.45 s。

  5. Hugging Face · 新模型:uncensored51

    GLM-5.3-Flash-UNCENSORED 路由专家 GGUF 发布,可在 1-2 张 RTX 3090 上运行

    ily-lab 发布 GLM-5.3-Flash-UNCENSORED 的 R2-40 IQ5_KS 路由专家 GGUF,供 g53 引擎在 1-2 张 RTX 3090 上运行这个 320B 总参 / 18B 激活的 MoE 模型。该模型基于 zai-org/GLM-5.3-Flash(MIT),由 dealignai 制作去对齐版本,移除了安全拒绝;专家文件约 207 GB 分 13 个分片,密集骨干来自 dealignai/GLM-5.3-Flash-UNCENSORED-FP8,相对 BF16 的平均 KL 散度为 0.026-0.036,并附 BF16 视觉投影器 gguf 支持图像输入。专家文件本身也是含全部张量的有效 ik_llama.cpp GGUF。

  6. Hugging Face · 新模型:uncensored50

    BIGJUTT/Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 使用指南

    BIGJUTT/Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 是在 HauhauCS 的 uncensored Qwen3.8-27B 权重(866 个 tensor 与上游逐字节一致)上,套用 DavidAU Turbo-Brilliance "AI Construct" 聊天模板的 GGUF 模型,支持 Joker、Dr. House、20-agent Einstein panel、Socratic tutor 等按请求选择的模式。模板内置于每个 GGUF 中,llama.cpp、LM Studio、Ollama 无需额外参数即可加载,文档给出 llama.cpp、vLLM、Ollama、Docker 等多种运行方式,示例量化为 IQ4_XS。

  7. Hugging Face Blog43

    TorchNeuron 性能分析(第一部分):在 AWS Trainium 上进行系统级 profiling

    Hugging Face 发布 TorchNeuron 系列教程第一部分,讲解如何在 AWS Trainium 上用 torch.profiler 与 Neuron 系统级 profiling 系统分析推理性能。文章介绍通过 NeuronConfig、NeuronProfiler 配置捕获 DEVICE 与 RUNTIME 数据流,并用浏览器工具 Neuron Explorer 查看系统 trace 与设备时间线。教程以 RMSNorm 的三种实现(朴素 PyTorch 算子、torch.rms_norm()、torch.compile)为例对比,脚本可在 torch-neuronx examples 目录获取。

  8. Hugging Face Blog43

    TorchNeuron 性能分析(第一部分):在 AWS Trainium 上进行系统级 profiling

    Hugging Face 发布 TorchNeuron 系列教程第一部分,讲解如何在 AWS Trainium 上用 torch.profiler 与 Neuron 系统级 profiling 系统分析推理性能。文章介绍通过 NeuronConfig、NeuronProfiler 配置捕获 DEVICE 与 RUNTIME 数据流,并用浏览器工具 Neuron Explorer 查看系统 trace 与设备时间线。教程以 RMSNorm 的三种实现(朴素 PyTorch 算子、torch.rms_norm()、torch.compile)为例对比,脚本可在 torch-neuronx examples 目录获取。

10月21日周三
  1. Hugging Face · 新模型:uncensored20

    mradermacher 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16-i1 GGUF 量化版本

    mradermacher 在 Hugging Face 上线 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking-bf16-i1-GGUF 量化模型,提供 Q2_K 等量化格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持 OpenAI 兼容本地服务器,并适配 Ollama、Docker Model Runner、Lemonade、LM Studio 等多种本地工具。

  2. Hugging Face · 新模型:uncensored78

    AtomicChat 发布 FLUX 3 Image Klein 提示词扩展器无拒绝 GGUF 版

    AtomicChat 放出 BFL 的 FLUX 3 Image Klein 提示词扩展器去拒绝版本,通过投影移除拒绝方向,以 GGUF 和 3MB LoRA 两种形式提供。作为对话模型,英语拒绝率从 63% 降到 0%,俄语从 29% 降到 1%,MMLU 仅从 74.15% 降到 73.95%;在 Klein 文生图管线中未观察到去审查效果,因原始图像模型本身已能画出敏感类别。

    推荐理由:发布方给出拒绝率、MMLU 和量化损失的完整实测数据,读者可据此判断这个去对齐版本的实际代价。

  3. Hugging Face · 新模型:uncensored54

    LFM2.5-24B-A2B 无对齐 GGUF 量化版发布,拒绝率从 89/100 降到 0/100

    pottokao 在 Hugging Face 发布 LiquidAI/LFM2.5-24B-A2B 的去对齐 GGUF 量化版,用 Heretic ARA 去审查后拒绝率从 89/100 降到 0/100,BF16 权重上 KL 为 0.260。所有 attn_output 张量保持 Q8_0,去对齐修改集中在 blk.38.attn_output;IQ3_M 档可在 16 GB 显存单卡运行,模型回答前会先思考,需留较大输出预算。

    推荐理由:作者给出了用 Heretic ARA 去对齐前后的拒绝率对比和 KL 数值,并说明各量化档的显存取舍。

  4. Hugging Face · 趋势模型59

    HuggingFaceBio 发布 14.8B DNA 语言模型 Carbon-X

    Hugging Face 联合 Zhongguancun Academy 与 Telethon 遗传学研究所发布开源 14.8B 模型 Carbon-X,基于 Qwen3-14B,用混合 tokenizer 在单一 decoder 中联合建模 DNA 序列与自然语言。五项 DNA 基准平均 66.7%(关闭思考),比起点 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约为其 1/1800,分析 ClinVar 全部 240 万意义不明变异约花 $300。权重以 bfloat16 适配单张 80 GB GPU,可用 vLLM 部署,支持作为 agent 工具调用,未做临床验证、不可用于医疗决策。

    推荐理由:原文给出五项 DNA 基准得分、成本对比和完整训练配方,读者可以据此评估这个 DNA 语言模型的实际水平与用法。

  5. Hugging Face · 新模型:uncensored42

    LxBarn 发布 Qwen-Image-2.1-Uncensored 量化版,支持 ComfyUI 本地生图

    LxBarn 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的无审查(Uncensored)量化版本,提供 GGUF、Safetensors 和 MLX 格式,文件大小从 NVFP4 的 4.20 GB 到 BF16 的 14.23 GB 不等,其中 Q4_K_M(4.60 GB)被推荐为 GGUF 体积与质量的最佳平衡。该版本内置 qwen3vl_8b 文本编码器与 VAE 文件,可直接在 ComfyUI 中使用,且无内置安全检查器,可直接生成成人、NSFW 及敏感图像。

  6. Hugging Face · 新模型:abliterated18

    dan9070 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 量化模型(IQ3_S/Q8PLE)

    dan9070 在 Hugging Face 上发布 abliterated 版模型 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-Q8PLE,提供 Q8_0 等量化版本。该模型可通过 llama.cpp 本地运行,支持 OpenAI 兼容服务器与终端推理,并可在 Ollama、Docker Model Runner、Lemonade 等工具中直接调用。

  7. Hugging Face · 新模型:uncensored43

    MiMo-V2.6-Flash-RL-UNCENSORED 实验性 IQ2 量化 GGUF 发布

    BattleGhost 发布 dealignai/MiMo-V2.6-Flash-RL-UNCENSORED 的实验性 GGUF 量化版本,默认 IQ2_XXS、47 个专家 FFN down 投影用 IQ2_S,4 分片共 91.70 GB,MIT 许可。WikiText-2 测试中相对 MXFP4 参考困惑度升至 6.539(高 37.4%),优于全 IQ2_XXS 版本的 6.886。该版本面向 llama.cpp 本地推理,不新增安全训练或内容审核。

10月20日周二
  1. Hugging Face · 新模型:uncensored34

    Qwen3.6-27B-Uncensored Genesis 版 GGUF 发布:基于 Genesis 张量修复算法的去噪模型

    burningfeet 发布基于 HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive 的 Genesis 版 GGUF 模型,采用 Genesis 后训练数据再生与校准算法,通过基于 Marchenko–Pastur 分布的自定义 SVD 修复张量噪声,保留 99% 信号与学习梯度,无需重新训练。该 27B 稠密模型原生支持 262,144 token 上下文(可扩展至 1,000,000),支持文本、图像和视频理解,推荐 NVFP4 量化,兼容 llama.cpp、LM Studio、koboldcpp 等 GGUF 运行时。

  2. Hugging Face · 新模型:abliterated31

    Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署发布

    huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化版本面向 Jetson AGX Orin 64GB 部署,采用近 2-bit E8P 编码与旋转处理,模型目录约 51.2 GB,只读权重约 34.52 GiB。支持文本、多图、thinking、prefix caching 与最多 7 drafts 的原生 MTP,上下文容量 262,144 tokens;实测 8,192 输入 prefill 达 809 tokens/s,Python 代码生成解码 53.84 tokens/s。权重采用 Qwen Community License 1.0,Orinfer 代码为 LGPL-3.0-or-later。

  3. Hugging Face Blog58

    Hugging Face 发布 AnyLanguageModel 1.0,一年来本地模型接入 Apple 平台的成果

    Hugging Face 发布 AnyLanguageModel 1.0,它是 Apple Foundation Models 框架的 drop-in 替代,可让同一套 session 代码使用系统模型、llama.cpp/MLX/Core ML 开源权重模型及托管服务。1.0 版所有 provider 均支持工具调用与引导式生成,托管端支持 OpenAI、Anthropic、Gemini、Ollama、Hugging Face Inference Providers 等端点;同日发布 swift-huggingface 1.0 与 swift-xet 1.0,并可运行于 Linux。

    推荐理由:官方回顾了一年迭代脉络,并给出本地与托管推理共用一套 Foundation Models 风格 API 的具体做法,对 Swift 开发者有直接参考价值。

  4. Hugging Face Blog73

    Hugging Face 介绍 PyTorch 2.15 的 MPS 后端改进:FP8 登场,MoE 解码最高提速 6.5 倍

    Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进:新增 float8_e4m3fn 张量与 F.scaled_mm,MoE 模型解码比 2.14 提速 5 到 6.5 倍,M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核(几何平均 1.23 倍),词表 softmax 约 8 倍加速;Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB,并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。

    推荐理由:Hugging Face PyTorch 团队亲述 MPS 后端改进细节,给出各模型的实测吞吐数字,Mac 上跑模型的读者可以对照评估升级收益。

  5. Hugging Face · 新模型:abliterated64

    alesha-pro 发布 Qwen3.8-Flash-Next 去对齐 Strata GGUF 量化包

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包,含 S 和 S-small 两种规格,基于 Mirai 的 2-bit trellis 构建,用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次,Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行,S 版解码 82-113 tok/s,支持最高 262144 上下文,需 Linux、CUDA 12.8+ 和约 64 GB 内存。

    推荐理由:作者实测了加拒绝向量前后的拒绝数和各档速度内存数据,读者可以据此判断这个去对齐量化包的实际表现。

  6. Hugging Face · 新模型:uncensored42

    neko-legends 发布 DeepSeek-V4.1-Flash-1017-EXL3-3.5bpw-UNCENSORED-4xSpark 去审查量化包

    neko-legends 发布 DeepSeek-V4.1-Flash-1017 的 3.5 bpw EXL3 去审查量化包,对 54 个 abliterated 矩阵以 K=6 重新编码,编辑保留率 mean 0.9992,量化误差比 2.9 bpw 包低约 40%。在 4× DGX Spark 上 MMLU-500 chat 达 81.0%、HumanEval-164 pass@1 达 93.29%,但每 rank 需 67.3 GiB 内存,prefill 吞吐比 2.9 bpw 包低 76%,官方建议四卡环境仍用 2.9 bpw 包。

  7. Hugging Face · 新模型:uncensored68

    DeepSeek-V4.1-Flash-1017 无对齐版发布,附 4× DGX Spark 部署与评测数据

    neko-legends 发布 DeepSeek-V4.1-Flash-1017 的无对齐 EXL3 2.9bpw 打包,基于 dealignai 的 abliterated 版本,将 54 个稠密 BF16 矩阵重编码为 EXL3 trellis 以适配 TensorFold Zig TP4 引擎,可在 4× NVIDIA DGX Spark 上运行。评测显示去对齐代价集中在道德判断,moral_scenarios 从 95.5% 降至 40.9%,而 HumanEval chat 成绩 92.68% 反高于官方版;另提供 3.5bpw 兄弟版本,moral_scenarios 略高但解码慢约 10%。

    推荐理由:原文给出 MMLU 与 HumanEval 的前后对照,显示去对齐的代价集中在道德判断而非知识或编码能力。

  8. arXiv · cs.AI38

    Tandem:在移动 NPU 上服务混合线性注意力 GUI 智能体

    研究者提出 Tandem,一个在移动 NPU 上运行混合线性注意力 GUI 智能体的运行时,通过在相邻请求分叉处保存循环状态、将 prefill 保持在矩阵单元并支持待机降功耗来加速本地推理。在 Snapdragon 8 Elite 上,Tandem 将文本屏幕描述的每步延迟降低 30%、截图降低 16%,文本每步能耗降低 33%,模型加载状态下的待机功耗从 0.76 W 降至 0.22 W。

  9. Ollama Blog52

    Cloudflare 27B 多模态决策模型 Clef 上线 Ollama,本地与云端均可运行

    Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来,以 Apache 2.0 协议开源,支持文本、JSON 与图像输入,可一次读取输入并同时对所有问题的答案打分,兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index,在 Jev benchmark 套件多数项目上超过 Jev,例如 BFCL case exact 98.47 对 95.75;43 个评测的延迟中位数为 209.3ms(Clef-flash 为 38.8ms)。

    推荐理由:官方发布了多模态决策模型 Clef 的完整基准与延迟数据,读者可以直接对比它和 Jev 等模型在各场景的实际表现。

  10. Hugging Face · 新模型:uncensored27

    Qwen3.8-27B-Uncensored-MLX-6-bit 模型发布

    Hugging Face 上发布 bi0h4z4rd88/Qwen3.8-27B-Uncensored-MLX-6-bit,一个基于 Qwen3.8 的 27B 6-bit MLX 量化无审查模型,支持图像输入。页面给出 mlx-vlm 加载与生成示例,并说明可通过 mlx_lm.server 启动本地 OpenAI 兼容服务器,接入 Pi、Hermes Agent 和 OpenClaw 等工具。

  11. Hugging Face · 新模型:uncensored34

    mecha-factory 发布 Qwen3.6-35B-A3B-Uncensored-MTP-GGUF 量化模型

    mecha-factory 发布 Qwen3.6-35B-A3B-Uncensored(HauhauCS Aggressive)Q4_K_M GGUF 文件,将 unsloth 转换的 MTP 头嫁接到 HauhauCS 的去审查模型上,供 llama.cpp 以 --spec-type draft-mtp 进行投机解码。未做任何重训练或重量化,block_count 从 40 变为 41;Apple Metal 上接受率实测 0.79–0.86,CUDA 上约 0.6。文件按 Apache License 2.0 开源。

  12. Hugging Face · 新模型:uncensored21

    Gravelrat 发布 L3.1-Dark-Reasoning-LewdPlay-evo-Hermes-R1-Uncensored-8B-IQ4_NL-GGUF 量化模型

    Gravelrat 在 Hugging Face 上发布 L3.1-Dark-Reasoning-LewdPlay-evo-Hermes-R1-Uncensored-8B-IQ4_NL-GGUF,为 8B 参数、IQ4_NL 量化的 GGUF 无审查模型。页面给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner、Lemonade 等多种运行方式,其中 llama.cpp、Ollama、Docker 等可直接以 IQ4_NL 量化版本拉取运行,vLLM 与 SGLang 均支持 OpenAI 兼容 API 调用。

  13. Hugging Face Blog57

    Hugging Face 发布 TorchNeuron:Transformers 等库原生支持 AWS Trainium

    Hugging Face 宣布 TorchNeuron 为 PyTorch 在 AWS Trainium 上的原生后端,自 2026 年 10 月 20 日起开放公测,可通过 pip install torch-neuronx 安装。

    推荐理由:官方给出了 TorchNeuron 与 Optimum Neuron 的模型支持率对比和可直接复用的推理与训练脚本,便于评估是否迁移到 Trainium。

  14. Hugging Face · 新模型:uncensored36

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式,用于本地图像生成,Q4_K_M(4.60 GB)为推荐的 GGUF 量化档位。该版本无内置安全检查器,可直接生成成人及 NSFW 内容,需配合 ComfyUI 与 ComfyUI-GGUF 使用,文本编码器 qwen3vl_8b 可卸载至系统内存以节省 9–17 GB 显存。

10月19日周一
  1. Hugging Face · 新模型:uncensored54

    MiMo-V2.6-Pro 无对齐版量化权重发布,适配 Maya 引擎本地部署

    nofacedfl 发布基于 Xiaomi 约 1 万亿参数 MiMo-V2.6-Pro 的 abliterated "heretic" 基座的约 2-bit 量化版(300 GB,GGUF 分片),适配 Maya 引擎并带独立视觉塔,MIT 许可。实测在 5× RTX 4090 48 GB + 2× A100 40 GB 上代码生成 71–75 tok/s、200K 上下文 38–40 tok/s,支持 512K 上下文与约 1.6 秒的图像输入;abliterated 基座在该量化下 40 道 JailbreakBench 请求仍拒答 24 题,运行时拒绝向量可将拒答降到 1–5/40 但会增加编造答案,暂未随包发布。

    推荐理由:原文给出拒绝率实测数据,abliterated 基座经量化后 40 题仍拒答 24 题,读者可据此判断去对齐的实际程度。

  2. Hugging Face · 趋势模型47

    XHToken 发布端侧模型 Spark-X2.6-4B(GGUF)

    XHToken 在 Spark-X2.5-4B 基础上推出端侧部署模型 Spark-X2.6-4B,架构不变,靠改进后训练提升编码、Agent、长上下文、多语言与推理能力,在同级开源模型中达到 SOTA,可匹敌或超越约 9B 参数的模型。模型提供 none、low、high 三档可控思考预算,支持最大 1,048,576 token 上下文,推理效率不低于 Qwen3.5-4B 和 Gemma-E4B,并可在 SGLang、vLLM 上部署。

  3. Hugging Face · 新模型:abliterated57

    junmo-k 发布 GLM-5.3-Flash-FP4 去对齐版 MLX 重打包

    junmo-k 在 Hugging Face 发布 Piecrust/GLM-5.3-Flash-FP4-Abliterated 的 MLX 重打包,基于 NVIDIA 的 NVFP4 量化版 GLM-5.3-Flash(320B 总参数、约 18B 激活),对第 15-36 层的 44 个矩阵施加 rank-1 拒绝方向编辑。在 Apple M5 Ultra 256GB 上实测,去对齐编辑相对未编辑版本 NLL 高 0.46%,解码慢 12-24%,峰值内存多约 13GB;相对作者自己的 158GiB JK v4 版 NLL 低 1.47%。加载需 14 行 oMLX 补丁以支持每专家 weight_scale_2。

    推荐理由:作者给出消融方法细节和与未编辑版本的 NLL、速度、内存对照数据,可据此评估这次去对齐编辑的实际代价。

  4. Hugging Face · 新模型:abliterated21

    davemahoney69/Coder-14B-Abliterated-Merge-Q4 量化模型在 Hugging Face 上提供 llama.cpp 使用指南

    Hugging Face 上架了 davemahoney69/Coder-14B-Abliterated-Merge-Q4 的 Q4_K_M 量化版本,并给出 llama.cpp 使用方法。用户可通过 llama serve 或 llama cli 直接加载该模型,在本地启动 OpenAI 兼容服务器或终端推理,支持 macOS、Linux、Windows(WinGet)、预编译二进制、源码构建及 Docker 多种安装方式。

  5. Hugging Face · 新模型:uncensored68

    IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 XQ 混合精度去对齐量化版

    IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 XQ 混合精度量化版,552B 参数 MoE 压缩到 152 GB,可在 RTX 4090(24 GB)加 90 GB 内存的家用 PC 上运行,需配合自研 Xolotl 引擎而非 llama.cpp/Ollama。模型带 rank-2 拒绝方向编辑(manifest id adea0515bbf69a0b),拒绝探针显示 chat 模式 0/100、think 模式 0/50 拒绝;8K 预填充 239.8 tok/s,解码 12–13 tok/s。短 Gauntlet 测试 2/5,比作者此前 V4.1 v2 量化版(4/5)有回退,原因尚未定位;校准后重做的 V3 版本正在上传。

    推荐理由:作者给出了拒绝探针、困惑度和速度的实测数据,还说明了量化分配与拒绝方向编辑的具体做法,可据此评估这个本地化版本。

  6. Hugging Face · 新模型:abliterated21

    Mitroshenkov87/voxprint-mirror-huihui-gemma-4-12b-it-abliterated-gguf 上架 Hugging Face

    Hugging Face 上架 GGUF 格式模型 Mitroshenkov87/voxprint-mirror-huihui-gemma-4-12b-it-abliterated-gguf,提供 Q4_K_M 量化版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种工具运行,支持启动 OpenAI 兼容 API 服务器或在终端直接推理,也可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。

  7. Hugging Face · 趋势模型44

    XHToken 发布 Spark-X2.6-4B:面向端侧 Agent 的通用语言模型

    XHToken 发布 Spark-X2.6-4B,是基于 Spark-X2.5-4B 的端侧通用语言模型,架构不变,通过改进后训练提升编码、Agent、长上下文、多语言和推理能力。该模型在同级开源模型中达到 SOTA,可匹敌约 9B 参数模型,支持 none/low/high 三档可控思考预算,最大上下文长度 1,048,576 tokens。模型权重已在 Hugging Face 开源,支持 Transformers 和 SGLang(含 NVIDIA GPU 与 Ascend NPU)推理部署。