跳到正文
#开源模型
今天10月26日周一29 条
  5. Hugging Face · 新模型：uncensored67

    FLUX 3 Image Klein 文本编码器去对齐 GGUF 版发布，英文拒绝率从79%降至0%

    AtomicChat 在 Hugging Face 发布 FLUX 3 Image Klein 文本编码器（Qwen3-VL-4B-Instruct）的去对齐 GGUF 版，将拒绝方向从权重中投影消除，英文有害请求拒绝率从 79% 降到 0%，俄语从 32% 降到 0%，MMLU 从 71.1% 到 71.2%。提供 BF16 至 Q4_K 共四档量化，可作为 stable-diffusion.cpp 的 --llm 直接使用；实测显示图像内容变化极小（LPIPS 0.066），并附与 webmp3 Sakura、pottokao Heretic 等同类去对齐编码器的 KLD、拒绝率和 MMLU 对比。方法遵循 Arditi et al. 2024 的单一拒绝方向研究，ComfyUI 暂不兼容该编码器。

    推荐理由：原文给出了拒绝方向消融的完整方法和前后拒绝率数据，还与多个同类去对齐编码器做了量化对比。

  6. GitHub · 灵魂体仓库50

    fanyifan090409-dev/mobile-llm-engine：基于 Qwen3 的手机本地大模型推理引擎开源

    GitHub 开源 mobile-llm-engine，一款 iOS 优先的本地大模型推理引擎，内置基于 Qwen3 继续训练的 0.6B 中文助手模型（Q5_K_M 量化、551MB），专注日历等工具调用任务，数据不出设备。实测 40 题工具调用中 tool_call 发射率和 schema 校验通过率均为 100%，但日期参数正确率 0/15，幻觉问题修复中。目前仅支持 Apple Silicon Mac，运行内存约 1GB，可开放试用。

  7. Reddit · r/LocalLLaMA53

    腾讯混元发布实时同传模型 Hy-SimulMT-30B-A3B 并开放 GGUF 权重

    腾讯混元发布实时同传模型 Hy-SimulMT-30B-A3B，支持中英双向语音到语音翻译，在说话人讲话时持续接收音频并同步输出译文文本和语音，并通过实时声音克隆保留说话人音色。在 RealSI 长音频评测中其 StreamLAAL 约 3 秒，为对比系统中最低，GEMBA 分数超过所对比的开源模型和五个商业 API 中的四个。GitHub 提供 SimulInfer 推理服务与 SimulTrain 训练工具，Hugging Face 开放了 GGUF 权重，语音输出和声音克隆需配置 TTS 服务，也可在 Hy Translate App 中试用。

  10. Hugging Face · 新模型：abliterated26

    Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S GGUF 量化版发布

    Hugging Face 社区发布 Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S，这是基于 OBLITERATUS/feyospace-s1-obliterated 的 GGUF 量化版，面向本地网络安全研究、代码分析与工具辅助调查。该构建采用 UD-Q4_K_S 混合精度布局、面向安全的 importance-matrix 校准，并保留 MTP 头以支持投机解码；上游模型约 28B 参数、Qwen3.5 架构、Apache-2.0 许可，最大上下文 262,144 tokens。该卡未提供此量化版的 benchmark 结果，最终张量清单与质量保留情况尚待验证。

  11. Hugging Face · 新模型：uncensored36

    Ornith-1.5-122B-UNCENSORED NVFP4 版本发布，可单卡 RTX 5090 运行 Infernix 格式

    dealignai 在 Hugging Face 发布 Ornith-1.5-122B-UNCENSORED 的 NVFP4-Infernix 格式导出，这是去 refusals 版本的量化模型，基于 Qwen3.5-122B-A10B 架构（48 层、256 个路由专家每层取 top 8），附带 MTP 与 DFlash2 drafter。模型经逐字校验与 checkpoint 无失配，可在单张 RTX 5090（32 GB）上运行，约需 70 GiB 主机内存和 76 GB 磁盘空间，速度仍待优化测定。

  12. GitHub · 3D 生成新仓库26

    Ruzivo：面向绍纳语的开源多模态对话 AI 系统上线 GitHub

    开发者 Recall T. Mabika 在 GitHub 开源 Ruzivo，一个专为绍纳语（ChiShona）打造的端到端多模态对话 AI 系统，采用 MIT 协议。系统在 4-bit 量化的 1.5B 基座模型上用 QLoRA（r=16, α=32）微调，下一 token 预测准确率从 32.1% 提升至 72.1%；RAG 子系统基于 14,201 句课程教材语料实现零幻觉检索。语音方面 WER 从 78.4% 降至 47.9%，并提供 Android App 与响应式 Web 客户端。

  15. Hugging Face · 新模型：uncensored75

    BoldingBuilds 发布 GLM-5.3-Flash-Uncensored 的 imatrix GGUF 量化并实测去对齐效果

    BoldingBuilds 放出 OrcaRouter 去 GLM-5.3-Flash-Uncensored（320B 总参数/18B 激活 MoE、288 路由专家、1M 上下文）的 imatrix GGUF 量化，含 IQ3_XXS、IQ2_M、IQ2_S、IQ2_XXS 四档，并修正共享专家与 attention 量化配方使 IQ2_S 等通过全部 48 项一致性测试。量化权重上实测 JailbreakBench 有害拒绝率 0.040（OrcaRouter FP8 为 0.120，base 为 0.930），HumanEval pass@1 0.927；作者指出空输出会计为服从，提醒评测时必须同时报告空输出数，文件已适配 mainline llama.cpp 与 LM Studio 模板。

  18. Hugging Face · 新模型：uncensored18

    MishraNepali/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF_Q2_K 模型上线 Hugging Face

    MishraNepali 发布 OrcaSAQ-2-Cyber-27B-Uncensored 的 GGUF Q2_K 量化版本，可在 Hugging Face 获取。该模型支持通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等多种工具本地运行，并可启动 OpenAI 兼容 API 服务器供 LM Studio、Jan、Pi、Hermes、OpenClaw 等客户端调用。

  19. Hugging Face · 新模型：abliterated26

    Qwen2.5-7B-Instruct-abliterated-64k 发布：元数据修复版 GGUF

    R0U5 在 Hugging Face 发布 Qwen2.5-7B-Instruct-abliterated-64k，这是基于 huihui-ai 消融模型与 mradermacher GGUF 量化的元数据修复版，非新增消融。仓库将 context_length 重新声明为 65536 并添加 YaRN rope scaling 元数据（factor 2.0），以满足 Hermes Agent 64,000 token 最低上下文要求，权重与上游量化逐位一致。经 llama.cpp 验证 12 个拒绝测试提示 0 拒绝，Q4_K_M 版本 4.68 GB。

  20. Hugging Face · 新模型：abliterated20

    Hugging Face 上架 abliterated 量化模型 llm-qwen3.8-flash-next-abliterated-iq4xs

    abliterated 版模型 yuanyeyuanye/llm-qwen3.8-flash-next-abliterated-iq4xs（UD-IQ4_XS 量化）现可通过 llama.cpp 加载，支持 llama serve 启动兼容 OpenAI 的本地服务器与 llama cli 终端推理。模型也可经 Ollama、Docker、Lemonade 拉取运行，并能接入 Pi、Hermes、OpenClaw 等工具，覆盖 macOS、Linux 与 Windows 平台。

  21. GitHub · 去对齐工具与仓库41

    HAYAT：Windows 本地优先的私有 AI 助手开源项目

    GitHub 上的 HAYAT 是一个运行在用户自己电脑上的 Windows 本地优先 AI 助手，基于 Ollama 运行 HAYAT-35B-A3B（Qwen3.6-35B-A3B，约 3B 激活参数）模型，无需云端账号和付费 API。它支持语音对话、网络研究、摄像头与屏幕识别、Windows 应用控制、图像视频生成和长期记忆，外发操作需用户批准，另有 2.5-4.3 GB 的 HAYAT-Open-4B 轻量模型可选。

  22. Hugging Face · 新模型：abliterated25

    huihui-ai 发布 Huihui-gemma-4-12B-agentic-fable5-abliterated 去审查版本

    huihui-ai 基于 yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2 制作 abliterated 去审查版本，在不使用 TransformerLens 的情况下移除模型拒绝行为，属于概念验证实现。该模型安全过滤大幅减弱，可能生成敏感或不当内容，官方建议仅用于研究、测试或受控环境，避免直接投入生产或面向公众的商业应用。

  23. Hugging Face · 新模型：abliterated22

    Huihui-GLM-5.3-Flash-abliterated 模型在 Hugging Face 上提供 Transformers、llama.cpp、vLLM 等多框架使用指南

    0xSojalSec 在 Hugging Face 发布 Huihui-GLM-5.3-Flash-abliterated，支持 image-text-to-text 任务，提供 UD-Q4_K_XL 量化版本。页面给出 Transformers pipeline、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种部署方式的完整命令，可通过 OpenAI 兼容 API 本地运行该模型。

  24. Hugging Face · 新模型：abliterated22

    0xSojalSec 发布 GLM-5.3-Flash-abliterated 模型

    Hugging Face 上架了 0xSojalSec/GLM-5.3-Flash-abliterated，一个 abliterated（去抑制）版本的 GLM-5.3-Flash 多模态模型，支持 image-text-to-text 任务。页面给出 Transformers、llama.cpp（UD-Q4_K_XL 量化）、vLLM、SGLang、Ollama、Docker 等多种本地与服务器部署方式，并提供 OpenAI 兼容 API 调用示例。

  25. Hugging Face · 新模型：uncensored56

    Qwen3.8-Flash-Next-Uncensored 2-bit MLX 量化版发布，附 DFlash2 加速与 M1 Max 实测

    3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版，目标模型采用 affine 2-bit/group-128 重建，搭配 Inco AI 的 BF16 DFlash2 草稿模型，完整下载 74.048 GB。在 M1 Max 64 GiB 实测中，代码与数学 warm 解码达 37.62 和 33.69 tokens/s，约为基线的 1.70× 和 1.56×，文本仅 1.048×；固定 50 题 GSM8K 子集全部答对且与原生参考一致，进程峰值内存 42.12 GiB。

    推荐理由：作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值，并给出 32/48/64 GiB 的可行性判断，便于评估本地部署。

  26. Hugging Face · 新模型：uncensored48

    Qwen3.8-Flash-Next-Uncensored MLX 2/8-bit 优化转换包发布

    Hugging Face 用户 3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化转换包，基于 360 GB BF16 源检查点，专家投影采用 affine 2-bit/group128，其余投影为 8-bit/group64，文件约 72.8 GB。验证含 50 题 GSM8K 子集、烟雾测试（15/18 通过）及文本生成约 23.5 tokens/s 的计时结果；模型采用原生 qwen4_exp 多模态实现，可配合 run_qwen38_unsloth.py 以 16384 上下文运行。

10月25日周日
  1. Hugging Face · 新模型：abliterated24

    Qwen3.8-Flash-Next-Abliterated Sushi 3bpw 实验性量化版本发布

    sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包，路由专家采用 EXL3 K3 编码，未额外做 abliteration 或微调。完整下载约 79.22 GiB，在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s，慢于 2bpw 版本；校准误差相对 2bpw（相对 Frobenius 误差 0.029 对 0.064）更低，支持 262144 上下文配置上限。

  4. Hugging Face · 趋势模型56

    南北阁发布 Nanbeige4.3-33B，主打约 30B 级开源模型中的智能体能力

    南北阁团队发布 Nanbeige4.3-33B，定位为 Nanbeige4.3 系列的教师模型，用于后续向更小模型（如 Nanbeige4.3-3B）蒸馏智能体能力。官方基准显示其在约 30B 参数开源模型中于 Terminal-Bench 2.1、DeepSWE、Automation Bench 等多数智能体编码与协作任务上领先，并说明在 35 个职业的 JobBench 评测中多数占优。模型支持 512K 上下文，提供 enable_thinking 与 preserve_thinking 等可配置聊天模板，可用 Transformers、SGLang 或 vLLM 部署。

    推荐理由：原文给出与同规模开源模型的完整基准对比和推理部署配置，可借此了解 30B 级开源智能体模型的实际水平。

  5. Hugging Face · 新模型：uncensored35

    Spark-X2.6-4B-Uncensored GSQ-RCO GGUF 量化版发布

    abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版，面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16，GSQ 依 Hessian 灵敏度校准优化每层精度，推荐 IQ3_M（2.28 GB）。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存，支持 llama.cpp 与 Ollama，采用 Apache-2.0 许可。

  7. Reddit · r/LocalLLaMA60

    Lure-TTS 与 Lure-Turbo：600M 语音模型跑出 4 倍实时速度，训练成本不到 $200

    /u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型，支持内联标签、语音方向控制和音色克隆，训练成本不到 $200。Turbo 的 RTF 为 0.14，对比 5B Fish S2 Pro 的 0.195，同时保持相同说话人相似度（ECAPA 0.699）。作者还发布了 Lure-TTS 推理引擎，基于 faster-qwen3-tts（CUDA）、mlx-audio（Mac）和 audio.cpp（CPU），在 4090 上首音频输出 0.17s（参考代码为 10.6s），整体快约 5 倍（RTF 0.53 vs 2.54），支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。

    推荐理由：作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码，可复现的低成本 TTS 微调路线有参考价值。

  8. GitHub · 3D 生成新仓库30

    GameForge-AI：面向 2D 游戏素材的多模型生成式 AI 流水线开源

    GameForge AI 是一个用于 2D 游戏素材设计的开源多模型生成式 AI 流水线，涵盖语义规划、对抗精灵图生成、隐空间分析与重建。其 DCGAN、AE、VAE 三个视觉模型均基于同一 282,511 张 2D 像素素材（Alucard 数据集）训练：DCGAN 以 64×64 RGBA 生成全新精灵图，AE 达到 MSE 0.000782、PSNR 28.52 dB，VAE 在 5,000 张候选池上取得 84.40% KNN 分类准确率。项目含 FastAPI 后端与 React/Vite 前端，数据集采用 CC-BY-NC-SA 4.0 授权。

  10. Hugging Face · 新模型：uncensored37

    Qwen-Image-2.1 Uncensored 量化版发布，提供 GGUF/Safetensors/MLX 多格式本地部署

    l666A 基于 Qwen/Qwen-Image-2.1 上游权重发布 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成，Q4_K_M（4.60 GB）为推荐的 GGUF 量化方案。该版本不含内置安全检查器，可直接生成成人、NSFW 及敏感图像，支持 ComfyUI 与 ComfyUI-GGUF，文本编码器卸载到系统内存可节省 9–17 GB 显存。