跳到正文
10月26日周一
  1. Hugging Face · 新模型:uncensored36

    Ornith-1.5-122B-UNCENSORED NVFP4 版本发布,可单卡 RTX 5090 运行 Infernix 格式

    dealignai 在 Hugging Face 发布 Ornith-1.5-122B-UNCENSORED 的 NVFP4-Infernix 格式导出,这是去 refusals 版本的量化模型,基于 Qwen3.5-122B-A10B 架构(48 层、256 个路由专家每层取 top 8),附带 MTP 与 DFlash2 drafter。模型经逐字校验与 checkpoint 无失配,可在单张 RTX 5090(32 GB)上运行,约需 70 GiB 主机内存和 76 GB 磁盘空间,速度仍待优化测定。

  2. GitHub · 3D 生成新仓库26

    Ruzivo:面向绍纳语的开源多模态对话 AI 系统上线 GitHub

    开发者 Recall T. Mabika 在 GitHub 开源 Ruzivo,一个专为绍纳语(ChiShona)打造的端到端多模态对话 AI 系统,采用 MIT 协议。系统在 4-bit 量化的 1.5B 基座模型上用 QLoRA(r=16, α=32)微调,下一 token 预测准确率从 32.1% 提升至 72.1%;RAG 子系统基于 14,201 句课程教材语料实现零幻觉检索。语音方面 WER 从 78.4% 降至 47.9%,并提供 Android App 与响应式 Web 客户端。

  3. Hugging Face · 新模型:uncensored75

    BoldingBuilds 发布 GLM-5.3-Flash-Uncensored 的 imatrix GGUF 量化并实测去对齐效果

    BoldingBuilds 放出 OrcaRouter 去 GLM-5.3-Flash-Uncensored(320B 总参数/18B 激活 MoE、288 路由专家、1M 上下文)的 imatrix GGUF 量化,含 IQ3_XXS、IQ2_M、IQ2_S、IQ2_XXS 四档,并修正共享专家与 attention 量化配方使 IQ2_S 等通过全部 48 项一致性测试。量化权重上实测 JailbreakBench 有害拒绝率 0.040(OrcaRouter FP8 为 0.120,base 为 0.930),HumanEval pass@1 0.927;作者指出空输出会计为服从,提醒评测时必须同时报告空输出数,文件已适配 mainline llama.cpp 与 LM Studio 模板。

  4. Hugging Face · 新模型:uncensored18

    MishraNepali/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF_Q2_K 模型上线 Hugging Face

    MishraNepali 发布 OrcaSAQ-2-Cyber-27B-Uncensored 的 GGUF Q2_K 量化版本,可在 Hugging Face 获取。该模型支持通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等多种工具本地运行,并可启动 OpenAI 兼容 API 服务器供 LM Studio、Jan、Pi、Hermes、OpenClaw 等客户端调用。

  5. Reddit · r/LocalLLaMA22

    CrowdGPT:一个协作训练的大语言模型项目

    开发者推出 CrowdGPT 项目,目标是在不建数据中心、不投入数百万美元的情况下,协作训练一个 10 亿参数的模型。参与者可用自己的 PC 独立训练并将贡献汇入全局模型,项目开源且 100% 公开训练数据和权重。当前模型规模仅作概念验证,作者正在征集反馈以降低参与门槛。

  6. Hugging Face · 新模型:abliterated26

    Qwen2.5-7B-Instruct-abliterated-64k 发布:元数据修复版 GGUF

    R0U5 在 Hugging Face 发布 Qwen2.5-7B-Instruct-abliterated-64k,这是基于 huihui-ai 消融模型与 mradermacher GGUF 量化的元数据修复版,非新增消融。仓库将 context_length 重新声明为 65536 并添加 YaRN rope scaling 元数据(factor 2.0),以满足 Hermes Agent 64,000 token 最低上下文要求,权重与上游量化逐位一致。经 llama.cpp 验证 12 个拒绝测试提示 0 拒绝,Q4_K_M 版本 4.68 GB。

  7. GitHub · 去对齐工具与仓库41

    HAYAT:Windows 本地优先的私有 AI 助手开源项目

    GitHub 上的 HAYAT 是一个运行在用户自己电脑上的 Windows 本地优先 AI 助手,基于 Ollama 运行 HAYAT-35B-A3B(Qwen3.6-35B-A3B,约 3B 激活参数)模型,无需云端账号和付费 API。它支持语音对话、网络研究、摄像头与屏幕识别、Windows 应用控制、图像视频生成和长期记忆,外发操作需用户批准,另有 2.5-4.3 GB 的 HAYAT-Open-4B 轻量模型可选。

  8. Hugging Face · 新模型:abliterated22

    0xSojalSec 发布 GLM-5.3-Flash-abliterated 模型

    Hugging Face 上架了 0xSojalSec/GLM-5.3-Flash-abliterated,一个 abliterated(去抑制)版本的 GLM-5.3-Flash 多模态模型,支持 image-text-to-text 任务。页面给出 Transformers、llama.cpp(UD-Q4_K_XL 量化)、vLLM、SGLang、Ollama、Docker 等多种本地与服务器部署方式,并提供 OpenAI 兼容 API 调用示例。

  9. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next-Uncensored 2-bit MLX 量化版发布,附 DFlash2 加速与 M1 Max 实测

    3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版,目标模型采用 affine 2-bit/group-128 重建,搭配 Inco AI 的 BF16 DFlash2 草稿模型,完整下载 74.048 GB。在 M1 Max 64 GiB 实测中,代码与数学 warm 解码达 37.62 和 33.69 tokens/s,约为基线的 1.70× 和 1.56×,文本仅 1.048×;固定 50 题 GSM8K 子集全部答对且与原生参考一致,进程峰值内存 42.12 GiB。

    推荐理由:作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值,并给出 32/48/64 GiB 的可行性判断,便于评估本地部署。

  10. Hugging Face · 新模型:uncensored48

    Qwen3.8-Flash-Next-Uncensored MLX 2/8-bit 优化转换包发布

    Hugging Face 用户 3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化转换包,基于 360 GB BF16 源检查点,专家投影采用 affine 2-bit/group128,其余投影为 8-bit/group64,文件约 72.8 GB。验证含 50 题 GSM8K 子集、烟雾测试(15/18 通过)及文本生成约 23.5 tokens/s 的计时结果;模型采用原生 qwen4_exp 多模态实现,可配合 run_qwen38_unsloth.py 以 16384 上下文运行。

10月25日周日
  1. Hugging Face · 新模型:abliterated24

    Qwen3.8-Flash-Next-Abliterated Sushi 3bpw 实验性量化版本发布

    sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包,路由专家采用 EXL3 K3 编码,未额外做 abliteration 或微调。完整下载约 79.22 GiB,在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s,慢于 2bpw 版本;校准误差相对 2bpw(相对 Frobenius 误差 0.029 对 0.064)更低,支持 262144 上下文配置上限。

  2. Hugging Face · 趋势模型56

    南北阁发布 Nanbeige4.3-33B,主打约 30B 级开源模型中的智能体能力

    南北阁团队发布 Nanbeige4.3-33B,定位为 Nanbeige4.3 系列的教师模型,用于后续向更小模型(如 Nanbeige4.3-3B)蒸馏智能体能力。官方基准显示其在约 30B 参数开源模型中于 Terminal-Bench 2.1、DeepSWE、Automation Bench 等多数智能体编码与协作任务上领先,并说明在 35 个职业的 JobBench 评测中多数占优。模型支持 512K 上下文,提供 enable_thinking 与 preserve_thinking 等可配置聊天模板,可用 Transformers、SGLang 或 vLLM 部署。

    推荐理由:原文给出与同规模开源模型的完整基准对比和推理部署配置,可借此了解 30B 级开源智能体模型的实际水平。

  3. Hugging Face · 新模型:uncensored35

    Spark-X2.6-4B-Uncensored GSQ-RCO GGUF 量化版发布

    abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版,面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16,GSQ 依 Hessian 灵敏度校准优化每层精度,推荐 IQ3_M(2.28 GB)。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存,支持 llama.cpp 与 Ollama,采用 Apache-2.0 许可。

  4. Reddit · r/LocalLLaMA60

    Lure-TTS 与 Lure-Turbo:600M 语音模型跑出 4 倍实时速度,训练成本不到 $200

    /u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型,支持内联标签、语音方向控制和音色克隆,训练成本不到 $200。Turbo 的 RTF 为 0.14,对比 5B Fish S2 Pro 的 0.195,同时保持相同说话人相似度(ECAPA 0.699)。作者还发布了 Lure-TTS 推理引擎,基于 faster-qwen3-tts(CUDA)、mlx-audio(Mac)和 audio.cpp(CPU),在 4090 上首音频输出 0.17s(参考代码为 10.6s),整体快约 5 倍(RTF 0.53 vs 2.54),支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。

    推荐理由:作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码,可复现的低成本 TTS 微调路线有参考价值。

  5. GitHub · 3D 生成新仓库30

    GameForge-AI:面向 2D 游戏素材的多模型生成式 AI 流水线开源

    GameForge AI 是一个用于 2D 游戏素材设计的开源多模型生成式 AI 流水线,涵盖语义规划、对抗精灵图生成、隐空间分析与重建。其 DCGAN、AE、VAE 三个视觉模型均基于同一 282,511 张 2D 像素素材(Alucard 数据集)训练:DCGAN 以 64×64 RGBA 生成全新精灵图,AE 达到 MSE 0.000782、PSNR 28.52 dB,VAE 在 5,000 张候选池上取得 84.40% KNN 分类准确率。项目含 FastAPI 后端与 React/Vite 前端,数据集采用 CC-BY-NC-SA 4.0 授权。

  6. Hugging Face · 新模型:uncensored49

    Qwen3.8-27B-Uncensored 发布 MLX 5.0 bpw 混合精度量化版

    Hugging Face 上发布 orcarouter/Qwen3.8-27B-Uncensored 的 MLX 5.0 bpw 仿射量化版,体积 17.38 GB,比 bf16 小 3.2 倍,针对 M5 的 NAX 张量单元调优。模型保留 256 K 上下文、MTP 头与视觉塔,48 个注意力模块经 GPTQ 量化后中位数输出误差降低 32%。以 Apache-2.0 许可开源,需通过 oMLX 运行。

  7. Hugging Face · 新模型:abliterated25

    mradermacher 发布 Ornith1.0-9B-3MPER0RR-abliterated GGUF 量化模型

    Hugging Face 用户提供 mradermacher/Ornith1.0-9B-3MPER0RR-abliterated-GGUF 模型(Q4_K_S 量化版),可在 llama.cpp、Ollama、Docker Model Runner 等多种本地工具中运行。文档给出 macOS、Linux、Windows 各平台的安装与启动命令,支持通过 llama serve 启动 OpenAI 兼容本地服务器或直接在终端推理,还覆盖 LM Studio、Pi、Hermes Agent、OpenClaw 等客户端配置方法。

  8. Hugging Face · 趋势模型37

    ccore/Qwen3.5-4B-3D-Coder:基于 Qwen3.5-4B 的 4B 3D 场景生成模型早期预览

    CCORE 基于 Qwen/Qwen3.5-4B 做的独立微调模型 Qwen3.5-4B-3D-Coder 发布早期预览,专注通用编程与 Three.js 交互式 3D 场景生成,非 Qwen 官方版本。10 月 26 日更新了 Q4_K_M 和 Q8_0 量化文件,修复层相关问题,测试显示单次场景生成成功率更高。训练预计于 10 月 28 日 07:30 UTC 完成,届时将发布 FP16 全量权重、全部量化版本、训练数据集和评估报告。

  9. Hugging Face · 新模型:abliterated32

    mradermacher 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated-i1-GGUF 量化版本

    mradermacher 发布 abliterated 版模型 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 的 i1-GGUF 量化,包含多种尺寸的 imatrix 量化文件,并提供 0.2GB 的 imatrix 文件供用户自行创建量化版本。静态量化版可另行获取,使用方法可参考 TheBloke 的 README。