跳到正文
10月24日周六
  1. Hugging Face · 新模型:uncensored18

    EsteefAi 发布 Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-mirror 镜像模型

    Hugging Face 上架 EsteefAi/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-mirror 镜像模型,默认量化为 Q4_K_M。该模型可通过 llama.cpp、Ollama、Docker、LM Studio、Pi、Hermes Agent、OpenClaw 等工具本地运行,llama.cpp 支持启动 OpenAI 兼容服务器及终端直接推理。

  2. AIHOT · 精选56

    月之暗面 Kimi K3.1 Pro 上线 OpenRouter,1M 上下文多模态开源权重模型

    OpenRouter 宣布月之暗面的 Kimi K3.1 Pro 上线,定位为基于 Kimi K3 后训练、面向长程编码和智能体任务的 1M 上下文多模态开源权重模型。定价为 $2/M input tokens、$10/M output tokens,可在 OpenRouter 直接试用。

    推荐理由:正文给出了定价、上下文长度和定位说明,想试用长上下文编码与智能体场景的读者可以直接在 OpenRouter 上体验。

  3. Reddit · r/LocalLLaMA41

    SPEV:基于 Qwen3-Omni 的全模态决策模型

    开发者基于 Qwen3-Omni 构建了全模态决策模型 SPEV,直接对原始音频输入输出决策概率,无需经 ASR 转写,避免转写带来的延迟与成本,并支持鸟鸣等非语音任务。它结合 Omni 音频/视频/图像解码器与训练的决策头,支持选择题、真假判断和序数评分,多个问题可在一次多模态前向传播中处理。

  4. Reddit · r/LocalLLaMA41

    Mica v0.5 决策模型实测:4B 比 395M 编码器快 2.2 倍,比同级 4B 模型快约 10 倍

    Mica v0.5 是基于 Qwen3.5-4B + LoRA 的决策模型,单次前向传播输出各选项概率。在 RTX 6000 Ada 上对比,其单次决策中位耗时 11-18 ms,比同为 4B 的 PPLX Decider 1.2 Flash(约 133-157 ms)快约 10 倍,比 395M 参数的 Laya(约 31-33 ms)快约 2 倍;日志狩猎任务中 1.7 秒处理 150 个日志块、捕获 22 处入侵中的 21 处,准确率约 95%。

  5. arXiv · cs.AI40

    Yalda Embedding:开源打造有竞争力的波斯语检索模型

    研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding,使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上,其宏平均达 0.5488,为受评 0.6B 模型中最高,并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏,均值从 0.4813 提升至 0.5488,且模型权重、代码与数据集均已开源。

  6. Reddit · r/LocalLLaMA52

    NVIDIA 发布 Nemotron-3.5-Bolt-E4B-4GB 小模型

    NVIDIA 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB,这是一个从 Gemma-4-E4B-it 进一步后训练的小语言模型,面向本地语音助手、交互式人格和边缘嵌入式场景。模型针对低内存与低 TTFT 优化,改进多轮工具调用、指令遵循和输入 grounding,可商用,另提供 GGUF、BF16 版本和 DFlash 投机解码 drafter。

  7. Reddit · r/LocalLLaMA71

    Baseten 开源 9B 决策模型 elephant-1,Decision Index 得分 65 追平 d1-ultra

    Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1(MIT),不生成文本,而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分,与 d1-ultra 持平,成本约 $8/1M tasks,约为 d1-ultra(约 $31)的四分之一;Jev Decision Index 0.4 得 62.65,为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分,Omniscience 非幻觉率 93 但准确率仅 12,倾向回答不知道。

    推荐理由:原文给出 Decision Index 得分、成本对比和分项基准数据,还说明了训练数据构成与架构改动来源,便于判断适用场景。

  8. Hugging Face · 新模型:abliterated58

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 无对齐版 NVFP4A16 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版,体积从 bf16 的 65.8 GB 降到 22.1 GB,KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化:专家用 FP4 权重加 bf16 激活,Mamba2 投影用 FP8,注意力保持 bf16,并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过,MTP 投机解码接受率 63%;24 GB 显存较紧张,建议 32 GB 以上。

    推荐理由:作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比,可据此选择合适的构建。

10月23日周五
  1. Hugging Face · 新模型:abliterated60

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 FP8 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 FP8-DYNAMIC 量化版,体积从 bf16 的 65.8 GB 降到 35.0 GB,KL 0.0134,用 llm-compressor 0.14.0 无校准数据制作。附 NVFP4A16(22.1 GB)和 W4A16(20.5 GB)4-bit 版本,可在 Ampere GPU 上运行。Heretic 评测协议下(关闭思考,100 条有害提示)各版本拒绝数为 20-26/100,差异不显著;原始 ThinkingCap 拒绝 99/100,bf16 去对齐版降至 21/100。

    同一新闻,精选展示《IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重》

  2. Hugging Face · 新模型:abliterated62

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版,20.5 GB(bf16 为 65.8 GB),KL 0.0215,用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化,激活保持 bf16,面向无 FP4/FP8 支持的 GPU(如 Ampere)。在 DGX Spark 上用 vLLM 0.30.0 测试,4 个温度为 0 的请求均正确且工具调用格式正常;Heretic 评测显示 100 个有害提示拒绝 26 个(bf16 去对齐版为 23),作者称数个拒绝的差异不显著。

    推荐理由:发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比,还注明两次基线运行差异数个拒绝不显著,便于判断精度损失。

  3. Reddit · r/LocalLLaMA35

    用户开源预训练小型 MoE 模型,供社区微调用于特定任务

    一位 Reddit 用户预训练了一个小型 SLM 并开放用于微调:该模型是基于 7.28M backbone 的稀疏 11M MoE(活跃参数 5.52M,top-1 路由、2 专家),在约 5.7B token 上训练,上下文窗口 2048。作者同时开源了整套训练管线,支持 CUDA 并针对 Blackwell 2.0 优化,CPU 完全对等;模型权重与快速上手指南已发布在 Huggingface。

  4. Hugging Face · 新模型:uncensored48

    Solstice-AI 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 的 Apple MLX oQ4e 1M 版本

    Solstice-AI 将 DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 量化打包为 Apple MLX oQ4e 混合精度版本,内置 1,048,576 token 的 YaRN 上下文扩展,内存占用 17.02 GB,可在 16GB/24GB MacBook 上通过 Anvil 或 MLX-LM 运行。官方称在 Claude Code 评测框架下以 9/9 项基准全胜 Claude Opus 4.6 Max,其中 SWE-bench Pro 61.7% 对 53.4%,ARC-C 735、ARC-E 882。Apple Silicon 上的 MTP 多 token 预测带来 1.72×–2.20× 的加速。

  5. Hugging Face · 新模型:abliterated54

    leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版

    leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版,采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头,总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量,经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX(M4 Pro 48GB)上 mtp_enabled 开启时草稿接受率 89.1%,吞吐 78.6 tok/s,较关闭时的约 58.5 tok/s 提升 28–34%;MTP 加速仅支持 oMLX,LM Studio 只能加载基座模型。

    推荐理由:作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据,读者可据此判断这个 MLX 移植在速度与精度上的取舍。

  6. Hugging Face · 新模型:abliterated26

    mradermacher 发布 Sage-A1.5-Heretic-Abliterated-Uncensored-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Sage-A1.5-Heretic-Abliterated-Uncensored-i1-GGUF 量化模型,支持以 Q2_K 等量化版本运行。该模型可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接推理,也可在 Ollama、Docker、LM Studio、Jan 等工具中使用,并给出了 Pi、Hermes Agent、OpenClaw 等智能体的具体配置方法。

  7. Hugging Face · 新模型:uncensored25

    mradermacher 发布 LFM2.5-24B-A2B-uncensored2-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored2-i1-GGUF 量化模型,示例以 Q2_K 版本运行。该模型可通过 llama.cpp 在 macOS、Linux、Windows 本地启动 OpenAI 兼容服务器或终端推理,并支持 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具加载使用。

  8. GitHub · 3D 生成新仓库42

    Pixel Morph:浏览器端实时 2D 与 3D 生成开源项目发布

    开源项目 daniil-777/real-time-web-2D3D-generation 发布 Pixel Morph,两个神经网络加一个 Manifold CAD 内核完全在浏览器本地运行(TensorFlow.js 搭配 WebGPU/WebGL),无需服务器、不上传数据。绘画应用用卷积解码器把 48×48 网格编码转成 384 像素画作;3D 应用用 triplane 变分自编码器生成彩色 SDF,模型菜单可在 objects、architecture、architecture HD 等四个网络间切换。Arch Studio 支持英德法意文字生成古典柱式等建筑构件,可导出 GLB/OBJ/STL,全站为静态文件,可部署到任意静态托管。

  9. Hugging Face · 新模型:uncensored29

    NeoHorse-1-9B-Uncensored GSQ-RCO GGUF 量化版发布,适配 llama.cpp 本地推理

    abenzerps 基于 TokenRhythm/NeoHorse-1-9B 发布 GSQ-RCO 混合精度 GGUF 量化版本,采用 RCO 保留全部 48 个关键 SSM 参数为 BF16,并用 GSQ 按 Hessian 灵敏度校准逐层优化精度。提供 IQ2_XS 到 IQ4_XS 共 5 档文件,推荐 IQ3_M(3.75 bpw、4.20 GB)。配合 4-bit KV cache 可在 8GB 显存的消费级 GPU 上以约 6 GB VRAM 运行 131k 上下文,遵循 Apache-2.0 License。

  10. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1-Uncensored 量化版本发布:支持 GGUF、Safetensors 与 MLX 格式本地图像生成

    Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。版本包含 BF16(14.23 GB)至 Q4_K_M(4.60 GB)等多种量化档位,推荐 Q4_K_M 以平衡体积与质量;MLX 格式针对 Apple Silicon 优化,并随附 qwen3vl_8b 文本编码器与 VAE 文件供 ComfyUI 使用。该版本无内置安全检查或内容过滤,可直接生成 NSFW 等敏感图像。

  11. Reddit · r/LocalLLaMA43

    腾讯 WeVisOne-VL-4B 视觉语言模型上线 HuggingFace

    腾讯微信视觉团队推出统一视觉语言模型 WeVisOne-VL-4B,基于 Qwen3-VL 构建。该模型通过结构化 next-token prediction 和 9.6M 参数的轻量 pixel decoder,统一了目标级感知(开放词汇检测、指代定位、计数、指向与 OCR)与像素级感知(指代分割、可提示 alpha matting),已在 HuggingFace 开源。

  12. Reddit · r/LocalLLaMA36

    Qwen3-0.6B 被转换为 MoE 版本

    Reddit 用户 Bayliner1980 将 Qwen3-0.6B 转换为 MoE 架构,发布 bayliner1980/Qwen3-0.6B-MoE-A0.5B 及 GGUF 版本,这是其首个 chat 风格转换。因 Qwen3 无 shared expert,作者采用 pseudo-shared expert 部分恢复质量;评测显示 Wiki ppl 从 23.88 升至 26.98,各质量指标均差于原模型,0.6B 规模下 CPU 生成 124 t/s 略快于 dense 的 115 t/s,GPU 生成则略慢。作者建议只想要小模型就直接用 Qwen3-0.6B。

  13. GitHub · 去对齐工具与仓库27

    Candela:在笔记本上微调的开源金融分析 LLM 项目

    Candela 是一个正在开发中的开源金融分析 LLM 项目,基于 Gemma 4 12B 的 4-bit QAT 权重用 QLoRA 微调,可回答美股相关问题,所有数字均来自带日期和来源的工具调用。项目还包含从零训练、35M 参数起步的 Candela Spark 模型族,由 Go 网关提供服务,并通过终端风格 PWA 和 three.js 3D 视图探索模型内部,采用 Apache-2.0 许可证。

  14. Hugging Face · 新模型:uncensored28

    Qwen3.8-Flash-Next-Uncensored Q4_K_XL-Gufo 量化版发布

    Hugging Face 上线 Qwen3.8-Flash-Next-Uncensored 的 Q4_K_XL-Gufo 重量化版本,共 3 个分片约 103.5 GiB,升级 716 个张量 dtype 并修复 export bug,使 gufo 引擎可在 AMD Strix Halo(gfx1151)上加载,支持 262 144 原生上下文。无新微调,权重与原 Q4_K_S 相同;许可证按上游 Qwen Community License 1.0 分发,而非元数据标注的 apache-2.0。

  15. Hugging Face · 新模型:uncensored33

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,基于原版上游权重转换,提供 GGUF、Safetensors 和 MLX 格式,涵盖 BF16 14.23 GB 到 MLX 4-bit 4.00 GB 等多个量化档位,推荐 GGUF 用户使用 Q4_K_M(4.60 GB)。该版本内置无安全检查器,可直接生成 NSFW 等敏感图像,配套 qwen3vl_8b 文本编码器和 VAE 文件,可通过 ComfyUI 与 leejet/ComfyUI-GGUF 分支完成本地部署,文本编码器可卸载至系统内存以节省 9–17 GB VRAM。

  16. Hugging Face · 新模型:uncensored40

    m672/gemma-4-31b-it-uncensored-fp8 发布:FP8 块量化版 gemma-4-31B 无审查模型

    m672 发布 gemma-4-31B-it-uncensored-heretic 的 FP8 块量化版本,模型体积约 31.5 GB,较 BF16 的约 62 GB 减半。与 RedHatAI/gemma-4-31B-it-FP8-block 对比,GSM8k-Platinum 97.68%、MMLU-CoT 89.97%、MMLU-Pro 84.52%,性能差距在 -0.14 至 -0.73 之间。量化采用 llmcompressor 的 FP8_BLOCK 方案,输出 compressed-tensors 格式,可原生用于 vLLM,聊天模板默认 enable_thinking 为 true。

  17. arXiv · cs.CL57

    北海道大学医院发布院内封闭网络临床智能体平台 LLENS 并完成评估

    论文报道了在北海道大学医院封闭网络内部署的临床支持智能体平台 LLENS,使用 8 块 NVIDIA H200 GPU 与开放权重模型 Kimi K2.6(约 1 万亿参数),自 2026 年 9 月 14 日起在医院网络运行。Kimi K2.6 从 3 个候选中选出,在 2026 年日本医师执照考试模拟中得 480/500 分;在 180 道基于医院文档的问题上,交互式工具访问准确率 97.2%,高于固定检索的 81.3%(差距 15.9 个百分点,95% CI 10.9-21.3)。

    推荐理由:在医院封闭网络内部署开源大模型智能体的完整实测,对比了三种检索方式的准确率,方法可迁移到其他内网场景。

  18. Hugging Face · 新模型:uncensored71

    dealignai 发布 GLM-5.3-UNCENSORED-FP8 权重级去对齐版本 v2

    dealignai 在 Hugging Face 发布 GLM-5.3-UNCENSORED-FP8 v2,对 GLM-5.3-FP8 做全谱系权重级去对齐,仅修改 bf16 residual writer 张量,不改 FP8 专家路由,无需微调、LoRA 或运行时钩子。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题,HarmBench-320 上 GARBAGE 从 7 降为 0,非版权危害面 TRUE_COMPLY 达 91.7%(off),代价是整体 TRUE_COMPLY 下降约 4pp;MMLU 87.43%,较基线 +1.85pp。