跳到正文
10月15日周四
  1. Reddit · r/LocalLLaMA63

    Telperion 发布 Qwen3.8-27B 潜在注意力变体,KV cache 压缩 4 倍

    Telperion 发布 Qwen3.8-27B 的潜在注意力变体 MLA 和 GLA-g2,将 KV cache 压缩 4 倍,可在消费级硬件上实现近 4 倍最大上下文或近 4 倍并发提升。其中 MLA 变体在 SWE-bench Verified(zero-shot、无工具、n>1500)上得分 42.1%,较原版 39.5% 提升 6.58%,推理 token 减少最多 20%;GLA-g2 面向双 GPU 用户,TP=1 和 TP=2 下均实现 4 倍压缩。

    推荐理由:原文给出了 KV 压缩倍率、SWE-bench 分数和量化后 top-1 分歧率的具体数据,可用作判断 latent attention 变体实际收益的参考。

  2. Hugging Face · 新模型:uncensored21

    zviratko 发布 Qwen3.8-Flash-Next-Uncensored-oQ4e-100K-MTP-plefp8 量化模型

    zviratko 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-oQ4e-100K-MTP-plefp8,将 FP8 PLE n-gram 表移植进 jedisctl 的原量化模型,属于实验性质。基准成绩与原模型基本持平:MMLU 87.7%(原 87.0%)、MMLU_PRO 68.0%(原 68.7%)、HumanEval 92.1%(原 93.3%),性能与内存占用相同。模型采用 Qwen Community License 1.0,作者提醒源仓库标注的 Apache-2.0 与许可证文件不符。

  3. Reddit · r/LocalLLaMA61

    MiniCPM-V 4.7 演示 35B 多模态模型在手机上以约 3GB 内存运行

    OpenBMB 的 MiniCPM-V 4.7 演示显示,35B-A3B MoE 视觉语言模型可在约 3GB 内存的手机上本地运行,可读现实标识、理解复杂文档并做视觉推理。关键在 LES(Lookahead Expert Scheduling),通过预测并预加载专家缓解 MoE 推理瓶颈;团队还发布了面向低资源设备的 1B 版本,以及用于定制微调同时保留通用能力的 SRFT 方法。GitHub:https://github.com/OpenBMB/MiniCPM-V

    推荐理由:帖子里讲清了 LES 通过预测并预加载专家来优化 MoE 端侧推理的思路,适合关注多模态模型本地部署的读者。

10月14日周三
  1. Hugging Face · 新模型:abliterated35

    Qwen3.8-27B-abliterated EXL3 2.55 bpw 量化版(SC-SH)发布

    Huihui-Qwen3.8-27B-abliterated 的 EXL3 2.55 bpw 量化(SC-SH)上线,平均码率 2.5494 bpw,磁盘占用约 11.81 GB,较 BF16 参考困惑度 1.3418 增加 5.1%。噪声归因与校准均在 abliterated 权重上重新测量,head/MTP 为 4.0 bpw、vision 为 6.0 bpw。需 ExLlamaV3,可用 tabbyAPI 运行;原模型为 27B 视觉语言模型,原生 262K 上下文可扩展至 1M。

  2. Reddit · r/LocalLLaMA39

    NVIDIA Nemotron Bolt 3.5 74B A9B 将于 10 月 15 日发布

    NVIDIA Nemotron Bolt 3.5 74B A9B 定于 10 月 15 日发布,为 74B 参数、9B 激活参数的 MoE 模型,经 2-bit 量化与量化感知训练后可装入 24GB 显存。官方称其速度优于多数热门稠密模型,智能水平高于同内存占用的热门 MoE 模型;Nemotron 3.5 Bolt E4B 4GB 版将于 10 月 23 日发布。

  3. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1 Uncensored 量化版发布,支持 GGUF/Safetensors/MLX 本地图像生成

    Hugging Face 上发布 Qwen-Image-2.1 Uncensored 的多种量化格式,基于 Qwen/Qwen-Image-2.1 原始权重,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M(4.60 GB)为 GGUF 推荐版本,MLX 格式针对 Apple Silicon 优化。该版本无内置安全检查器,可直接生成成人及 NSFW 图像,需配合 ComfyUI 与 ComfyUI-GGUF 使用,文本编码器 qwen3vl_8b 可卸载至系统内存以节省 9–17 GB 显存。

  4. Hugging Face · 新模型:uncensored51

    Qwen3.8-9B Heretic Uncensored 4-bit MLX 量化版发布,Apple Silicon 解码提速 88%

    geezyforeezy 发布 rohit267/Qwen3.8-9B-heretic-uncensored 的 4-bit MLX + MTP(MTPLX)本地版本,面向 Apple Silicon。在 M5 24GB MacBook 上实测解码速度从 21.25 提升到 40.05 tok/s(+88%),投机解码为精确校验故无损;trunk 为有损 4-bit(group size 64,约 5.0 GB),附带原生 MTP sidecar 与 rank-64 C4 LoRA 适配器(加载时合并),depth 2 下草稿接受率约 0.71。

  5. Hugging Face · 新模型:abliterated24

    MiniCPM-V-4.7-1B abliterated 版 GGUF 量化模型上架 Hugging Face

    Abiray 发布的 MiniCPM-V-4.7-1B-abliterated-heretic-GGUF 量化模型(Q4_K_M)现可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具加载运行,支持启动 OpenAI 兼容本地服务器或在终端直接推理。文档还给出在 Pi、Hermes Agent、OpenClaw 等 Agent 工具中接入该模型的配置方法。

  6. Hugging Face · 趋势模型23

    Mistral 发布时间序列基础模型 Timestral-209M

    Mistral 发布零样本预测时间序列基础模型 Timestral,含 5M、28M、123M、209M 四个参数版本,本次为 209M 检查点。模型支持单变量与多变量预测、协变量及 21 个分位数的概率预测,上下文最长 32,768 步、单次前向可预测 1,024 步。Timestral-209M 在 GIFT-Eval、TIME 和 fev-bench 三大基准上取得 SOTA 零样本精度,源码已在 GitHub 开放,采用 Modified MIT 许可证。

  7. Hugging Face · 新模型:uncensored31

    Qwen-Image-2.1 Uncensored 量化版发布,支持 GGUF/Safetensors/MLX 本地图像生成

    Hugging Face 上发布 Qwen-Image-2.1 的 Uncensored 量化版本,基于 Qwen/Qwen-Image-2.1 原始权重,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M GGUF 为 4.60 GB 且被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤,可直接生成成人及 NSFW 图像,配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 使用。

  8. Hugging Face · 新模型:abliterated20

    D2ziggy 发布 Qwen2.5-1.5B-Instruct-abliterated 的 Q8_0 GGUF 转换版

    D2ziggy/Qwen2.5-1.5B-Instruct-abliterated 已通过 ggml.ai 的 GGUF-my-repo 转换为 Q8_0 GGUF 格式并上线 Hugging Face,可用 llama.cpp 的 llama-cli 或 llama-server 直接加载运行,服务端示例上下文长度为 2048。模型卡还给出从 GitHub 克隆 llama.cpp、用 LLAMA_CURL=1 编译及 LLAMA_CUDA=1 等 GPU 标志的构建步骤。

  9. Hugging Face · 趋势模型69

    Liquid AI 发布 LFM2.5-24B-A2B:24B 参数仅 2B 激活的端侧推理模型

    Liquid AI 在 Hugging Face 发布 LFM2.5-24B-A2B,一个 24B 总参数、2.45B 激活参数的纯推理模型,主打设备端私有 Agent,上下文 131,072 tokens,支持 16 种语言。该模型在 LiveClaw 上得 48.09 分,超过参数量多约 50% 的 Qwen3.6-35B-A3B(38.19);在 Apple M5 Max 上解码 184 tok/s,单张 NVIDIA B300 GPU 高并发下超 21K 输出 tok/s。官方同步提供 FP8、GGUF、ONNX、MLX-4bit 等多格式权重,并给出与 vLLM、SGLang、llama.cpp、Transformers 的部署指南及 Agent Harness 配置示例。

    同一新闻,精选展示《Liquid AI 开放 LFM2.5-24B-A2B 权重,主打端侧推理智能体》

  10. Hugging Face Blog69

    Liquid AI 开放 LFM2.5-24B-A2B 权重,主打端侧推理智能体

    Liquid AI 发布开放权重模型 LFM2.5-24B-A2B,总参数 24B、每 token 仅激活 2B,定位端侧快速、私有的推理智能体。模型在 16 项基准上与参数量约多 50% 的 Qwen3.6-35B-A3B 竞争,LiveClaw 得分 48.09 对 38.19,在 8 项工具与智能体基准中的 5 项领先或持平,并在全部 3 项指令遵循基准领先;M5 Max 上解码 184 tok/s,单张 B300 高并发下超 21K 输出 tok/s。

    推荐理由:原文给出了完整的16项基准对比和端侧推理速度数据,可据此评估这款小激活参数MoE在工具调用场景的实际取舍。

  11. Reddit · r/LocalLLaMA67

    LiquidAI 发布 LFM2.5-24B-A2B 开放权重推理模型并放出 GGUF

    LiquidAI 发布 LFM2.5-24B-A2B,是 LFM2.5 家族中最大的最终版本,为 24B 总参数、2.45B 激活参数的 MoE 推理模型,主打端上快速私有 Agent,并放出 GGUF 权重和 playground.liquid.ai 在线演示。官方称其 agentic 与工具调用能力可对标总参数和激活参数多约 50% 的 Qwen3.6-35B-A3B,LiveClaw 得分 48.09 对 38.19;Apple M5 Max 上 184 tok/s,单张 NVIDIA B300 GPU 上最高 21K 输出 tok/s。模型上下文长度 131,072 tokens,支持 16 种语言,训练用量 36 trillion tokens。

    同一新闻,精选展示《Liquid AI 开放 LFM2.5-24B-A2B 权重,主打端侧推理智能体》

  12. Google · AI 博客74

    Google 发布 Gemini 4 Argon,全渠道开放并公布基准表现

    Google 发布 Gemini 4 Argon,面向开发者、企业和消费者全球开放,API 定价为每百万输入 token 2 美元、输出 token 10 美元,支持 1M 输入输出 token 上限。模型在 Vals Index 排名第一,ERQA 具身推理基准得 87%,在 Antigravity 中使智能体代码提交量增加超 35%、回滚减少近三分之一;安全方面对抗性违规减少近 2 倍,Gray Swan 间接提示注入基准下 15 次自适应攻击成功率降至 0.7%。

    推荐理由:官方发布给出工程、科学与机器人三线的实测数据,可用于评估该模型在长程复杂任务上的真实表现。

  13. Reddit · r/LocalLLaMA62

    webAI 发布基于 Granite 4.2 3B 的 3.66B 形式逻辑模型 TwIL-LM3-Pro

    webAI 发布 TwIL-LM3-Pro,一个基于 IBM Granite 4.2 3B、专为形式逻辑后训练的 3.66B 模型,做蕴含检查、规则归纳和 Lean 证明批评。模型卡显示 Logic composite 55.4(对比 Granite base 43.1、Qwen3-8B 53.4),BBH logic 95.4%,gpt-oss-120b 仍在规则归纳、蕴含和 Lean 形式化上领先。作者提到其 CPU-only Xeon(15 GiB 内存、无 GPU)上约 10.5 tok/s,比同硬件 Qwen3.8-27B 快 98 倍;Q4_K_M GGUF 为 2.09 GiB,支持 Ollama、LM Studio 和 llama.cpp,温度设为 0 并预留 2048+ token 预算。

10月13日周二
  1. Reddit · r/SillyTavernAI35

    Gemini 4 Argon 现身 Vertex API 与 Google AI Studio

    Reddit 用户发现 gemini-4-argon 已可通过 Vertex API 使用,随后确认也登陆 Google AI Studio 和 Google Ultra 订阅。Gemini Pro 订阅用户可获得约 10 美元 API 额度,新 Google Cloud 账号另有 300 美元试用额度;当前促销价为输入 $2 / 输出 $10 per mill tokens,正式价格为其两倍。模型也已提交至 OpenRouter。

  2. Hugging Face · 新模型:abliterated24

    hotdogs/Ternary-Bonsai-2-27B-Abliterated-Hemmingway-1-MTP 上架 Hugging Face,附 llama.cpp 等多平台使用指南

    hotdogs/Ternary-Bonsai-2-27B-Abliterated-Hemmingway-1-MTP 模型已在 Hugging Face 发布,默认量化版本为 Q2_0。文档给出 llama.cpp 的 macOS、Linux、Windows 安装方式及本地 OpenAI 兼容服务器启动命令,并说明在 Ollama、Docker Model Runner、Pi、Lemonade、Hermes Agent、OpenClaw 等工具中加载该模型的具体配置步骤。

  3. Reddit · r/LocalLLaMA42

    后续:将稠密模型转换为 Mixture-of-Experts,新模型 Qwen2.5-1.5B-MoE-A0.9B 首次在 GPU 上也明显提速

    用户 Bayliner1980 继续稠密模型转 MoE 的转换工作,发布 Qwen2.5-1.5B-MoE-A0.9B,并放出 0.5B 与 1.5B 两款 GGUF 版本。Q4_K_M 下 GPU 生成速度提升 32%、CPU 提升 41%,是首次在 GPU 上也明显快于稠密模型的转换;代价是 WikiText-2 困惑度升高约 41%,ARC 下降最多,GGUF 体积也更大(1.1 GB vs 0.9 GB)。作者称此为概念验证,该方法在 MLP 占比更大的大模型上应更划算。

  4. Hugging Face · 趋势模型63

    inclusionAI 发布 Ling-3.1-flash 混合推理模型

    inclusionAI 发布 Ling-3.1-flash,一个原生混合推理模型,总参数 560B、每 token 激活 25B,支持 1M token 上下文窗口。模型采用 Hybrid-linear MoE 架构(KDA 与 Gated MLA 混合注意力、512 个专家激活 8 个),在 Terminal-Bench 4.0、SWE-bench Pro、GDPVal-AA V2.1 等 Agent、编码和医疗金融类基准上有提升,并提供了基于开源编码 Agent Pi 构建的 LingCode 评测 harness。官方给出 SGLang(含 MTP 推测解码)和 vLLM 的部署配方,支持 Claude Code 等框架调用。

    推荐理由:官方模型卡同时给出架构规格、多基准评测和 SGLang 与 vLLM 的部署配方,方便读者评估并直接上手这个混合推理 MoE 模型。

  5. Hugging Face · 趋势模型62

    Black Forest Labs 开放 FLUX 3 Image Klein 5.6B 文生图与图像编辑权重

    Black Forest Labs 在 Hugging Face 开放 FLUX 3 Image Klein 权重,这是一个 5.6B 参数的文生图与图像编辑模型,支持最多 10 张参考图,以 Qwen3-VL-4B-Instruct 作为文本编码器。仓库含 BF16 蒸馏版及 FP8、NVFP4 量化变体,B200 上 1024x1024 推理峰值显存 BF16 为 31 GB;蒸馏版 16 步采样供自托管与 BFL API 使用,未蒸馏 Base 版用于微调与 LoRA 训练。模型采用 FLUX Kommunity License v.1.0,年收入低于 500 万美元的 Qualifying Users 可商用输出。

    推荐理由:模型卡同时给出蒸馏与未蒸馏两个检查点的定位、显存占用和许可证门槛,方便自托管者判断选哪个版本。

  6. Hugging Face · 趋势模型72

    Black Forest Labs 发布 FLUX 3 Image Klein 开放权重模型

    Black Forest Labs 在 Hugging Face 发布 FLUX 3 Image Klein Base,一个 5.6B 开放权重文生图与图像编辑模型,支持最多 10 张参考图,文本编码器为 Qwen3-VL-4B-Instruct。该仓库为未蒸馏 base checkpoint,面向微调、LoRA 训练与研究;模型卡强调必须使用提示词上采样器,并给出 BF16/FP8/NVFP4 格式在 B200 上 31/29/26 GB 的峰值显存数据。模型采用 FLUX Kommunity License,非商业使用免费,年收入低于 500 万美元的合格用户可享商业输出例外。

    推荐理由:官方模型卡写清了基础版与蒸馏版的分工、提示词上采样要求和各精度显存占用,方便读者选对 checkpoint 再动手。