跳到正文
  1. Reddit · r/LocalLLaMA60

    Lure-TTS 与 Lure-Turbo:600M 语音模型跑出 4 倍实时速度,训练成本不到 $200

    /u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型,支持内联标签、语音方向控制和音色克隆,训练成本不到 $200。Turbo 的 RTF 为 0.14,对比 5B Fish S2 Pro 的 0.195,同时保持相同说话人相似度(ECAPA 0.699)。作者还发布了 Lure-TTS 推理引擎,基于 faster-qwen3-tts(CUDA)、mlx-audio(Mac)和 audio.cpp(CPU),在 4090 上首音频输出 0.17s(参考代码为 10.6s),整体快约 5 倍(RTF 0.53 vs 2.54),支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。

    推荐理由:作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码,可复现的低成本 TTS 微调路线有参考价值。

  1. AIHOT · 精选56

    月之暗面 Kimi K3.1 Pro 上线 OpenRouter,1M 上下文多模态开源权重模型

    OpenRouter 宣布月之暗面的 Kimi K3.1 Pro 上线,定位为基于 Kimi K3 后训练、面向长程编码和智能体任务的 1M 上下文多模态开源权重模型。定价为 $2/M input tokens、$10/M output tokens,可在 OpenRouter 直接试用。

    推荐理由:正文给出了定价、上下文长度和定位说明,想试用长上下文编码与智能体场景的读者可以直接在 OpenRouter 上体验。

  1. Hugging Face · 新模型:abliterated60

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 FP8 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 FP8-DYNAMIC 量化版,体积从 bf16 的 65.8 GB 降到 35.0 GB,KL 0.0134,用 llm-compressor 0.14.0 无校准数据制作。附 NVFP4A16(22.1 GB)和 W4A16(20.5 GB)4-bit 版本,可在 Ampere GPU 上运行。Heretic 评测协议下(关闭思考,100 条有害提示)各版本拒绝数为 20-26/100,差异不显著;原始 ThinkingCap 拒绝 99/100,bf16 去对齐版降至 21/100。

    推荐理由:原文给出各量化档位的拒绝率与 KL 对比,以及 vLLM 实测细节,读者可据此判断量化对去对齐效果的影响。

  2. Reddit · r/LocalLLaMA59

    Swift-1.5-Qwen3.8-27B 推出 hipfire MQ4 量化版,7900 XT 上端到端约 2.2 倍于 Q4_K_S GGUF

    Reddit 用户 /u/Queasy_Asparagus69 将 Swift-1.5 微调版 Qwen3.8-27B 量化为 hipfire 的 MQ4 格式并附带 MTP 头用于投机解码,目标是让 AMD 用户获得比 llama.cpp 更快的速度。在 RX 7900 XT 20GB、ROCm 7.1 环境下,Prefill 快约 1.4–1.85 倍,16K 上下文约 1100 tok/s(llama.cpp 约 700);带 MTP 的真实 prompt 解码 36.5 tok/s(τ≈1.94),16–49K 上下文为 52–59 tok/s。六个约 10–20K token 的真实 Rust 编码任务全套耗时 237 秒,对 llama.cpp 的 530 秒,端到端快 2.24 倍。

    推荐理由:作者在同一块 7900 XT 上用真实 Rust 任务给出与 llama.cpp 的逐项速度对比,数据足够具体可复现。

  1. Hugging Face · 趋势模型61

    Recursive 发布开放权重 MoE 编码模型 Flint(39.8B 总参数、约 2.5B 激活)

    Recursive 在 Hugging Face 开放其面向编码智能体的 MoE 模型 Flint 权重,总参数 39.8B、每 token 激活约 2.5B,Apache 2.0 许可。官方评测中 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%;仓库含 BF16 checkpoint 和 SGLang 部署套件,支持 262,144 token 上下文与 OpenAI 兼容工具调用,单个 B300 或 H200 GPU 即可运行一个副本。

    推荐理由:官方模型卡完整给出架构规格、评测设置和单卡部署方法,读者可以据此判断这个编码智能体模型的实际部署成本。

  2. Hugging Face Blog60

    NVIDIA 发布 Kumo Relational 关系型数据基础模型,无需训练即可超越监督学习

    NVIDIA 发布预训练关系型基础模型 Kumo Relational,直接在企业数据库上做预测,无需任务训练、特征工程或表拼接,单次前向传播即可预测流失、需求、欺诈等结果,权重已开放下载。模型通过 in-context learning 读取最多 10,000 个历史样本,在 15 个数据库的 41 个任务上超过监督式关系深度学习和梯度提升树流水线,在 SAP SALT 企业基准上 MRR 领先 AutoGluon 集成 8%,微调后领先 16%;预训练使用基于 PluRel 方法的合成关系数据。模型可在 RelArena-α 榜单上以约 17 秒/千样本的速度达到 Elo 1,842,比最高分条目快约 430 倍。

    推荐理由:原文给出了跨 41 个任务的基准对比和架构细节,可以了解结构化数据基础模型这条路线的实际水平与用法。

  1. Hugging Face · 趋势模型65

    KRAFTON 发布 Raon-1 mini preview 开源模型,30B-A4B MoE 架构,Apache 2.0 开源

    KRAFTON 从零训练的 Raon-1 mini preview 发布,为 30B-A4B(28.8B 总参数、每 token 激活 4.3B)MoE 模型,采用 Raon Delta Attention 与 Raon-mHC 的混合注意力架构,原生支持 262,144 token 上下文,以 Apache 2.0 许可开源。主打韩语对话与 Agent 任务,支持 Hermes Agent、Pi 和 OpenCode 工具调用;官方基准显示其在 IFBench、Chatbot Korean 等项目领先对比 MoE 模型。

    推荐理由:模型卡给出了与其他 MoE 和稠密模型的基准对比、架构细节和完整本地部署方案,可据此评估其真实定位。

  1. Reddit · r/LocalLLaMA69

    Blockway 发布 Agens Volundr 32B v1,修复 Preview 版循环问题并开源 MIT 协议 Agens Engine

    Blockway 团队发布 Agens Volundr 32B v1,针对社区对 Preview 版的反馈做了修复:SWE-bench 任务重复循环从 36/50 降到 0/50,SWE-bench Verified 50 题子集从 22 提到 27/50,τ²-bench 从 89 到 92/120,SGLang 构建新增 session continuation 使后续轮次快 2.9 倍。

    推荐理由:官方逐条列出 Preview 版被社区指出的问题及 v1 修复数据,还给出 16 GB 构建的实测速度与质量下降幅度,便于自行评估取舍。

  2. Hugging Face · 趋势模型70

    Unsloth 放出 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本

    Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版,1-bit 可在 128GB+ 内存设备运行,3-bit 需 256GB,全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新,官方基准显示推理、编码、Agent 和视觉任务均有提升,如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2;模型采用 MIT 许可,支持 1M token 上下文,需使用 llama.cpp PR 或 Unsloth Desktop 运行,prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。

    推荐理由:官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比,以及量化档位对应的内存需求,可据此评估该版本的实际收益。

  1. Hugging Face · 趋势模型65

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017 小版本更新

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,在推理、编码、Agent 任务和视觉基准上大幅提升,同时缩短任务执行时间和输出长度,推进多 Agent harness 下的性能成本帕累托前沿。Terminal-Bench 4.0 达 42.3(上一版 31.2),Automation-Bench 达 60.5。该版本不含 Jinja 聊天模板,改为提供 encoding.py 参考实现和 deepseek-recipe Rust 库工具包,支持 1M tokens 上下文窗口、max_tokens ≥ 256K,推荐 temperature 1.0、top_p 1.0,采用 MIT 许可证。

    推荐理由:技术报告给出与 Kim3、GPT-5.6、Opus 5 等的对比数据,并附推荐采样参数与推理工具链,方便本地复现。

  2. Hugging Face · 趋势模型69

    MiniMax 发布 MiniMax-M3.1-Flash:原生多模态 MoE 模型,1M tokens 上下文

    MiniMax 发布 MiniMax-M3.1-Flash,一个面向编码、Agent 工作流、computer use 和网络安全的原生多模态 MoE 模型,总参数约 428B、每 token 激活 23B,支持文本、图像、视频输入,上下文窗口最高 1M tokens。相比 M3 的三项主要变化是全程稀疏注意力、量化感知训练,以及用 DSpark 投机解码取代此前的 EAGLE 类 MTP 方案。

    推荐理由:官方公布与 DeepSeek、Kimi 等模型在十余个 Agent 与编码基准上的横向对比,并说明评测设置,读者可据此自行评估实际水平。

  3. Hugging Face · 趋势模型69

    NVIDIA 发布循环架构模型 Dory1.0-4B,可调循环数换推理精度

    NVIDIA 在 Hugging Face 发布 4B 参数的循环(latent-recurrent)模型 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16,采用 normalized-GPT 架构,通过重复应用共享 Recurrent 块(8 层输入、20 层循环、8 层输出)让每个 token 获得更多计算。单一 checkpoint 可设 1-4 个循环,无需重训即可权衡算力与精度,官方推荐默认 2 循环,并支持 last-loop KV caching 使 KV cache 开销保持在一循环大小。

    推荐理由:同一个 checkpoint 可调循环次数换精度,作者还给出各 loop 数的实测对比与 KV cache 省显存方案,适合关注小模型推理成本的人。

  1. Ollama Blog64

    Reflection 开放权重模型 Beam 上线 Ollama Cloud,限时免费

    Reflection 首个开放权重模型 Beam 于10月16日发布,Ollama 作为 day-zero 合作伙伴限时免费提供,Beam 端点全程零数据保留(ZDR)。Beam 是 MoE 模型,总参数约501B、每 token 激活23B,上下文窗口100万 token,采用 Apache 2.0 许可,面向软件工程、推理和长程 Agent 任务,可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。

    推荐理由:官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表,读者可直接比较 Beam 在各编码基准上的位置。

  2. Hugging Face · 趋势模型64

    ornith-ai 发布端到端自我改进的 Ornith-1.5-122B 开源模型

    ornith-ai 发布 Ornith-1.5-122B,一个 122B MoE 模型,将 Ornith-1.0 的自我改进循环扩展到联合优化任务生成、scaffold 构建和解题 rollout,通过强化学习持续生成训练任务并改进策略。模型支持 262,144 tokens 上下文(YaRN 缩放后约 1M),可单张 80GB GPU 部署,并提供量化 Mobile 变体。基准中 SWE-bench Verified(non-hack)84.5、TerminalBench 2.1 为 81.2,评测采用防 reward hacking 措施并以 Claude Opus 作为 judge。

    推荐理由:模型卡同时给出多基准成绩与防 reward hacking 的评测细节,读者可对照同参数量级模型比较编码与智能体表现。

  1. Hugging Face · 趋势模型71

    上海AI实验室开源 Sage-A1.5:35B MoE 智能体模型,GAIA 达 95.1

    上海AI实验室在 Hugging Face 开源 Sage-A1.5,一个 35B MoE 智能体模型,支持子智能体并行编排、可选验证模式和原生函数调用,原生 256K 上下文可经 YaRN 扩展到 512K。官方评测称其在 XBench-DS-2510(92.0)、IFBench(81.6)等多个基准取得 SOTA,GAIA 达 95.1,高于所对比的 Kimi-K3、GLM-5.3、GPT-5.6-sol 等更大规模模型;相比 A1,SWE-bench Pro 提升 17.6。评测框架已开源,SGLang 和 vLLM 部署命令见模型卡(arXiv: 2610.28578)。

    推荐理由:官方模型卡同时给出与 35B 同级和更大模型的横向跑分与完整评测代码,读者可以按同一协议复现或对比。

  2. Reddit · r/LocalLLaMA63

    Telperion 发布 Qwen3.8-27B 潜在注意力变体,KV cache 压缩 4 倍

    Telperion 发布 Qwen3.8-27B 的潜在注意力变体 MLA 和 GLA-g2,将 KV cache 压缩 4 倍,可在消费级硬件上实现近 4 倍最大上下文或近 4 倍并发提升。其中 MLA 变体在 SWE-bench Verified(zero-shot、无工具、n>1500)上得分 42.1%,较原版 39.5% 提升 6.58%,推理 token 减少最多 20%;GLA-g2 面向双 GPU 用户,TP=1 和 TP=2 下均实现 4 倍压缩。

    推荐理由:原文给出了 KV 压缩倍率、SWE-bench 分数和量化后 top-1 分歧率的具体数据,可用作判断 latent attention 变体实际收益的参考。

  1. Hugging Face Blog69

    Liquid AI 开放 LFM2.5-24B-A2B 权重,主打端侧推理智能体

    Liquid AI 发布开放权重模型 LFM2.5-24B-A2B,总参数 24B、每 token 仅激活 2B,定位端侧快速、私有的推理智能体。模型在 16 项基准上与参数量约多 50% 的 Qwen3.6-35B-A3B 竞争,LiveClaw 得分 48.09 对 38.19,在 8 项工具与智能体基准中的 5 项领先或持平,并在全部 3 项指令遵循基准领先;M5 Max 上解码 184 tok/s,单张 B300 高并发下超 21K 输出 tok/s。

    推荐理由:原文给出了完整的16项基准对比和端侧推理速度数据,可据此评估这款小激活参数MoE在工具调用场景的实际取舍。

  1. Hugging Face · 趋势模型63

    inclusionAI 发布 Ling-3.1-flash 混合推理模型

    inclusionAI 发布 Ling-3.1-flash,一个原生混合推理模型,总参数 560B、每 token 激活 25B,支持 1M token 上下文窗口。模型采用 Hybrid-linear MoE 架构(KDA 与 Gated MLA 混合注意力、512 个专家激活 8 个),在 Terminal-Bench 4.0、SWE-bench Pro、GDPVal-AA V2.1 等 Agent、编码和医疗金融类基准上有提升,并提供了基于开源编码 Agent Pi 构建的 LingCode 评测 harness。官方给出 SGLang(含 MTP 推测解码)和 vLLM 的部署配方,支持 Claude Code 等框架调用。

    推荐理由:官方模型卡同时给出架构规格、多基准评测和 SGLang 与 vLLM 的部署配方,方便读者评估并直接上手这个混合推理 MoE 模型。

  2. Reddit · r/LocalLLaMA61

    MiniCPM-V 4.7 演示 35B 多模态模型在手机上以约 3GB 内存运行

    OpenBMB 的 MiniCPM-V 4.7 演示显示,35B-A3B MoE 视觉语言模型可在约 3GB 内存的手机上本地运行,可读现实标识、理解复杂文档并做视觉推理。关键在 LES(Lookahead Expert Scheduling),通过预测并预加载专家缓解 MoE 推理瓶颈;团队还发布了面向低资源设备的 1B 版本,以及用于定制微调同时保留通用能力的 SRFT 方法。GitHub:https://github.com/OpenBMB/MiniCPM-V

    推荐理由:帖子里讲清了 LES 通过预测并预加载专家来优化 MoE 端侧推理的思路,适合关注多模态模型本地部署的读者。

  1. Hugging Face · 趋势模型64

    NVIDIA 发布 Nemotron 3.5 Super VL 120B-A12B 的 NVFP4 量化版

    NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Super VL 的 NVFP4 量化版本,这是一个 120B 总参数、12B 激活参数的视觉语言模型,采用 Mamba-2 与 MoE 混合架构加 C-RADIO 视觉编码器,支持最高 1M token 上下文和原生 MTP 投机解码。量化通过 BF16 模型的量化感知蒸馏完成,模型卡给出了 BF16 与 NVFP4 在 GPQA-Diamond、SWE-bench Verified、Video-MME v2 等数十项基准上的对照结果,并提供 vLLM、SGLang、TensorRT-LLM 在 DGX Spark、H200、H100、GB200 上的部署配置,许可证为 OpenMDW-1.1,可商用。

    推荐理由:模型卡同时给出 BF16 与 NVFP4 的完整基准对照和多种硬件部署配置,读者可以据此评估量化损失与所需显存门槛。