跳到正文
10月17日周六
  1. Hugging Face · 趋势模型69

    NVIDIA 发布循环架构模型 Dory1.0-4B,可调循环数换推理精度

    NVIDIA 在 Hugging Face 发布 4B 参数的循环(latent-recurrent)模型 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16,采用 normalized-GPT 架构,通过重复应用共享 Recurrent 块(8 层输入、20 层循环、8 层输出)让每个 token 获得更多计算。单一 checkpoint 可设 1-4 个循环,无需重训即可权衡算力与精度,官方推荐默认 2 循环,并支持 last-loop KV caching 使 KV cache 开销保持在一循环大小。

    推荐理由:同一个 checkpoint 可调循环次数换精度,作者还给出各 loop 数的实测对比与 KV cache 省显存方案,适合关注小模型推理成本的人。

  2. Reddit · r/LocalLLaMA51

    Tyger 开源发布:单模型同时做流式 ASR 与全双工轮次控制

    nineninesix 团队发布开源权重模型 Tyger,基于 NVIDIA Nemotron 3.5 ASR Streaming 0.6B 加 14M causal GRU,每 80 ms 无前瞻地在 answer、stop、chime in 三种状态间切换,实现语音 Agent 的全双工轮次控制,可同时听到麦克风和 Agent 自身回放以避免回声误判。配套 tyger-s2s(Apache-2.0)整合 Gemma 4 E4B FP8 与 VoxCPM2,支持工具调用和最多 4 路并发对话,RTX 5090 上从用户说完到首段音频约 0.7 秒;默认全本地运行,不外传音频和文本。限制:tyger-s2s 需 28 GB 显存,仅测过 5090,仅 FP32 未测量化,目前只有离线基准。

  3. Hugging Face · 新模型:abliterated56

    edp1096 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local 量化检查点

    edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local,将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点,变更投影重建后取整为 BF16 并编码为 MXFP8,NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。

    推荐理由:原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录,读者可以据此判断该检查点的实际可用状态。

10月16日周五
  1. GitHub · 3D 生成新仓库58

    neuronet-arena 开源:纯手写神经网络的进化模拟器,实验显示选择压力让觅食效率提升 13.7 倍

    GitHub 开源仓库 neuronet-arena 是一个进化模拟器,40 个智能体在 2D 场地中由各自的小型神经网络驱动觅食避害,网络、遗传算法和随机数生成器全部用 Python 手写,不用 NumPy、PyTorch 或 random。浏览器 JavaScript 演示与 Python 引擎位级一致,通过共享 PRNG、softsign 替代 tanh、Cayley 变换旋转和固定求和顺序规避 IEEE 754 未规定的 tanh、sin、exp 差异。8 个种子各跑 150 代的选择开/关对照实验显示,末代每智能体食物量为 13.39 对 0.98,存活数 33.0 对 13.4;首个版本曾因每代重建种群导致 0/20 进化基因存活,现用回归测试修复。MIT 许可。

    推荐理由:这个进化模拟器用纯手写引擎和双语言位级一致设计,展示了如何让浏览器演示逐位复现 Python 训练结果,方法可迁移。

  2. Reddit · r/LocalLLaMA65

    Reflection 发布开源 MoE 模型 Beam 501B A23B,支持 1M 上下文

    Reflection 在 Hugging Face 发布开源模型 Beam,采用 MoE 架构,总参数 501.3B、激活 23.4B,支持 1M token 上下文,提供 BF16、FP8 和 NVFP4 三种数值格式。官方称其推理 token 用量约为同类领先开源模型的 1/3,并给出 SWE Bench Pro v1 66.1%、AIME 2026 97.7%、GPQA Diamond 90.6% 等基准成绩,主打 agentic 工具调用、编码与推理能力。

    同一新闻,精选展示《Reflection 发布开源 MoE 模型 Beam 501B,Hugging Face 提供推理与训练全流程支持》

  3. Hugging Face Blog75

    Reflection 发布开源 MoE 模型 Beam 501B,Hugging Face 提供推理与训练全流程支持

    Reflection 新实验室的首个模型 Beam 在 Hugging Face 开源,为 501B 参数 MoE(每 token 激活 23B),支持 1M token 上下文,采用 Apache 2.0 许可,主打编码与智能体场景。提供 BF16、FP8、NVFP4 三种检查点,transformers、vLLM、SGLang 均已 day-0 支持,并附 LoRA SFT 与 Miles GRPO 训练配方;Hub 上分享用 Beam 构建的项目可竞争 10,000 美元额度。

    推荐理由:官方博客给出架构细节、三档精度的实测跑分和从推理到 SFT、RL 的完整部署与训练配方,便于评估上手成本。

  4. Ollama Blog64

    Reflection 开放权重模型 Beam 上线 Ollama Cloud,限时免费

    Reflection 首个开放权重模型 Beam 于10月16日发布,Ollama 作为 day-zero 合作伙伴限时免费提供,Beam 端点全程零数据保留(ZDR)。Beam 是 MoE 模型,总参数约501B、每 token 激活23B,上下文窗口100万 token,采用 Apache 2.0 许可,面向软件工程、推理和长程 Agent 任务,可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。

    推荐理由:官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表,读者可直接比较 Beam 在各编码基准上的位置。

  5. GitHub · 去对齐工具与仓库38

    GhanaOpenAI 开源 gloss-mt:用工具调用加推理微调 Gemma 4 实现英译 Twi 翻译

    GhanaOpenAI 发布 gloss-mt,基于 google/gemma-4-E4B-it(4B 参数)做 LoRA 微调,让模型通过 lookup_twi_translation 工具查询 478,822 条离线英→Twi 词典后再推理翻译。训练数据含 15,134 条带工具调用的样本,配套数据集、微调与评测脚本及部署运行时已开源,支持 transformers 与 vLLM,并提供 Hugging Face Spaces 在线演示。

  6. Hugging Face · 新模型:abliterated24

    Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 韩语校准 3.7bpw GGUF 量化版发布

    donghanasd 在 Hugging Face 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的韩语校准混合精度 GGUF,约 12.60 GB、3.69 bits per parameter,从上游 BF16 GGUF 直接量化。量化使用 708 个 512 token 块收集的 importance matrix,张量精度分配沿用 Qwen3.8-27B-Ridge-GGUF,保留 tokenizer、chat template 和 MTP tensors,未做韩语额外训练也未验证韩语质量提升。

  7. Hugging Face · 趋势模型50

    MOSS-Image-SFT 8 步 data-space DMD 蒸馏版上线 Hugging Face

    OpenMOSS 团队将 MOSS-Image-SFT(50 步、CFG 3)蒸馏为 8 步无 CFG 的生成模型,采用 data-space DMD 方法,checkpoint 为 update 2600(EMA)float32 权重。模型提供 lora.safetensors(推荐强度 1)与 lora_latest.safetensors(推荐强度 0.7)可直接加载到 ComfyUI LoRA loader,transformer 必须以 fp32 运行,蒸馏 delta 小于 bf16 舍入步长,转 bf16 会丢失大部分蒸馏效果。当前为进行中的工作。

  8. Hugging Face · 趋势模型50

    OrcaCyber Nano 1.0:27B 本地离线防御安全模型发布 GGUF 权重

    Orca 发布 27B 视觉语言推理模型 OrcaCyber Nano 1.0,主打防御安全场景,以 GGUF 格式开源,可在本地硬件离线运行,支持逆向工程、漏洞分析、安全代码审查、事件分诊与视觉输入。模型上下文长度 262,144 tokens,内置 MTP 投机解码并支持 DFlash2 draft 文件,主权重 15.70 GB,另有适配 16 GB 显卡的 12.99 GB 版本;基准成绩包括 MATH-500 98.60%、AIME 2025 96.23%、SWE-bench 78.4%,可直接在 llama.cpp 中加载。

  9. Hugging Face · 新模型:uncensored18

    bappi/gemma-4-E2B-uncensored-coder-fable5-composer2.5 模型上线 Hugging Face

    多模态模型 bappi/gemma-4-E2B-uncensored-coder-fable5-composer2.5 在 Hugging Face 发布,支持 image-text-to-text 任务,可通过 Transformers 的 pipeline 或 AutoModelForMultimodalLM 加载。模型同时提供 vLLM、SGLang 部署方式及 OpenAI 兼容 API,并可用 Docker Model Runner 运行。

  10. Hugging Face · 趋势模型64

    ornith-ai 发布端到端自我改进的 Ornith-1.5-122B 开源模型

    ornith-ai 发布 Ornith-1.5-122B,一个 122B MoE 模型,将 Ornith-1.0 的自我改进循环扩展到联合优化任务生成、scaffold 构建和解题 rollout,通过强化学习持续生成训练任务并改进策略。模型支持 262,144 tokens 上下文(YaRN 缩放后约 1M),可单张 80GB GPU 部署,并提供量化 Mobile 变体。基准中 SWE-bench Verified(non-hack)84.5、TerminalBench 2.1 为 81.2,评测采用防 reward hacking 措施并以 Claude Opus 作为 judge。

    推荐理由:模型卡同时给出多基准成绩与防 reward hacking 的评测细节,读者可对照同参数量级模型比较编码与智能体表现。

  11. Hugging Face · 新模型:uncensored18

    Hugging Face 上架 dolor4dollar/supergemma4-26b-uncensored-gguf-v2 GGUF 模型

    Hugging Face 发布 uncensored 模型 dolor4dollar/supergemma4-26b-uncensored-gguf-v2 的 GGUF 版本,提供 Q4_K_M 量化。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等工具本地运行,支持启动 OpenAI 兼容 API 服务器或在终端直接推理,并可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。

  12. Reddit · r/LocalLLaMA54

    NVIDIA 发布 Nemotron-3.5-Embed-1B-BF16 多模态多语言嵌入模型

    NVIDIA 在 Hugging Face 开放 Nemotron-3.5-Embed-1B-BF16 嵌入模型权重,支持将文档页以图像、文本或图文混合形式嵌入,用于多模态多语言问答检索。文本检索评测覆盖 34 种语言,图像检索覆盖 18 种语言,支持含文字、表格、图表和信息图的页面图像,可用于语义搜索与 RAG 工作流,可商用。

  13. GitHub · 3D 生成新仓库71

    DMAD 发布:把分布匹配蒸馏改写为对抗蒸馏,4 步生成 MiniMax-H3 音视频

    Texas A&M 与 ByteDance 团队发布 DMAD(Distribution Matching as Adversarial Distillation)仓库及论文(arXiv:2610.02188),将分布匹配蒸馏重构为分类问题,用共享骨干上的两个判别头直接学习 log-density ratio,免去 DMD 所需的辅助扩散模型。基于 MiniMax-H3(33B,文生音视频)训练的 rank-128 LoRA 可将 50 步 teacher 压缩为 4 步生成 1344x768、124 帧、32 kHz 立体声视频;4 步 student 在人类偏好上对 DMD2 达 79.1%、对 rCM 达 84.6%(不含平局)。

    推荐理由:作者把分布匹配蒸馏改写成判别式对抗训练,省掉辅助扩散模型,并给出从 8 GB 消费级 GPU 到 H200 的显存与速度实测数据。

  14. Hugging Face · 新模型:uncensored25

    alst10 发布 Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP 量化模型

    alst10 在 Hugging Face 上发布无审查量化模型 Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP,提供 Q4_0_ROCMFP 量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具本地运行,支持启动 OpenAI 兼容服务器或在终端直接推理,并可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。

  15. Hugging Face Blog48

    Granite Switch 4.1 发布:单一端点同时支持对话、决策与语音转写

    Hugging Face 发布 Granite Switch 4.1(Granite-Switch-4.1-8B 与 -30B),将 Decision aLoRA、Guardian aLoRA 和 OpenASR 排行榜上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进单一模型,VRAM 占用与基座模型相当。得益于 cache-efficient Activated LoRA 与 vLLM 低秩适配推理加速,模型可在对话、决策与语音请求间高速切换;用户也可用 Granite Libraries 适配器自行组合模型,团队还计划在 Mellea 中发布 Adapter SDK。

  16. Hugging Face · 新模型:abliterated24

    notfakerv 发布 LFM2.5-24B-A2B-abliterated 的 MLX 4-bit 量化版

    notfakerv/LFM2.5-24B-A2B-abliterated-MLX-4bit 是 abliterated 版 LFM2.5-24B-A2B 的 MLX 4-bit affine 量化转换,权重 13.49 GB,直接由 BF16 检查点转换而非 GGUF 重量化,需 MLX LM >= 0.32.0 与 MLX >= 0.32.2。该模型为 always-thinking 推理模型,建议 24 GB 统一内存起步;验证限于冒烟与数值检查,未做 Apple Silicon 运行时测试或速度基准。

  17. Reddit · r/LocalLLaMA46

    IBM Granite Switch 4.1 30B/8B 发布:单端点集成对话、决策与语音

    IBM 发布 Granite Switch 4.1 30B,一个模块化 LLM,将 granite-4.1-30b 基座(30B 参数、128K 上下文)与决策、guardian-core 两个 aLoRA 适配器及 granite-speech-5.0-470m-turboctc 语音转文本编码器组合,通过控制 token 按需切换,单端点即可在对话、决策和语音转写间切换。采用 Apache 2.0 许可,支持 Transformers 与 vLLM,另有 8B 版本及无音频的 3B/8B/30B preview 版本。

  18. AIHOT · 精选42

    Black Forest Labs FLUX 3 系列登陆 OpenRouter:Image Klein 开源权重、视频 upscale 降价并支持 4K 生成

    Black Forest Labs 三项新内容上线 OpenRouter:FLUX 3 Image Klein 为开源权重图像模型,可在单张消费级 GPU 上运行;改进版 FLUX Video Upscale 开启 early access,可将任意视频转为 4K,价格从 $0.59/s 降至 $0.28/s;FLUX 3 Video 现已支持从提示词直接生成 4K 视频。

  19. Hugging Face · 趋势模型69

    Black Forest Labs 发布 FLUX 3 Image Klein 的 ComfyUI 重打包权重

    Black Forest Labs 在 Hugging Face 发布 FLUX 3 Image Klein 的 ComfyUI 重打包版本,这是一个 5.6B 开放权重文生图与图像编辑模型,支持提示词加最多 10 张参考图,文本编码器为 Qwen3-VL-4B-Instruct。仓库提供蒸馏与 base 两个 transformer 的 BF16、int8 和 NVFP4 精度,int8 可在 RTX 3070 等 8 GB 显卡上运行,NVFP4 需 Blackwell GPU;蒸馏版采样 16 步无 guidance,base 版 50 步 CFG 3.5。

    推荐理由:模型卡给出各精度文件体积、显存要求和蒸馏与 base 的采样参数差异,方便按硬件选择下载。

  20. Reddit · r/LocalLLaMA62

    QUASAR 发布 Qwen3.5、Gemma 4 与 Muse Glimmer 的 4-bit QAT 权重,KL 距离低于 Google 与 NVIDIA 官方 4-bit 版

    QUASAR 团队发布多款模型的 4-bit QAT 量化权重,包括 Qwen3.5-4B、Gemma 4 E4B 与 12B、Muse Glimmer 30B,提供 NVFP4(vLLM)和 Q4_0 GGUF(llama.cpp / Ollama / LM Studio)格式,代码与项目页已公开。方法为量化感知蒸馏,以原 BF16 模型为教师在其自身回复上修复量化损失;在 held-out 提示上的 KL 距离普遍低于 Google QAT、NVIDIA NVFP4 等参考版本。

    推荐理由:原文给出与官方 4-bit 版本的 KL 距离和基准对比数据,读者可以据此判断这套 QAT 权重的实际损失有多大。

  21. AIHOT · 精选63

    Meta 开放权重模型 Muse Spark Open 上架 OpenRouter

    Meta 发布开放权重模型 Muse Spark Open,现已在 OpenRouter 上线,定位为面向编码与智能体工作的美国最强开放权重模型。模型总参数 816B、激活 42B,支持 1M token 上下文窗口,原生多模态,支持图像、视频、音频和 PDF 输入,OpenRouter 定价为输入 $1.25/M、输出 $4.25/M。

    推荐理由:原文给出了参数量、激活规模、上下文窗口和 OpenRouter 定价,读者可以直接评估该开放权重模型的部署成本。

  22. Reddit · r/LocalLLaMA47

    Liquid AI 发布 d1-ultra 多模态决策模型,登顶 Artificial Analysis Decision Index

    Liquid AI 发布闭源多模态决策模型 d1-ultra,可在单次前向传播中读取文本、图像或两者,直接输出校准概率而不生成 token。官方称其在 112 项评测中超越 d1 和 Jev 1.14,在 Artificial Analysis Decision Index 上领先其他决策模型至少 8 分。模型现可通过 Liquid AI API 使用,价格为每百万输入 token $0.042,Vercel 和 OpenRouter 上架计划中。