语言模型边缘注意力空间中的涌现结构
一项 arXiv 研究将 60 多个 LLM 的 post-softmax 注意力权重对 query 位置做边缘化,构建 token-head 联合的“边缘注意力空间”。
新闻、仓库与研究,按时间排列。
一项 arXiv 研究将 60 多个 LLM 的 post-softmax 注意力权重对 query 位置做边缘化,构建 token-head 联合的“边缘注意力空间”。
该 arXiv 论文测试七个开放权重模型在三个语言理解任务中的说服动态,将说服定义为智能体与异议同伴单次交流后决策的概率性偏移。结果显示说服效果强烈,但单独置信度与模型规模均无法可靠预测:孤立决策近乎完全一致的小模型也可能最易被说服,且小模型可说服大模型。偏移幅度更多取决于听者的易感性而非说者的说服力,交互模型的行为必须在实际组合中评估。
论文提出 HARPO 强化学习框架,用可验证反馈训练的幻觉感知生成奖励模型 HA-GRM 联合优化忠实性与创造力,仅对无幻觉输出激活写作奖励,并通过课程从创作任务渐进过渡到幻觉任务。
推荐理由:论文给出了 HA-GRM 在 RAGTruth 上的 F1 对比和 Qwen3-4B 幻觉率与创作分的前后数据,可评估该框架的实际收益。
Ollama 0.35 新增基于 TypeSafe Jev API 的决策模型支持,通过 /v1/systemone 端点在本地一次请求回答多个命名问题,适用于工单分诊、模型路由和内容审核等快速决策场景。
推荐理由:官方给出了本地决策模型的延迟数据、三个可用模型和 API 用法,读者可以直接照着在本地跑起来。
Hcompany 发布 Holo4 系列智能体模型,含 27B dense 和 35B-A3B MoE 两种规格,并同时发布基于 NVIDIA Nemotron 3 Nano Omni 的 Holotron4 Nano。
推荐理由:官方公布了 OSWorld 2.0 与 AutomationBench 的分数、成本对比和完整轨迹数据,读者可以自行回放验证各步骤表现。
LiquidAI 发布视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下换取推理提速。解码加速在端侧最高 3.13x、H100 上最高 2.66x,端到端延迟分别提升 1.56x-2.62x 和 1.64x-2.27x;草稿模型约 280M 参数,仅增加 8.9% 参数量。
推荐理由:原文给出4层注意力 drafter 的结构与分任务实测加速数据,并解释预填充阶段为何限制端到端收益。
Google DeepMind 在 Hugging Face 开源 EmbeddingGemma 2,一个 740M 参数的多模态嵌入模型,将文本、代码、图像、视频和音频统一映射到 768 维向量空间,支持 100+ 语言和 8K token 上下文。模型采用 MRL 支持截断到 128d 至 512d,可在 256d 内接近无损地降低向量存储成本,并允许按需加载视觉(170M)与音频(300M)编码器;文本编码基准 MTEB code 得分 78.68,较一代的 68.76 明显提升。
推荐理由:官方模型卡给出各维度基准分数、MRL 截断表和部署配置,对想在端侧做多模态检索的开发者是可落地的选型参考。
ComfyUI 发布 v0.32.0,新增对 LTX 2.5、Qwen-Image 3.0 Pro 和 Grok-Imagine-Image-2.0 模型的支持节点,并优化 MiniMax-H3 VAE 与显存峰值问题。该版本还简化嵌套 tensor 调试、修复 upscale 模型在低显存下的崩溃问题,官方最低支持的 PyTorch 版本提升至 2.7。
NVIDIA Nemotron 3.5 Lightning 现已可在 Ollama 上下载并完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 架构,面向长时运行的 Agent 任务,支持最高 1M token 上下文,通过 MTP、DFlash 或 DSpark 投机解码实现最高 4x 于同类开放模型的吞吐,任务完成时间快 30%。
推荐理由:原文给出了 MoE 架构、1M 上下文和 4x 吞吐等具体配置与对比数据,读者可据此评估其本地 Agent 部署价值。
Ollama 0.31 通过多 token 预测(MTP)让 Gemma 4 在 Apple Silicon 上生成速度平均提升近 90%,基于 Aider Polyglot 基准在 M5 Max 上实测。
推荐理由:原文讲清了 MTP 投机解码的三个实现环节和 Aider polyglot 实测数据,并指出新内核可被其他模型复用。
Ollama 更新其 MLX 引擎,称在 Apple Silicon 上实现迄今最高性能,支持 NVIDIA 的 NVFP4 量化格式:在 Gemma 4 12B 上相对 q4_K_M 大约将 4-bit 量化的质量损失减半,输出速度在 8,300-token 输入下快约 20%。
推荐理由:官方给出了 NVFP4 相对 q4_K_M 的困惑度对比和快照缓存对 Agent 工作流的处理方式,数据与方法都可直接参考。
ComfyUI 发布 v0.18.0,合并了从 v0.17.0 以来的大量改动,包括 LTX 与 WAN VAE 降低 VRAM 与峰值 RAM 占用、支持 mxfp8、新增 --fp16-intermediates 与 --enable-dynamic-vram 启动选项。其他更新包括 FP4/8/16 原生 dtype 训练支持、AMD gfx1150(Strix Point)启用 Pytorch Attention、userdata 原子写入防崩溃丢数据,以及新增 Quiver SVG 节点并将 seedream-3-0-t2i 和 seedance-1-0-lite API 节点标记为弃用。
推荐理由:这份官方更新日志集中列出了内存与显存优化、量化训练支持等具体改动,想了解该版本实际改了什么的读者可对照查阅。