新闻、仓库与研究，按时间排列。
论文提出 Runoff 方法：先单独为每个选项打分筛出少量候选，再让候选在排列中轮流占据各位置进行比较，无需训练、最少两次前向传播即可消除选项顺序对答案的影响。在两个开放模型和五个数据集上，打乱顺序后 Runoff 不改变任何答案，而循环平均法仍改变 9.3%；20 个选项时准确率相当且速度快 3 到 4 倍。包在八个 System One 模型外层后，可消除五个 benchmark 上的顺序依赖，循环平均法最多仍改变 15.4%。
arXiv 论文提出 slate presentation 优化任务：针对患者病例和固定排序的医生列表，生成基于医生档案的病例定制摘要，并用 persona 条件化的 LLM 模拟患者选择进行离线优化。实验比较提示词级 GEPA 与参数级 GRPO 优化，GRPO 在满足全部约束上大幅领先且经未见过的 LLM 评测验证，用 GEPA 优化后的提示词初始化 GRPO 可加速训练并获得最高模拟转化率。
一项 arXiv 研究将多语言语言模型的颜色表示分解为两个几何维度：与感知颜色空间（CIE-LAB）的对齐程度和跨语言对称性。研究发现感知基础较弱——对齐在中间层达到峰值后在输出层坍缩，且跨语言对称性随深度下降。模型在 P1 对齐峰值层的颜色分类准确率达 96.7%，P1 对齐与下游能力显著相关（r=0.70），表明纯文本模型学到的是通用的颜色-语言几何而非颜色-感知几何。
arXiv 论文 arXiv:2610.18407 为掩码扩散语言模型引入贯穿深度、可自适应路由的多残差流。双流使验证集重建困惑度较标准残差连接降低 5.71%，外部语料平均降低 5.13%。因果干预显示可见与掩码位置自发形成不同路由模式，角色条件路由训练可恢复双流一半的验证收益，该机制在更大模型规模上同样成立。
推荐理由：论文给出多残差流扩散语言模型的具体改动和 5.71% 困惑度下降数据，并解释了双流分工的机制来源。
一项 arXiv cs.CL 研究指出，计算心理语言学中 contextsurprisal 通常由神经语言模型导出，而 unigram surprisal 多来自独立语料统计，这种做法割裂了二者的概率联系。作者提出三项估计原则，要求两者来自同一语言模型，并给出 Monte Carlo 估计器及更低方差的边缘化变体。在该统一框架下重新估计后，各预测变量对阅读时间的贡献发生变化，且频次可成为比 contextual surprisal 更强的加工努力预测指标。
arXiv 论文指出长文 RAG 的 faithfulness 奖励会被复制粘贴"钻空子"，模型倾向照抄检索段落而非自己撰写有依据的内容；KL 或 copy penalty 只会转移问题，GRPO 逐句给出答案级优势还会强化复制句。论文提出 Authored-Sentence Credit（ASC），把奖励和优势下移到句子级，只奖励原创、有信息量且被段落支持的句子。在 4 个模型和 5 个语料上，ASC 将原创句错误率中位数降低 38%，被支持句子增加 46%。
论文提出 SeTPO（Selective Teacher guided Policy Optimization），通过逆向 KL 的 token 级教师反馈与正向 KL 持续监督，解决小语言模型在强化学习工具使用探索不足与师生行为分布失配问题。理论上证明最优策略期望奖励不低于教师并保留部分教师概率质量，在 BFCL v4 与 API Bank 上超越 SFT、强化学习和蒸馏基线。
该 arXiv 论文将自动形式化（AF）的忠实性评测建模为“先对齐再标注”问题，在非形式与形式化陈述间识别短语级对应并逐条标注忠实性。论文发布首个理论尺度忠实性基准 FaithAlign，含 460 个条目和 4,982 条标注的短语级链接，另有去除上下文与假设的 FaithAlign-Gap（146 条）。8 个模型中 GPT-6 Astra 缺陷 F1 最高达 47.8%，在 FaithAlign-Gap 上仅识别出 28.2% 的不可判定条目。
该 arXiv 论文实证分析自回归语言模型在每步预测产生的词表级 logit 向量，发现有序 logits 遵循跨架构与规模一致的 log-linear 关系 z_(r) ≈ μ − α·log r。训练后模型的斜率 α 约为 1.4–1.7，远高于初始化基线的 0.2，且 α 与预测性能相关，表明其捕捉了超越极值效应的学习结构。
evanwtf 发布 local-llm 仓库，通过 Python 脚本和 RESULTS.md 记录本地运行编码 Agent 的最佳模型+引擎+客户端组合，按代码质量、解题能力和速度评判。核心发现是答案是组合而非单一模型，同一权重在一个客户端下最慢、在另一个下最快，因此每条结果都同时标注模型（如 Qwen3.8-Flash-Next UD-Q3_K_XL）、引擎（llama.cpp、Ollama、ds4）和客户端（OpenCode、Claude Code、Codex）三个维度。
推荐理由：原文给出本地编码 Agent 的三维评测方法，同一权重在不同客户端下速度排名会互换，测量时必须同时报告模型、引擎和客户端。
研究者推出 Active Probing Benchmark（APB），将概念识别转化为多轮交互式推理任务，覆盖八个学术领域的 960 个目标概念。评测发现一个反直觉现象：多数开源推理模型显著弱于其对应的 instruction 模型，表明它们在交互场景中难以运用过程性推理获取和应用专业知识。APB 还提供了可扩展的基准生成流水线。
arXiv 论文 arXiv:2610.16135 提出全模态大语言模型（Omni-LLMs）存在 knows-but-cannot-say 现象，即模型能正确感知视觉、音频、IMU 等非文本模态信息，却无法在回复中表达出来。作者提出 token 级模态对齐指标 TMA，发现非文本表征与回复 token 的对齐度和获得的注意力都低于文本表征，并提出 perceive→infer 策略 OmniCatalyst，用模型自生成的文本补充原始模态输入；在七个 Omni-LLM 上平均提升 7.29%，使模态偏好更均衡，知识提取阶段会提高 TMA。论文共 36 页、25 图、14 表，代码已开源。
研究者提出智能体图像生成框架 GenRevisit，将动作选择扩展为联合选择续接状态与编辑动作，使智能体可回访历史图像候选而非固定从最新图像继续优化。训练采用 SFT 加智能体强化学习，并提出 NACA 改进 GRPO 的粗粒度信用分配。在 GenEval2 上，GenRevisit 结合 Qwen-Image-2512 与 Z-Image-Turbo 分别取得 GM 分数 84.3 和 74.4，超过同生成器最强基线 12.7 和 10.9 分，并在 GenEval、GenEval++ 与 GenEval2 上达到 SOTA。
44sunsetsf 公开 DAT300 第 7 组项目，在 Raspberry Pi 集群上用 llama.cpp 跑 Llama-3.2-3B-Instruct Q4_0，对比流水线并行与张量并行并定位瓶颈：单台 decode 受内存带宽限制（1.85 tok/s），2 台 TP 每个 token 同步 56 次，原版在 4/8 台时全经主控中转，模拟 8 台时每 token 有 4164 次串行网络延迟。其 fork 的 dat300 分支实现任意 2/4/8/16 台直接 allreduce，模拟 8 台时串行延迟次数少 19 倍；rpc-server 用 -t 3 后 2 台 TP 从 2.31 提到 2.93 tok/s，输出层改 Q4_0 再快 9% 至 3.19，困惑度仅差 0.6%。
Reddit r/SillyTavernAI 有用户反映，SillyTavern 的最大回复长度滑块把 reasoning tokens 也计入，部分模型推理过长时会耗尽全部 token 配额，导致正文输出被截断。用户希望找到只限制实际回复正文长度、不影响推理的可靠设置方法。
RunAnywhereAI 开源 runanywhere-sdks，一套 C++ 核心加八个 SDK（Swift、Kotlin、Flutter、React Native、Web、Electron、Python、wally CLI），在手机、浏览器、桌面和服务器上本地运行 LLM、VLM、语音、RAG、嵌入和 Stable Diffusion 图像生成，默认离线。
推荐理由：用一套 C++ 核心和八种语言 SDK 把 LLM、语音、视觉与图像生成统一到本地推理，还给出 Snapdragon NPU 上的实测吞吐数据。
/u/giveen 发布 NInfer 的扩展 fork ninfer-ext，在单张 RTX 5090 上实测多款模型的 prefill 与 decode 吞吐。测试覆盖 Gemma 4 26B-A4B (QAT int4)、Gemma 4 31B IT M1、Qwen3.6-35B-A3B（含 nvfp4）、Qwen3.8-27B（含 nvfp4）和 Qwen3.8-Flash-Next nvfp4，给出 1/2/4/8 并发下数据，prefill 最高达 21,897 tokens/s（Qwen3.6-35B-A3B nvfp4，C=8），并对比 plain 与 MTP 投机解码模式。
推荐理由：作者用自家 fork 在单张 RTX 5090 上给出多个模型不同并发与量化档的 prefill 和 decode 数据，可直接比对选型。
Reddit 用户 /u/Usual_Tackle5892 不等 512GB 版 M5 Ultra，改用 M5 Ultra 256GB 做 prefill、M3 Ultra 512GB 经 Thunderbolt 5 RDMA 接收缓存做 decode。17.5k token 提示下，GLM-5.3-Flash 4-bit 总耗时从约 40 秒降到约 18.5 秒，缓存交接仅 38 ms 传输 358 MB，M3 上解码 36.8 tok/s 且输出与 M5 一致。作者用 MLX JACCL 后端与 mlx-vlm 0.7.6 搭建，并逐组件分析出 M5 预填充近半时间花在无法用矩阵单元的内核上，限制是 prefill 节点需装下完整模型，仅适用于 256GB 内可容纳的模型。
推荐理由：作者用真实负载实测拆分前后数据，并逐组件剖析预填充耗时构成，方法可迁移到自己的多机推理调优。
开发者发布 Rust 服务 pqnld，为现有 LLM 部署增加封闭集决策能力：输入上下文、问题和候选答案，从模型 logprobs 读取选项评分并返回选择，而非模型自报的置信数字。选项用单 token 标签替代完整文本，在 Qwen3.8 27B NVFP4 部署下延迟低于 200 ms。无需额外模型或训练，提供 HTTP 与 MCP 接口，实测后端为 vLLM。
Liquid AI 发布开放权重模型 LFM2.5-24B-A2B，总参数 24B、每 token 仅激活 2B，定位端侧快速、私有的推理智能体。模型在 16 项基准上与参数量约多 50% 的 Qwen3.6-35B-A3B 竞争，LiveClaw 得分 48.09 对 38.19，在 8 项工具与智能体基准中的 5 项领先或持平，并在全部 3 项指令遵循基准领先；M5 Max 上解码 184 tok/s，单张 B300 高并发下超 21K 输出 tok/s。
推荐理由：原文给出了完整的16项基准对比和端侧推理速度数据，可据此评估这款小激活参数MoE在工具调用场景的实际取舍。
LiquidAI 发布 LFM2.5-24B-A2B，是 LFM2.5 家族中最大的最终版本，为 24B 总参数、2.45B 激活参数的 MoE 推理模型，主打端上快速私有 Agent，并放出 GGUF 权重和 playground.liquid.ai 在线演示。官方称其 agentic 与工具调用能力可对标总参数和激活参数多约 50% 的 Qwen3.6-35B-A3B，LiveClaw 得分 48.09 对 38.19；Apple M5 Max 上 184 tok/s，单张 NVIDIA B300 GPU 上最高 21K 输出 tok/s。模型上下文长度 131,072 tokens，支持 16 种语言，训练用量 36 trillion tokens。
Google 工程师用 Gemini 4 Argon 在 google/adk-python 上无人值守运行 11 小时，共提出 6 项优化，审查后合并 2 项。落地后长会话内存会话准备时间降低约 40%，包导入速度加快 21%。
TokForge 为 Qwen3.5-4B-Claude-4.6-Opus-abliterated 模型发布 NPU catalog pair 资源包，让骁龙 8 Elite Gen 5 与 8 Gen 3 手机在 TokForge 应用内用 Hexagon NPU 读取长提示词，CPU 负责生成回复。资源包按芯片分为两个文件夹，分别约 3.67 GB 和 3.65 GB，含 49 个 QNN context binary 及 MNN 配置，须搭配指定 commit 的 MNN 转换模型使用，NPU 部分加载约需 6.3 GB 内存。
一位 Reddit 用户分享如何用一台 4U 服务器为 40 名员工（其中 10 名开发者）提供本地 AI 服务，总成本约 55k€。服务器配备 4 张 6000 Blackwell MaxQ、384GB DDR5 和 AMD EPYC 9275F 24 核 CPU，运行 Proxmox 并以 LXC 容器部署。主模型为 DeepSeek V4 Flash（vLLM、TP4、1M 上下文），备用模型 Qwen 3.8 27B Q8（265K 上下文），另配 n8n 自动化、OpenWebUI、ComfyUI 及 BGE-M3 嵌入/重排。
webAI 发布 TwIL-LM3-Pro，一个基于 IBM Granite 4.2 3B、专为形式逻辑后训练的 3.66B 模型，做蕴含检查、规则归纳和 Lean 证明批评。模型卡显示 Logic composite 55.4（对比 Granite base 43.1、Qwen3-8B 53.4），BBH logic 95.4%，gpt-oss-120b 仍在规则归纳、蕴含和 Lean 形式化上领先。作者提到其 CPU-only Xeon（15 GiB 内存、无 GPU）上约 10.5 tok/s，比同硬件 Qwen3.8-27B 快 98 倍；Q4_K_M GGUF 为 2.09 GiB，支持 Ollama、LM Studio 和 llama.cpp，温度设为 0 并预留 2048+ token 预算。
开发者发布语音听写应用 Lipwise，覆盖 Windows、macOS 和 Linux，语音识别通过 transcribe.cpp (ggml) 完全本地运行，并提供 Parakeet、Whisper 等 69 个模型可选。转写文本会经本地 Qwen3.5 4B 或 9B 模型处理，支持纠错、口语标点、改写指令，也可对接 Claude、OpenAI 或 Ollama 等兼容 API。应用基于 Rust 和 Tauri，安装包约 5 MB，MIT 许可、无账号无遥测。
/u/naklitechie 把上周的磁盘流式加载 MoE 专家方案接到 llama.cpp 自带的 WebGPU 后端，Qwen3-Next 80B-A3B（48.4 GB Q4_K_M GGUF）在 Chrome 标签页中成功运行，MacBook Pro M4 Pro 上加载 48 秒、解码 2.9 tok/s，并称是概念验证。方法是把 GGUF 一次性下载到浏览器 OPFS 私有存储，GPU 只保留稠密层、KV cache 和每层固定数量的专家槽位，路由选中的专家不在槽位时从磁盘按 LRU 换入；分页开关下 OLMoE 与 LFM2 各 9 段对话回复完全一致，对 Metal 后端 9 条中 4 至 8 条一致，差异来自 WebGPU 与 Metal 的舍入。
推荐理由：作者给出各模型的加载时间、解码速度和分页正确性对照数据，可据此评估在浏览器标签页里跑 MoE 的实际可用度。
作者发布 Basalt，一个面向 Qwen 3.8 Flash Next 的推理引擎，从 Strata fork 并针对 Blackwell 深度调优，仓库在 github.com/jesdga95/basalt。新增 --vision dynamic 模式让图像编码器平时驻留 RAM、空闲时几乎不占显存，图像到达时借用 expert cache 槽位上传编码器（约 30 ms）编码后再回填（约 60 ms），不发图即零开销且不影响文本性能；编码器用 Basalt 自带 kernel，速度最高达 llama.cpp 的 3 倍，并给出移植用的 commit（9bfb90a、a704c65、efd23d9）。
推荐理由：作者给出动态视觉编码器的具体显存与耗时数字，其他引擎可按提供的 commit 直接移植这套做法。
tracel-ai 的开源 Rust 深度学习框架 Burn 通过统一 API 让训练与生产代码完全一致，支持端上个性化和联邦学习等场景。其基于 CubeCL 的后端覆盖 CUDA、ROCm、Metal、Vulkan、WebGPU 和 CPU，自动执行 kernel fusion；模型代码修改在 release 模式下增量编译不到 5 秒。LibTorch 已在 0.22.0 中废弃并从 main 移除。
Hugging Face 上发布的 Ternary Bonsai 2 27B Uncensored Heretic v2 是一个自包含 MLX 2-bit 包，为原版 Heretic v2 添加 DFlash2 推测解码，保留 FP16 视觉塔（8,595,478,392 字节）和 3.85 GB BF16 drafter，不重量化不重训。在 Apple M1 Max 上，temperature 0 的代码和数学任务速度为普通解码的 1.07-1.23x，工具调用 1.16x，13 个提示中位数 0.90x，需约 4 GiB 额外内存。通用聊天、长文档和采样建议改用普通解码的 serve.py。
Hugging Face 上发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的 Compact MLX 2-bit 打包，内置 BF16 DFlash2 草稿模型（3.85 GB）与自定义运行时，模型权重未被重新量化或再训练。在 Apple M1 Max 上，temperature 0 的贪心解码下代码、数学与工具调用提速 1.07-1.24x，聊天、长文档等场景反而慢至 0.74-0.96x，13 条测试提示的加速中位数为 0.96x，且需额外约 4 GiB 内存。该打包仅支持 Apple Silicon Mac 与 mlx 0.32.2、mlx-vlm 0.7.2，文件夹内也保留原 serve.py 供普通推理使用。
inclusionAI 发布 Ling-3.1-flash，一个原生混合推理模型，总参数 560B、每 token 激活 25B，支持 1M token 上下文窗口。模型采用 Hybrid-linear MoE 架构（KDA 与 Gated MLA 混合注意力、512 个专家激活 8 个），在 Terminal-Bench 4.0、SWE-bench Pro、GDPVal-AA V2.1 等 Agent、编码和医疗金融类基准上有提升，并提供了基于开源编码 Agent Pi 构建的 LingCode 评测 harness。官方给出 SGLang（含 MTP 推测解码）和 vLLM 的部署配方，支持 Claude Code 等框架调用。
推荐理由：官方模型卡同时给出架构规格、多基准评测和 SGLang 与 vLLM 的部署配方，方便读者评估并直接上手这个混合推理 MoE 模型。
伦敦一位全科医生开发了全本地运行的临床助手 OpenConsult，在单张 RTX 4090 上实测如何把自动提问的响应压到 3 秒内。MedGemma 27B (Q4_K_M) 每轮需 18 秒，Gemma 4 26B-A4B QAT 降至 5 秒且临床评分相当；vLLM 比.Ollama 和 llama.cpp 快至 3.5 秒，但占用 94% 显存；把一轮的两次调用合并发送后 vLLM 降到 2.8 秒。模型输出约 170 tokens/秒，另测了 Qwen3.6-35B-A3B、Nemotron 3.5 Lightning 和 gpt-oss-20b，Gemma 4 仍最快。项目以 AGPL-3.0 开源，作者在征求进一步提速与 CPU offload 建议。
开发者发布 C++/CUDA 编写的原生张量运行时 SonicBoom v0.0.1，在笔记本 RTX 3050 8 GB 上以相同 GGUF 量化内核实现 Gemma 4 E4B-it 解码 51.65 tok/s，超过 llama.cpp 的 45.20 tok/s，提升来自图编译器（激活量化复用、算子融合与 CUDA Graph 重放）。当前仅支持 Q3_K/Q4_K/Q5_K 量化、Gemma 4 E4B 与 greedy 采样，prefill 约为 llama.cpp 一半，采用 GPL-3.0 协议，后续路线图包括 MLIR GPU codegen 与投机解码。
一位 Reddit 用户分享 Strata 推理加速体验：加载 qwen3.8-flash-next-unsloth-ud-q4_k_xl、fp16 KV、130k 上下文时，长提示预填充（PP）从 llama.cpp 的 10 分钟缩短到 23 秒，文本生成速度约 3 倍（约 57 tok/s），expert cache 命中率 94.5%。用户连续使用约 10 天，结果稳定，且近期更新后速度进一步提升。
GitHub 上的 Metriqen 项目在 Apple M2 上用 Ollama 0.30.8 和固定 llama3.2:1b Q8_0 模型做了本地 LLM 服务优化实验，比较 OLLAMA_NUM_PARALLEL=1 与 2，每组 324 次请求全部成功。并发 2 时吞吐提升 34.235%、p95 延迟从 13.561s 降至 11.164s，TTFT 从 5.940s 降至 0.654s；并发 1 时吞吐下降 3.895%。项目称结果为描述性而非因果性，报告未经 GitHub CI 独立审查，也无生产服务或 vLLM GPU 验证。
Science 报道，Google DeepMind 的 AlphaProof Nexus 独立解决了 353 个开放 Erdős 问题中的 9 个，其中 2 个已悬置 56 年，成果经同行评审。
微软宣布明年起将 Maia 芯片家族扩展到多吉瓦级部署，作为自家产品和服务的首选推理系统，并发布 Maia 300，每瓦 token 产出比主流 GPU 系统高 40%。Maia 200 已在美国、欧洲和澳大利亚部署，在 Teams 和 Copilot 场景中每瓦 token 产出提升最高 1.7x。
AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》，提出 priming 方法，复用预训练 Transformer 权重构建混合状态空间架构，将预训练成本降低逾 99%，全流程仅消耗不足源模型 0.5% 的 token 预算。
GitHub 上的 Shelly 项目可将 Android 手机（含折叠形态）变成独立运行的 Agent 机器：用自然语言注册定时任务，基于 AlarmManager 在熄屏时自动唤醒，调用用户自己的 AI 账号与本地 LLM（如 Qwen3.5-2B）执行 Perplexity 检索、摘要并生成带引用的 markdown 简报，全程无需云端、PC 或 Termux。底层是应用自有的 JNI PTY 原生终端，内置 bash/git/Python 3/Node.js，可直接运行真正的 OpenAI Codex CLI。目前完整无人值守流程仅在 Galaxy Z Fold6 上端到端验证过一次（N=1）。