GeoReform:面向多模态几何解题的反思式形式化演化框架
GeoReform 是一个反思式形式化演化框架,将几何形式化视为可优化的策略,通过收集失败推理样本、诊断表示缺陷并迭代改进几何实体、关系与约束的组织方式。在 Geometry3K 上,GeoReform 将 Qwen3VL-2B 的准确率从 42.0% 提升至 56.0%,表明有效的形式化是多模态几何推理提升的关键。
新闻、仓库与研究,按时间排列。
GeoReform 是一个反思式形式化演化框架,将几何形式化视为可优化的策略,通过收集失败推理样本、诊断表示缺陷并迭代改进几何实体、关系与约束的组织方式。在 Geometry3K 上,GeoReform 将 Qwen3VL-2B 的准确率从 42.0% 提升至 56.0%,表明有效的形式化是多模态几何推理提升的关键。
论文提出 LeWAM,一种基于无解码器 JEPA 潜在空间、端到端训练的双向 Transformer,可同时进行前向、后向、逆动力学和策略预测。线性探针显示其潜在表征读取机器人与物体状态的能力优于常规 Le World Model,且像 LeWM 一样忽略视觉干扰。闭环评估中其表现与同规模 flow-matching 策略相当,同时在策略头噪声空间而非原始动作空间做规划,可提升 WAM 的 MPC 闭环性能。
funkeyyou 发布 codex-model-router,一个 macOS/Windows 本机代理,让 Codex Desktop/ChatGPT Desktop 在保留官方 GPT 模型的同时使用 Claude、DeepSeek、Qwen(通义千问)、GLM、Kimi 等 OpenAI 兼容端点。支持 Responses API、Claude Messages 本机双向转译与 Chat Completions 兼容模型探测,可管理多家供应商 API Key、提供网页管理界面、中转 API 生图技能,以及实验性的 Claude Code CLI 订阅路由;项目为非官方社区工具,MIT 授权。
小米 LLM-Core 团队在 arXiv 发布 MiMo-V2.6 系列全模态模型技术报告(arXiv:2610.11959),核心是通过扩展 RL 计算推动模型自我改进。RL 前先在多模态语料上做 mid-training,RL 计算沿三轴扩展:异步训练每步消耗 1,568 个样本、2.7-3.7B tokens,上下文最长 1M;环境覆盖代码、通用、视觉与 cyber 域;采用 groupwise agentic grading 提升长程任务奖励信号精度并引导更短的 token 高效解法。为稳定训练冻结了 MoE router 并建立多层防 reward hacking 机制,同时开源训练动态、RL 环境与 RL 框架。
推荐理由:报告系统拆解了沿数据、环境、评分三轴扩展 RL 计算的工程细节,并开源训练动态与环境框架,可作复现参考。
论文评测了专用决策模型 Jev——一种在给定选项间直接返回选择而非生成文本的"System One"模型——在 13 个多项选择 benchmark 上与 19 个 LLM(分 frontier、代表性和小型三档)的表现。Jev 在知识和常识任务上可与 frontier LLM 竞争,在 MMLU-Redux 和 ARC-Challenge 上取得最高分,且优于大多数代表性 LLM 和全部小型 LLM;但在数学应用题上落后,MathQA 比 frontier 中位数低 17.7 分,低于全部 19 个 LLM。结果表明专用决策模型在以知识为主的决策上可匹敌通用 LLM,但无法胜任需要多步计算的决策。
一项 arXiv 论文首次系统研究了 LLM 的社会归因,聚焦责任与责备判断。研究者以归因理论为指导构建包含 Vignette 与 Reality 两个子集的基准,共 7,639 道判断题,评测了 32 个代表性 LLM 和 5 个非 LLM 基线。结果显示 LLM 与人类判断存在可测量但不完全的一致性,且该一致性与模型规模正相关;部分归因维度可从隐状态特定位置解码,其影响与人类归因理论一致。
arXiv 论文(已被 EMNLP-2026 接收)为一阶逻辑(FOL)自动形式化给出统一定义,区分本体抽取与逻辑翻译,指出二者混淆模糊了跨研究评估。文章综述了现有数据集、评测指标及基于 LLM 的微调、提示词与基于验证的精炼方法,并提出 benchmarking、语义评估、本体感知方法等开放挑战。
arXiv 论文提出 RACE(Reasoning Adaptation through Cross-Turn Estimation),一种让 LLM 智能体学会何时推理、何时直接行动的训练方法。其核心 LoGiC(Likelihood-Guided Progressive Reasoning Cover Detection)流程通过移除推理后后续参考动作似然的下降,轻量判断既有推理是否仍然够用,并将信号用于 SFT 与 agentic 强化学习。在四个代表性 agent benchmark 上,RACE 大幅降低推理成本,同时保持或提升任务表现。
arXiv 论文 2610.12133 提出 Attic-KV,一种无需训练的 KV 缓存排练方法,核心原则是只排练将被读取的内容并按内容自适应控制排练量。论文显示在 3% 保留率下全量重读在 RULER 上仅得 96.5 分中的 31.5 分,在 LongBench 自然文本任务上低于完全不排练的方法;Attic-KV 在 RULER 和 LongBench 的八个测试设置中均为最佳免训练方法,接入 KVgrad 和 RestoreKV+ 分别最高提升 17.1 和 28.1 分,3% 保留率下领先全量重读 41.9 分。
推荐理由:论文指出 KV 缓存预算紧张时全量重读反而失忆,并以问答自测式排练提升多个主模型的压缩表现。
一篇 arXiv 论文分析组策略优化中移除参考策略 KL 正则有时反而提升效果的原因,梳理了 KL 与奖励交互中的七种潜在失败模式,包括奖励裁剪后的残余 KL 更新、KL 随响应长度增长、KL 集中于少数 token 等。论文提出 Zero-Sum Calibrated Policy Optimization(ZCPO),用条件 KL 度量的相对漂移校准组内奖励系数,数学推理实验和消融验证了设计有效性。
论文提出 SimIF-Bench 基准,评测对话模型能否在规定场景内按顺序完成多个目标,发现现有开源全双工语音模型难以遵循此类约束。作者基于 GDPO 训练方法让全双工模型在持续对话中遵循文本指令并保持轮次切换能力,构建出 SteerablePlex。连接异步后端语言模型监控对话后,其作为用户模拟器在多阶段约束上的可靠性超过现有开源模型和 GPT-Realtime。
DiffuPlex 是一个滚动掩码扩散框架,可在单次 backbone 调用中预测多帧未来用户与助手语音,从而减少全双工语音对话模型的逐帧自回归计算。其 DiffuPlex-LISTEN 与 DiffuPlex-SPEAK 分别实现 1.46× 和 1.59× 部署路径实际加速,Core LM 加速达 1.61× 和 1.80×,且所有 backbone 调用均在 80ms 交互间隔内完成。人类评测显示 LISTEN 保持语音自然度与对话质量,SPEAK 对话质量保留但语音自然度有所下降。
arXiv 论文提出 TokenRouter,一个面向 token 级 LLM 路由的高效推理服务系统,已被 NeurIPS 2026 接收。系统采用“请求为中心编程、模型为中心执行”原则,为每个 LLM 启动子服务器并异步调度请求,配合基于吞吐量数学模型优化超参的 delayed-batching 调度器。在多种路由算法、工作负载和模型对上,TokenRouter 的解码吞吐量比现有系统高 2.01-64.15x,代码已开源。
论文提出 NativeScope,一种先定范围再排序的检索方法,将查询表示为 q -> (A, r, B),利用锚点和关系(belonging、before、after 算子)选取原生单元后再对范围内文本块排序。在基于 QASPER 和 LongMemEval 构建的 200 条受控记录上、1,024-token 预算下,NativeScope 文档与记忆的原生单元召回率分别达 89.28% 和 72.50%,比全实例 Dense RAG 提升 42.75 和 22.00 个百分点;变体 NS-FullQ 达 87.78% 和 68.50%。但使用自动 Top-1 锚点时记忆召回率降至 35.50%,表明硬定范围依赖锚点定位接口的可靠性。
SparseDecoding 是一种面向 LLM 解码阶段的剪枝框架,通过用密集模型自回归生成时(排除 prefill)收集的激活构建校准矩阵,解决自然序列与生成序列之间的分布偏移问题,并配合带 bitmask 索引的优化 N:M 稀疏矩阵-向量核。在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B/32B 上,该方法在长文本生成基准上持续优于固定文本校准,在 A100 GPU 上实现最高 1.48x 的端到端解码加速。
arXiv 论文提出 VFold,一种对称感知的 value cache 合并策略,可在 LLM 解码时压缩 KV cache 内存,同时避免性能下降且无需修改模型架构。该方法可与高比率量化或 key cache 剪枝等现有压缩技术叠加,达到单一方法无法实现的压缩比,为内存受限下扩展上下文窗口提供了简单有效的方向。
Datawhale 团队基于 Stanford CS336 (Spring 2026) 推出中文本土化课程 diy-llm,在线阅读地址为 https://datawhalechina.github.io/diy-llm/。课程共 16 章,覆盖分词器、MoE、GPU 高性能编程、分布式训练、Scaling Laws、数据工程、RLVR、多模态等内容,配套 6 个作业(手搓大模型、Triton 实现 FlashAttention-2、数据处理、GRPO 对齐、模型评估等),并加入 Qwen、DeepSeek 等国产模型案例。文档提供中英双语与 PDF 下载,采用 CC BY-NC-SA 4.0 许可。
推荐理由:斯坦福 CS336 的中文本土化课程,16 章配 6 个作业,覆盖从 tokenizer 到 RLVR 的完整 LLM 构建链条,适合想系统上手的学习者。
GitHub 仓库 wenchiehlee/llm 发布一个统一 LLM 客户端函式库,封装 Gemini API、LLM-CLI-API-Server(桥接 codex-cli 与 gemini-cli)及 Apple Silicon 本地 MLX 推理。核心特性包括支持 20 把 API Key 轮转的 Gemini 备援链(默认 gemini → codex → mlx)与智能路由:通过 Draft & Judge 机制在任务成功率超 80% 后自动晋升至草稿模型。所有 Provider 支持 JSON Mode,并整合 Amplitude 追踪调用量、耗时与成功率。
Nirmitdagli 发布开源仓库 llm-serving-bench,用可重复的测试框架在相同硬件、模型、提示词和显存预算下对比 LLM 推理引擎。指标覆盖 TTFT、TPOT、端到端延迟、总吞吐和 GPU 峰值显存,支持 vLLM、SGLang 和 TensorRT-LLM,以及 fp16 与 AWQ int4 量化模型。方法上采用 1/4/16/64 并发的闭环压测,固定输出 128 token、输入裁剪到 512 token、随机提示词禁用前缀缓存,并用 mock 服务器和 pytest 做无 GPU 测试。
推荐理由:README 交代了固定输入输出长度、禁用前缀缓存等公平性设置,读者可据此判断各推理引擎跑分结果是否可比。
GitHub 开源项目 Relevo 是一个 LLM 自动路由器,只使用免费层,无需绑定信用卡。它会自动选择可用模型、在多个提供商之间轮换,并在遇到错误或达到用量上限时自动 fallback 切换。
Brewference 是一个纯 Java 编写的 transformer 推理引擎,可加载并运行部分 GGUF 模型,不依赖原生代码或 JNI。项目已迁移到 Java 22+,仅支持 CPU 推理,实用模型规模约 7B 及以下,新增对 Qwen 3.5 4B 和 Bonsai 27B 等模型的支持。作者将其定位为学习资源和概念验证,并表示已失去兴趣,近期不再更新。
DPJX04 在 GitHub 发布 llm_panel,把 vllm bench serve --save-result 输出的 JSON 结果文件转成浏览器内可读的对比表格与图表,双击 index.html 即可使用、无需安装。面板支持多文件与多种 JSON 格式混入、读取 vLLM 日志补全模型权重与 KV cache 等信息,提供 Overview、Compare models、Model detail、Accuracy、Vector DB 等视图;内置 52 题的 Starter 测试集可在浏览器内对模型服务做准确率测试,另支持 VectorDBBench 结果对比,数据保存在浏览器本地并可导出工作区或 CSV。
推荐理由:原文完整说明了面板的功能、数据格式与指标口径,读者可据此评估是否适合整理自己的 vLLM 基准结果。
Underdog 在 Hugging Face 发布 Underdog-Saluki-27B-1.0,基于 Qwen3.8-27B 的 GGUF 量化版,仅 7.89GB(全尺寸 54GB),可在标准 llama.cpp 上运行。Underdog Bench 上工具调用 88/120,超过全尺寸模型的 84;并行工具调用 42 对 35,9 项基准平均保留 96%。竞赛数学保留约 82% 到 85%,弱点在字母级指令谜题,部分并行调用回复有小格式错误;可选 0.6 到 0.9GB 的 mmproj 文件添加视觉能力,Apache 2.0 许可。
推荐理由:原文给出与全尺寸模型同 harness 的工具调用和基准对比数据,读者可以据此判断这个 8GB 量化版本到底保住了多少能力。
arclabs561 在 GitHub 开源了 metallix,一个围绕 Rust 和 Metal 构建的 Apple Silicon LLM 推理引擎。mx serve 通过 HTTP API 提供模型服务,每个模型运行在独立子进程中,支持按 --memory-budget-mib 停用闲置模型;当前支持 Qwen3-0.6B、Qwen3-4B-Instruct-2507 生成、嵌入、重排序和打分端点。DeepSeek-V4.1-Flash 是主要目标但尚不能生成,仅有一个极慢的 CPU 参考路径(17 token 提示约 32 分钟)。项目 MIT 协议开源,认证和 TLS 设计上不在范围内。
karutoil 发布了 ai-gateway,一个用 Go 编写的自托管统一网关,把 OpenAI、Anthropic、Azure、Groq 及任意 OpenAI 兼容服务商聚合到一个域名下,对外同时提供 /v1/chat/completions、/v1/messages 和 /v1/responses 协议并自动做协议转换。提供一键安装脚本(自包含二进制、内嵌 UI、SQLite 静态链接),支持网关密钥(sk-gw-*)限流与配额、round-robin/weighted/failover 路由、跨厂商故障转移、响应缓存、AES-GCM 加密的提供商密钥、passkeys 与 OIDC SSO,以及 Prometheus 指标和生产环境强制安全检查。
BEV 感知模型依赖稀疏 3D 卷积与几何 scatter 操作,现有推理运行时无法表示,且稀疏卷积库均为 CUDA-only 并与 PyTorch 耦合。论文提出 BEVPIPE 框架,将模型切分为运行时管理的稠密子图和 voxelizer、sparse encoder、BEV projector 三个外部算子扩展,通过共享 GPU 内存连接。BEVPIPE 实现相比传统部署 19.5x 的端到端加速,保留 98.5% 的参考 mAP,并可跨不同 GPU 后端移植。
研究者提出 AtomWorld-Mirror,一个面向原子系统关键演化骨架的时间感知宏观步长世界模型,将短微事件片段蒸馏为关键状态间物理可达的跃迁。该方法在 Cu-rich RPV 钢辐照老化、Cu-Zr 金属玻璃、Li$_3$N 基反钙钛矿固态电解质等五个原子系统上,推理速度较逐事件模拟提升 10^3 至 10^4 倍,同时保持结构有效性与时间语义。
ReTeach 是一种反思式自蒸馏框架,仅用模型自生成的尝试和结果级验证,通过多轮反思与重试构建自教师,无需参考答案、外部诊断反馈或跨样本记忆。其结果感知的选择与加权策略区分初始正确、反思纠正和未解决样本,并通过 on-policy 蒸馏将迭代纠错收益转移给学生模型。在数学推理、科学问答和工具使用的六个 benchmark 上,ReTeach 平均准确率比 GRPO 提升 1.39 个百分点。
论文提出 InfiLoop,一种 loop-native 残差连接,通过内容加权与学习的时间衰减维护循环状态的持续聚合,解决 looped Transformer 随迭代次数增加性能退化的问题。7M 参数的 InfiLoop 在 Sudoku-Extreme 上达到 97.9% 精确率,ARC-AGI-2 上达到 13.6% pass@2,并可在测试时循环超过 20,000 有效步仍持续提升。代码已开源。
SDPAD 是一个全脉冲驱动的端到端自动驾驶规划管线,通过量化 ANN2SNN 转换、Spike-3D-Lift 和 Spike-QFormer 将预训练 ANN 感知栈转为整数脉冲形式。在 nuScenes 开环基准上,SDPAD 平均 L2 误差为 0.40m,碰撞率 0.12%,能耗仅 69.9mJ,不到近期 ANN 基线的 2%;在 NAVSIM navtest 闭环评测中达 86.3 PDMS,超过此前 SNN 规划器 SAD 4.3 分。作者称其为首个在端到端自动驾驶中评测的全脉冲驱动规划器。
Matěj Kripner 发布 NanoProof,据作者所知是首个训练数据、提取工具、训练管线和权重全部开源的因子化执行引导式 Lean 4 定理证明器。该方法在 MiniF2F-Test 上取得 50.8% pass@16,算力约为 HyperTree Proof Search 的 1/90、ABEL 的 1/7,比 AlphaProof 少四个数量级以上;论文同时发布了结构化证明树数据集和 Lean 4 程序化交互与数据提取工具。原文链接 https://arxiv.org/abs/2610.11605v1。
推荐理由:论文公开了训练数据、提取工具、训练管线和权重,读者可以低成本复现这一类 Lean 4 定理证明器并对比算力开销。
研究者提出 Layer-Selective LoRA(LS-LoRA),将可训练 LoRA 适配器只放在输入-输出相似度较低的 Transformer 层,该相似度可作为经验 Fisher 信息的前向代理指标。在数学推理和代码生成实验中,LS-LoRA 相比全层 LoRA 提升了目标任务平均性能,同时保留更多常识推理能力。
研究者为 MicroRTS 即时战略环境提出约束命令条件 PPO 执行器,将策略命令选择与单位控制分离,用 Thompson 采样多臂老虎机根据对局内观察估计对手策略并选择命令。在与相同架构、预算和自博弈联盟训练的扁平 PPO 基线对比中,该系统对四个最强对手中的三个胜率显著更高,其中两个 held-out 对手胜率分别从 0.55 提升到 0.97、0.01 提升到 0.34。
研究者提出一个三维表征框架,从 MDP 形式化、人类先验自主度、技能与计算成本三个维度统一比较 AI 序贯决策方法。基于汉诺塔谜题,他们分析了 Neurosolver、FBRL、AutoToS 及 DA-ToS 等图结构、强化学习和 LLM 方法。结果显示 LLM 方法因动作空间约束弱,把复杂度转移到推理时验证,内存与运行时间成本显著高于 Neurosolver 和 FBRL。
MetaEncoder 将预训练的 Muse-Glimmer 30B 解码器微调为指令跟随的决策编码器,让用户请求和候选选项均以自然语言表达并支持图像、视频输入。其采用双编码器架构与单向对比学习,可覆盖小于 256 的封闭集和百万级开放集候选空间。在 11 个 benchmark 套件、190 个任务上的评测显示其部分超越 SOTA 多模态编码器,但在推理密集型任务上仍有局限。
研究者提出 ReCal(Recovery-Aware Calibration),一种即插即用的剪枝前校准调整方法,用于提升剪枝推理模型在线策略蒸馏(OPD)的恢复效果。ReCal 利用未剪枝 teacher 与剪枝 probe 之间的 forward KL,识别被剪枝破坏的 teacher 支持预测并重加权校准统计量。在多个模型和剪枝方法上,ReCal 在 OPD 后数学推理最高带来 16.7 个百分点的 AIME 提升,多数代码生成对比中也有改进。
研究者提出 RL-ARC 校准训练框架,联合利用推理置信度与答案置信度,将推理置信度作为正确情形的引导正则化与错误情形的过自信惩罚。在 ID 和 OOD 设置的实验中,RL-ARC 不仅改善校准,还让模型能根据问题自适应估计置信度,且不明显牺牲推理性能。
论文提出 AdaptEvo,一个在监督不完美条件下学习的框架,结合基于置信度的 CA-GRPO 策略优化与不断演化的决策知识和评估 rubric。使用 Qwen3.6-35B-A3B,在工业多模态内容审核数据集 In-Period 测试上达到 61.9% 精确标签准确率和 72.2% 二元决策准确率,分别超过 GRPO 7.5 和 3.7 个百分点。在规则变化的 Out-of-Period 测试上,CA-GRPO 训练的策略对基座模型保持准确率优势,而 GRPO 随训练持续下降。
研究者提出 SignRAG,一个面向 decoder-only LLM 的无 gloss 手语翻译统一框架,结合层级预训练、目标域检索增强和检索感知强化微调(RUG-RFT)。该方法在多个 SLT benchmark 上刷新 SOTA,据作者所知是首个在 CSL-Daily 所有指标上超过 gloss 监督方法的无 gloss 方案。代码及不同规模模型已在 GitHub 开源。
研究者推出 BioBigBird,一个在生物医学文献与临床数据上预训练的双向语言模型,采用稀疏注意力机制处理最长 4096 token 的序列。模型通过多阶段训练降低语料噪声,并用多任务学习(MTL)框架联合优化命名实体识别和关系抽取。在 BLURB benchmark 上的评测结果显示其与 SOTA 模型表现相当,模型已公开可用。