PathKGen:病理学知识辅助的多模态大语言模型,用于可解释的组织病理学报告生成
PathKGen 是一种知识图谱辅助的多模态大语言模型(MLLM),用于数字病理学的全切片图像(WSI)报告生成。它包含视觉路径和知识路径两个分支,后者通过查询病理学专用知识图谱提取 WSI 关键形态学特征生成知识 token。在 WSI-Bench 数据集上超越此前 SOTA 方法,并将诊断推理以可视化图形式呈现,代码已开源。
新闻、仓库与研究,按时间排列。
PathKGen 是一种知识图谱辅助的多模态大语言模型(MLLM),用于数字病理学的全切片图像(WSI)报告生成。它包含视觉路径和知识路径两个分支,后者通过查询病理学专用知识图谱提取 WSI 关键形态学特征生成知识 token。在 WSI-Bench 数据集上超越此前 SOTA 方法,并将诊断推理以可视化图形式呈现,代码已开源。
研究者提出 Meta-CLIP,一种元数据条件对比学习框架,在医学视觉-语言预训练中利用 DICOM 采集元数据相似度重新加权跨模态负样本,推理时无需元数据。在 CT-RATE 上,Meta-CLIP 的 macro-AUROC 较 CT-CLIP 提升 1.41 点(95% 置信区间 0.96–1.85),并在五个 CXR 基准中的四个取得最高 macro-AUROC。代码将在论文发表后公开。
研究者提出 Preference-Behavior Model(PBM),将偏好表示与不完全效用最大化机制结合,通过逆博弈问题从观测选择中联合推断 LLM 的偏好与行为参数。在 Public Goods Game、Collective-Risk Dilemma 和 Common-Pool Resource 三类社会困境中,行为经济学诱导工具估计的偏好无法稳定预测行为,而单一困境拟合的模型在其他困境中仍具预测力。该框架还用于评估 LLM 与 persona 指令的对齐,发现推断偏好总体反映预期优先级,但在不同维度、模型和博弈间存在偏离。
PreView 是一种辅助预处理器,无需再训练即可提升现有 GUI grounding 模型的输入质量,提供任务相关视图和候选-specific 线索(红圈标记与文字提示)两类特征。轻量辅助模型预测并微调中心点、裁剪局部视图并放大,冻结的 grounding 模型据此输出最终点击。在五个 benchmark 上,PreView 提升了 Qwen3-VL-2B、OS-Atlas-4B 和 Qwen3-VL-4B 的平均 grounding 准确率。
Yue Huang 等人发布 RSI Arena 论文,让十个前沿模型作为训练智能体,各自从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发,在六天内用 1,000 GPU 小时和 $300 API 额度自主完成数据选择、训练与 checkpoint 选择。最强的 GPT-6 Astra 训练模型在 12 项能力基准上平均弥补了基座到 Instruct 差距的中位数 76%,人类偏好评分经长度与格式调整后接近 NVIDIA Instruct;第二阶段十个模型中八个的风格调整相对评分继续提升,但基准提升与偏好提升无明显关联,且一个模型在 StrongREJECT 上有害合规上升。
推荐理由:十个前沿模型自主后训练同一基座并接受人类盲评,还报告了有害合规上升的副作用,结果细节值得细看。
arXiv 论文提出 Mycelium 元研究,将大语言模型幻觉检测视为受基准条件制约的测量问题,并沿 provenance(来源)、typology(类型)、granularity(粒度)三个维度梳理现有基准。分析显示基准构建、标注与评测方式会实质影响检测器得分,跨基准比较难以解读。针对 span 级评测中标注边界差异的问题,作者提出 Span Coverage F1 这一基于包含关系的补充指标。
论文提出 UMer,一个基于社交媒体痕迹的抑郁严重程度估计框架。UMer 先从历史社交痕迹中蒸馏用户特定心理先验,再通过量表引导的多查询检索构建证据记忆,最后进行由粗到细的证据感知推理,区分直接与间接证据并给出可解释的条目级评分。在真实基准上,UMer 性能优于现有基线,并具备证据可解释性和向其他量表任务的泛化能力。
ARMOR-DP 是一个面向多语言 BabyLM 的模块化框架,用各语言验证损失动态更新采样比例,诊断表征、曝光、容量与目标压力导致的失衡。实验显示等字符预算会给中文带来严重表征伪影,字节级编码可消除大部分,而静态中文保护又会使英语变为最弱语言;动态控制器取得比固定保护更好的分数—平衡权衡,curriculum-dynamic 检查点在官方评测中以更少中文 epoch 超过静态中文保护基线。
一篇 arXiv 论文提出,指令微调的语言模型实现了一种可称为“指令-会话文体”的新文体,由生成模型与人类的历史对话语言经神经网络递归沉淀而成。该文体通过指令微调、system prompt 以及使用特殊 token 和角色轮替结构的标记语言输入形式化,得以在应用中实例化。
论文提出 SceneBloom,一个结合视觉布局采样与契约引导 3D 编译的 Agent 式室内环境生成框架:分层采样器用扩散先验在功能区生成家具布局,编译器再做几何拟合与局部姿态校正。在五类房间中视觉质量与物理稳定性最高,且是对比方法中唯一没有网格碰撞和越界物体的方法;在这些场景中训练的目标导航策略在 held-out 真实扫描上的成功率高于用同等数量真实训练扫描训练的策略。代码已开源。
RobustRLlib 是一个面向鲁棒强化学习的算法库与基准,以统一接口集成 17 种代表性在线、离线与安全 RL 算法。其评测平台覆盖多样真实扰动及人形与视觉-语言-动作任务,并基于 273 种扰动配置给出当前鲁棒 RL 算法的能力地图,揭示仍存在显著鲁棒性缺口之处。项目以开源形式提供可复现、可扩展的代码库。
研究团队发布 DexPort,一种面向高自由度灵巧手的便携式数据采集接口,采集与部署使用相同手部硬件以避免 embodiment 差异,无需机器人臂即可在非结构化环境采集演示。操作者只控制机械腕运动并选择或调整技能来协调手指,共采集超 2,500 条演示;行为克隆训练的 visuomotor 策略在 4 项任务上评测,使用记录的机器人命令替代状态使成功率从 11% 提升到 64%,加入真实环境数据后从 36% 提升到 78%。论文地址 https://arxiv.org/abs/2610.32969v1
Federico Lucca 发布 arXiv 论文(arXiv:2610.32955),介绍自托管个人收件箱智能体 Foyer 及一套在训练前获得真值的测量协议。基于 739 封真实意大利语/英语邮件,对比生产关键词规则、TF-IDF+逻辑回归基线、typed decision models(Tev1、Nimble、Nimble v4-max)与生成式 LLM(Qwen2.5-7B、Gemma 4 26B/31B),发现约 200 标签下逻辑回归在各字段准确率最高但从不预测最稀有的两类;准确率并非产品指标,最准确的系统组合成动作后最常忽略需行动的邮件(18%),对噪声概率设置成本阈值后可减半并成为最便宜的方案。
研究者提出 HAD-VLM,一个混合自回归-扩散框架的医学视觉语言模型,将自回归文本生成与超声测量的连续数值预测结合在共享骨干中。在 EchoNet-LVH 四项超声心动图测量任务上,其平均绝对误差为 1.36、2.77、3.05 和 1.16 mm,较基于 Vicuna 的自回归基线降低 21.4-37.6%,并优于微调后的 Qwen3-VL。X 射线椎体测量的平均绝对误差从 11.4 像素降至 6.7 像素,医学问答性能保持不变。
一项研究分析垄断性 LLM 平台如何同时选择服务响应质量、广告强度和订阅价格。研究发现:广告与无广告方案并存时,部分广告支持的用户可获益但付费用户可能受损;适度的广告上限可最大化消费者剩余;更便宜的算力可提升质量、降低广告强度,但成本大幅下降时总广告收入可能反而上升。
研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding,使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上,其宏平均达 0.5488,为受评 0.6B 模型中最高,并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏,均值从 0.4813 提升至 0.5488,且模型权重、代码与数据集均已开源。
研究者提出 AdaBPE(Adaptive Frequency Threshold Byte Pair Encoding),一种基于自适应频繁模式挖掘的分词方法,可根据候选 token 的长度和类型动态调整最小频率阈值。该方法能将词表容量高效分配给 LaTeX 等特定领域记法。在涵盖 LaTeX 与自然语言的五个数据集上,AdaBPE 在领域内容上提升了编码效率和下游语言模型性能,且不损害通用语言表现。
研究者提出 SemantEq,用于检验自动形式化生成的 Lean 4 语句是否忠实于原数学陈述,要求双向转换只能经由允许的推理步骤链完成。其无模型搜索 SemantEq-Eval 在 ProofNetVerif 测试集上达到 100% 精确率和 65.6% 召回率(BEq+ 为 95.8% 和 61.8%);配套的 SemantEq-ProofAudit 审核模型证明时拒绝了全部 104 对非等价语句,并在最佳提示下把 407 对等价语句的召回率从 65.4% 提升至 81.1%。代码与数据已开源。
Hugging Face 与宾夕法尼亚大学合作开发 LitPivot,一款帮助研究者在早期选题阶段结合文献调整研究方向的系统。它通过 Asta Paper Finder 检索论文,将提案拆分为问题、贡献和评估计划三个维度并按所选维度组织文献、给出带引文依据的批评和修改建议。在 17 名研究者的实验中,领域专家认为用 LitPivot 形成的想法比基线工具更扎根于文献,该系统将在 UIST 2026 上发表。
一项 arXiv 研究测量了 11 个开源模型在 EffiBench 全部 1,000 道题上的代码优化能耗,发现性能优化并不等于节能:44 个配置中有 42 个生成的代码比人类参考解更耗能,开销从 +4% 到 +886%。推理能耗在 0.79 至 8.68 MJ 之间,约相当于 250 至 2800 次 GPT-4.1 查询;限制最大输出 token 可最多降低 69% 能耗,MoE 架构比同等规模稠密模型更省电。该论文已被 ICSE 2027 接收。
一项 arXiv 研究提出用概率单纯形 Δ^{d-1} 替换单位球嵌入域,以消除 CLIP、CLAP 等多模态对比模型中的模态差距。方法结合轻量 softmax 适配器与 Total Variation 相似度,在五个多模态检索基准上将质心 ℓ2 差距降低 97–99%。检索性能达到或超过标准无约束模型。
NgramRL 从同一提示词的近期 rollout 历史构建逐提示词 n-gram 草稿器,加速 RL 后训练中占比可超 70% 训练时间的 rollout 生成,无需辅助模型或常驻 GPU 草稿状态。在两种模型家族和三种推理、结构化生成任务上,warm-cache 下每次目标模型前向提交 3.60-7.77 个 token,比 SuffixDecoding 最高快 1.99 倍、比 prompt-lookup decoding 快 7.0 倍;Spider 上 prefetcher 以候选预算 16 覆盖 Qwen3-8B 96.6% 的结果,rollout 吞吐提升 1.38 倍。
研究者提出 LEMS 与 KFAC-SVD,改进基于 SVD 的大语言模型压缩:LEMS 通过逐层误差代理结合 ILP 实现更有效的全局秩分配,KFAC-SVD 利用逐 token 统计缓解此前 Fisher 方法的秩塌缩。在 Mistral、Qwen3 和 Llama 3 模型族上,LEMS 带来最高 4.8 p.p. 的 zero-shot 准确率提升(可泛化到 70B 参数规模),KFAC-SVD 平均降低困惑度 15%。论文已被 ICML 2026 接收。
一项 arXiv 研究测试了 LLM 智能体观点模拟中的补集一致性:若概率描述的是智能体立场,将命题改写为补集并把 p 替换为 1-p 后,两次报告之和应为 1。但在 Qwen3-4B、Llama-3.2-3B 和 Gemma-3-4B 三个小型开源模型上,Qwen 在 2,304 个智能体状态中的成对报告平均和为 1.18,在 AVeriTeC 的 48 条真实事实核查声明上同样超过 1,偏差是同义改写影响的二至十倍。将答案与其配对补集平均可恢复一致性并降低 Brier loss,但最后一轮仅在三个模型之一上优于原始表述中较好的一方。
J-Comm 是一个无需训练的 LLM 智能体潜空间通信框架,包含 GEAR 几何共识重加权模块和 H+J 双通道通信接口,接收方无需共享 KV cache 或相同模型宽度即可利用发送方的中间计算。在 Qwen3-8B 到 Qwen3-4B 的通信中,J-Comm 在七个 benchmark 上取得最高平均分,包括 MATH500 94.80%、GPQA-Diamond 54.55%、AIME2024+2025 73.33%;相比 TextMAS 提升 1.29-8.59 个百分点,生成 token 减少 19.2-74.8%。
一篇 arXiv 论文提出 ASI 参与下消息形成与理解的五层组织架构,核心论点是语言模型的 context 无法呈现话语生成的基础以供检验。五个层次区分活动世界的系统性表征、从中切出的具体情境、情境的叙述描述、消息的完整意义与文本;接收方通过协商一致的共同表征从缩略文本重构完整意义。理论依据包括 G. P. Shchedrovitskiy 的系统方法论、A. Korzybski 的结构微分与 I. A. Mel'chuk 的 Meaning-Text 理论。
作者提出 TopKLoRA,一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体,仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中,识别并消融了实现后门所必需且充分的回路,稀疏回路比稠密 LoRA 基线小至多一个数量级,可在不牺牲指令跟随性能的情况下手术式移除恶意能力,并开放了代码。
推荐理由:论文给出可解释稀疏微调方法,并在多个模型上定位并消融后门回路,稀疏回路比稠密 LoRA 小约一个数量级。
研究者提出 PoKER,一个面向超视距(BVR)空战的杀伤概率估算模型,用机器学习结合目标随机行为与导弹脱靶距离来预测击杀概率。不同于基于最大、最小和不可逃逸距离等静态区间的传统武器交战区(WEZ)模型,PoKER 还纳入弹头杀伤力、目标与射手姿态及具体交战条件,动态量化交战成功概率,可辅助 BVR 飞行员的作战决策。论文已发表于 The Journal of Defense Modeling and Simulation,代码已开源。
研究者提出 PICLE-PFN,首个面向纵向因果效应估计、支持动态治疗策略的基础模型。它基于从纵向结构因果模型采样的合成数据预训练,通过 in-context 历史决策示例表示目标策略,一次前向传播即可直接预测条件平均潜在结果,无需任务特定训练或超参数调优。在合成与半合成基准上,其 RMSE 具有竞争力,不确定性校准显著优于逐数据集单独训练的 SOTA 传统估计器,部署运行时间仅为其一小部分。
一篇 arXiv 论文提出面向多智能体系统的企业 RAG 知识层,在检索前先组织知识。其七智能体逆向工程流水线处理 18 个服务的 241 个代码库,通过工件级本体、稀疏元数据注册表和超图导航,让查询解析到工件标识符从而约束向量搜索,实现结构性消歧。该层一周内建成,支持根因分析并解决 100+ 生产缺陷,定位 35 次发布回归失败。
研究者调查了美国应急管理者在多语言应急警报翻译中的工作流程、观点与运营挑战,发现他们往往不清楚商业机器翻译工具输出质量如何。论文随后据此评估商业翻译工具在应急响应中的效用,并提出安全使用这些工具的实用建议。
一项名为 SPOOK 的黑盒研究用简单像素级爬山算法对空白画布施加稀疏像素编辑,测试多模态对比编码器与自监督视觉编码器在自然图像流形之外的表征行为。在 ImageNet 和 Flickr30k 上,面向类别提示词优化的输入在 OpenCLIP 上取得较强的 top-1 和 top-5 定向检索表现;面向类别原型优化的输入在 DINOv3 上达到高目标对齐度。结果表明现代视觉编码器存在共同的流形外失效模式。
KrishokTech 是一个围绕显式授权边界构建的孟加拉语农业咨询系统。在 200 条农户问题和 400 条压力问题上,该系统将跨作物检索违规率从 36.5% 降至 0%,文本-图像作物不匹配检测捕获 453/454 个冲突,验证器捕获 118 个插入剂量错误中的 114 个。农业知识存于可独立更新的外部证据索引,浏览器端视觉与本地检索降低了对网络的依赖。
论文提出 HarnessMM,通过受保护的决策复用与递归自我改进(RSI)降低 Agent harness 的 token 消耗,actor 权重保持不变。在 HumanEval 上,Codex 成功率保持 90.82%,Tokens/task(k)从 66.72 降至 47.02(节省 29.54%);DeepSeek Harness 成功率从 71.43% 升至 85.71%,Tokens/task(k)从 96.28 降至 11.62(节省 87.93%)。MBPP 消融显示成本比单次使用图低 26.91%,比保留回调低 19.52%。
论文提出 Frontier-OPD,一种面向多轮智能体的在线策略蒸馏方法,通过学生学习前沿定位既有挑战性又可在短暂教师引导后自主延续的决策情境。方法将经验组织为共享状态轨迹图,用轨迹平衡聚合识别干预候选并过滤教师引导。在 ALFWorld、WebShop 和 ScienceWorld 上的实验显示,其平均自主性能高于所对比的蒸馏基线;在某个 ALFWorld 计时设置下,额外采集成本被更快达到目标成功率所抵消。
研究通过反向传播展开的经典求解器,学习 MAX-CUT 连续罚松弛的调度。状态自适应的双线性(乘法)调度可分布外泛化,在 15 个种子上优于未训练基线(t=4.1);相同输入输出头的加法消融在分布内与双线性无统计差异,但分布外表现差于自身基线(t=-11.7)。该差异在 30 轮 weight-decay 扫描中持续存在,表明求解器状态进入调度的方式(而非状态自适应性本身)是与分布外迁移相关的架构区别。
研究者推出开源工具套件 ParaTaxe,用于处理和发布多平行语料库,解决学术语料因维护或经费不足而失于线的难题。该套件包括基于多语言嵌入向量的 AIlign 对齐器、用于转换与对齐语料的 Python 处理流水线、管理平行语料集合的 ParaTaxe 网页界面,以及基于 TEI-Publisher 构建的语料浏览界面。工具由 ACR Grimm Tradalign 与 ParaTaxe 项目开发,成果将发表于 JADT 2026 会议。
研究者提出一条从公开网页构建医院软件客户与集成关系知识图谱的流水线,要求每条边都必须有源页面的逐字引用支持。流水线对 61 个供应商达到 0.94 precision 和 0.71 recall;基于五个模型调用对九项标准投票构建的置信度分数在同等 recall 下达到 0.90 precision。该方法用有界的模型调用、字符串匹配证据和投票机制应对长上下文退化与运行间方差。
一项 arXiv 研究考察 LLM 模拟选民的群体偏差:基于三届美国总统选举数据,对比一个闭源与一个开源模型在不同人口统计特征上的投票还原准确度。移除选民画像中的性别可将模型最大群体误差降低 22-42%,移除教育降低 64%,而移除自我报告的种族反而使平均群体误差增加逾 40%,且均不损失整体准确度;重复查询、公平性指令等常见对齐策略无法缩小这些误差,甚至可能使其翻倍。
arXiv 论文 2610.32770 将 on-policy 自蒸馏重构为自训练框架,仅凭粗粒度高层主题描述,由模型自行合成问题与特权推理轨迹,不依赖任何人工提示或答案。实验覆盖文本与多模态领域,模型在标准语言基准和视觉问答上取得一致的自我提升,且未自训练领域能力得以保留。