LLM4Impact:融合异构信息的科学影响力预测方法
研究者提出证据感知的论文影响力预测方法 LLM4Impact,将语义、图、LLM 和时序表示融合,通过连续 prefix tokens 向冻结 LLM 注入图信息,并用上下文感知门控与校准模块自适应加权不同证据。实验基于 200 万篇论文的基准数据集,方法在分布内测试集上年 RMSE 降低 10.13%,域外降低 6.87%。代码、基准与交互式演示将在论文发表后开源。
新闻、仓库与研究,按时间排列。
研究者提出证据感知的论文影响力预测方法 LLM4Impact,将语义、图、LLM 和时序表示融合,通过连续 prefix tokens 向冻结 LLM 注入图信息,并用上下文感知门控与校准模块自适应加权不同证据。实验基于 200 万篇论文的基准数据集,方法在分布内测试集上年 RMSE 降低 10.13%,域外降低 6.87%。代码、基准与交互式演示将在论文发表后开源。
研究者发布德语多模态语料库 InterView-C,包含 27 场完全在 VR 中进行、双方以头像呈现的调查访谈,共 54 段录音,同步对齐语音与注视、头身运动、面部、手部追踪等行为数据,并提供人工校对的逐词转录及 1,422 句否定线索与范围标注(双重标注 α=0.87/0.81)。实验显示九个开源 ASR 系统易误识短答和数词,而在该语料库上训练的否定检测模型优于现有语料训练的模型。
论文提出 Hyperbolic Symplectic Positional Encoding(HySPE),利用 Sp(2,R) 的双曲分支取代 RoPE 的旋转参数化,通过特征基对角化和分块坐标重定基实现与长度无关的数值界,缓存前向延迟与 RoPE 持平(RTX 4090 上 7.21 ms)。在 TinyShakespeare 上,HySPE-UltraLong 在 16 倍零样本外推(L=4096)时困惑度保持 4.810,而 RoPE 退化至 131.198;51M 参数 Transformer 在 WikiText-103 上外推到 8192 长度时,尾部困惑度较 RoPE 降低 83.9%。大规模基础模型上的扩展性评估仍是未来工作。
一项 arXiv cs.CL 研究系统探讨了如何用中间监督改进搜索智能体的强化学习训练。研究比较了多种 reward-shaping 与 credit assignment 策略,并构建了将中间检索步骤信号与最终结果奖励结合的训练框架。在相同训练条件下跨多个基准的实验表明,该方法提升了搜索智能体的整体性能,且中间信号的选择与奖励分配位置都会影响训练效果。
研究者提出 GAGR-Lab,一个通过笛卡尔游戏场景和 Rust 轨迹执行来测量空间感知、几何关系与函数构建等联合推理能力的评估框架。试点中 Llama 3.2 11B Vision Instruct 在 72 个游戏、432 次尝试中无一命中目标,而特权解析搜索控制在 300 个场景的 600 个方向性用例上全部成功。框架将服务可靠性、符号合规与几何成功分离,完整难度矩阵和多模型对比仍待测试。
研究者提出一个将 LLM 知识蒸馏进可解释决策树的少样本学习框架,用于表格数据分类。该方法不让 LLM 直接生成完整树,而是采用三阶段范式:先让 LLM 生成规则,再将规则组织成树。在多个真实表格数据集上,该方法相比现有基线取得更高的准确率、更好的可解释性,并显著降低提示词开销,论文已被 EMNLP 2026 主会接收为 oral 报告。
一项 arXiv 研究将九种已发表的自动化说服力评估方法统一设置后在 15 个 LLM 上运行,发现各方法排名仅弱相关(平均 Spearman ρ = 0.25)。分析显示,模型对部分任务(主要是操纵类任务)的拒绝使一致性降低约四分之一,且多数理性说服方法与通用能力相关而操纵类方法无关。这表明单一说服分数只反映特定评估设置,难以代表模型跨任务的说服力。
论文发布 PatchBench,指出安全补丁可能通过基准测试却压制无关行为,提出 PatchBench-Local 协议评测补丁的行为精确性。该协议从 27,870 个提示中筛选出 400 个高置信越狱失败案例,为每个有害源提示生成有害变体与两类良性邻居提示;对四种 activation steering 方法的评测显示全局能力几乎不变时局部良性回归可能很严重。论文已被 NeurIPS 2026 Datasets and Benchmarks Track 接收,地址 https://arxiv.org/abs/2610.10276v1。
推荐理由:提出用局部邻居提示区分选择性修复与局部压制的评测协议,可迁移到越狱修复方法的对比评估中。
论文提出 SemanticFold,一种在可学习边界折叠前缀隐藏状态的压缩方案,并在 Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B 五个规模上评测。固定目标协议下,压缩对各端点的影响非单调且不共享同一阈值,Qwen3-1.7B 在 R=1.7 时 NLL 降低 0.135,而 Pythia 两个模型的 NLL 基本不变;线性探针与推理指标变化小于 0.03。作者结论是潜在压缩下的能力保持没有单一标量证书,语言建模拟合、可解码性与推理在同一压缩操作下可能朝不同方向变化。
推荐理由:原文用固定目标协议把语言建模、可解码性与推理拆开评测,读者可以了解潜在压缩下各能力为何不同步。
一项对 100 条推文的评估显示,TextBlob、VADER、Twitter-roBERTa-base 三种专用情感分析工具与 Qwen3-32B、GPT-OSS-120B、Llama-4-Maverick-17B 三个 LLM,和六名人类标注者的一致性都仅属一般。Twitter-roBERTa-base 与人类评分最契合,尤其在区分负面与非负面情感时领先;LLM 彼此一致性较高,在正面分类上表现更好。研究表明领域微调对可靠的情感分析仍不可或缺。
论文提出 Task-Progress Distillation(TPD),一种离线蒸馏方法,将演示动作与描述当前任务阶段的短标签配对来训练小型智能体。在 ALFWorld 上,1.7B 学生模型用 404 条演示达到 72.4% 平均未见任务成功率,推理训练学生为 48.3%;808 条演示时两种方式均达 76.9%。显式阶段标签在 200 条演示时将成功率从 48.0% 提升至 67.7%。
一项发表于 LREC 2026 的研究评估了五个多语言 LLM 在爱沙尼亚语文档级文本简化上的表现,比较了单次生成、模块化 Agent 流水线和 guideline 增强流水线三种提示策略。结果显示 Gemini-2.0 和 LLaMA-3.3 输出接近母语流畅度且语义保持良好,其他模型则存在明显语法与语义缺陷。研究还提出了文档级连贯性指标并公开了相关资源。
一项 arXiv 研究基于认知负荷理论提出用推理 token 数作为无需读取思维链内容的低带宽监测信号。三个具备推理能力的大语言模型在 210 道选择题上分别被指示如实、虚假或不管真伪作答,结果显示真实作答消耗的推理 token 少于说谎与真伪无关作答。该结果证明提示的非真实响应策略会产生组级差异,是推理 token 数用于区分真实与非真实行为的初步概念验证。
研究者提出将投机解码建模为 Markov reward process,导出 Expected Decoding Rounds(EDR)训练目标,直接优化期望解码轮数,无辅助超参数,并给出精确的 temporal-difference 梯度和离线评估器。用 EDR 微调 DSpark 和 DFly 两个 drafter 后,平均接受长度持续提升,在覆盖数学推理、代码生成和对话的九个 benchmark 上优于现有训练目标。
论文发布 BehaviorTrace,一个开源评测框架,用于检验在线 RL(GRPO)微调中能否定位教会模型新行为的训练 rollout。在 Qwen2.5-1.5B 上跨三个 seed 的实验显示,仅按梯度大小排序的对照方法可达 4.2 至 4.5 倍随机水平,多数表观归因信号来自混淆因素;控制流畅度后,逐 rollout 结果随 seed 和生成采样波动。唯一在全部三个 seed 上成立的信号是触发 token 的梯度与行为实际发生处构建的目标对齐。
论文提出 CoTrace,一种 harness 感知的终端 Agent 训练数据配方,通过交替式 harness 搜索与策略训练的协同演化框架,管理轨迹路由、来源匹配和课程刷新。在 Tmax promotion split 上,CoTrace 使 Qwen3.5-9B 在 SFT 下从 78 提升到 88 个解决任务,在线 RL 变体达到 90;小规模 harness 匹配语料以更低算力取得稳定收益,Terminal-Bench 2.1 和 SWE-bench Lite 评测显示分布外迁移依赖训练与评测 runtime 的一致性。论文 32 页,预印本地址 https://arxiv.org/abs/2610.10426v1。
推荐理由:论文给出轨迹按 harness 匹配路由的数据配方,用对比数字说明小而匹配的语料胜过混合大语料,方法可迁移。
研究者提出 RunningTab 框架,为 LLM 智能体的直接工作区交互(DWI)增加环境侧标签页:由环境记录任务仍需满足的需求、每次读取文件的摘录及来源、以及已列出但未打开的候选文件,智能体可逐条对照解决需求,若带着未完成需求结束会触发 finish check。在三个 benchmark、三个 LLM 上的验证显示,RunningTab 持续优于纯 DWI 和将记录保存在模型内的基线。
研究者推出 PHRBench,一个在 4 个领域、覆盖 18 个大语言模型、共 4820 个受控实例的行为化幻觉后推理(PHR)评测基准。该基准用 Hallucination Compliance、Hallucination Avoidance 和 Heuristic Correction 三项指标独立刻画推理轨迹,与最终答案正确性解耦。结果显示成功纠错仍较罕见,且与推理过程中更频繁的信念更新相关;一个轻量预测器基于幻觉提示的属性可实现 0.847 的 AUROC。
一篇 arXiv 论文提出用陈述偏好经济学的有效性框架(内容、构念、效标有效性、可靠性、激励相容等)评测大语言模型。作者将 Vossler 等 2023 年发表的水质经济价值评估问卷施测于六个模型,以需求向下倾斜、支付意愿随商品范围和收入变化等经济学理论预测为检验。结果分化明显:两个较旧模型在 75,000 美元家庭收入水平上未通过最基本检验,两个最新模型通过全部理论有效性检验但在聚合有效性上出现分歧。
一篇 arXiv cs.CL 论文研究了检索指令如何在非对称检索任务中影响查询的嵌入向量表示。研究发现,当评测中加入查询侧干扰项时,当前嵌入模型常无法遵循检索指令,作者认为根源在训练与评测设置。实验显示,加入查询侧干扰项进行微调可带来显著提升,且对其他任务影响很小。
一项 arXiv 研究发现 VLA 模型对指令措辞极其敏感:π0.5 在 LIBERO 中对 "switch on the stove" 成功率 100%,改为 "switch on the hot plate" 仅 2%。研究者让大语言模型将训练任务措辞证据蒸馏为 10-20 条改写规则,部署时重写指令,使冻结的 π0 在 12 个 held-out 任务上相对提升 16-27%,并在 π0.5 + LIBERO 上将成功率从 93.6% 提至 97.8%。该方法无需重训练和逐步验证,可零样本应用于未见任务。
Hongru Cai 等人提出 EngramEdit,通过条件记忆架构(如 DeepSeek Engram)实现解耦的 LLM 事实知识更新,保持 Transformer 主干固定。方法先计算使模型在多种表达下都能预测更新事实的目标记忆表示,再联合更新共享 n-gram 嵌入,并对频繁复用的嵌入施加更强惩罚以保护无关知识。实验显示编辑成功率接近完美,更新后的知识可用于未见表达和多跳推理,CoT 提示下准确率接近最强基线的三倍,且无关知识与通用能力在事实更新累积时基本保持不变。论文地址 https://arxiv.org/abs/2610.10533v1
推荐理由:论文给出了一种在固定 Transformer 主干上编辑条件记忆事实知识的方法,CoT 场景准确率约为最强基线的三倍。
arXiv 论文 2610.10536 提出 Exploration-Distillation(ExpDis)框架,将 RLVR 中的探索与优化解耦:训练带新颖性奖励的 explorer 策略,过滤轨迹后蒸馏进独立的 student 策略,student 训练时不带新颖性奖励,并多轮交替进行。在七个数学推理基准和两个模型家族上,ExpDis 在相同 wall-clock 预算下超过 DAPO,且 pass@$k$ 扩展更佳,表明生成的正确解更多样。代码与 checkpoints 已开放。
推荐理由:论文提出把探索与优化解耦的 ExpDis 框架,在七个数学推理基准和两个模型家族上与 DAPO 对比,方法描述完整可复现。
Jiachen Zhao 在 arXiv 发布论文提出 Persona Hierarchy Model,用共享默认人格解释微调行为在不同情境下的泛化差异。基于 Qwen3-4B 等共 120 个微调模型、4 种行为和 15 个训练情境的实验显示,泛化窄度与训练情境人格和默认人格的相似度正相关(Pearson's r = 0.72);在默认情境下先微调可拓宽后续泛化。作者还提出 persona-preserving regularization(PPR),在 RL 中将 reward hacking 从 42-55% 降至最多 0.2%,同时保留准确率提升。论文链接 https://arxiv.org/abs/2610.09384v1
推荐理由:论文用 120 个微调模型的数据解释行为为何跨情境泛化,并给出能将 reward hacking 压到 0.2% 的正则化方法。
arXiv 论文提出结构化消歧新范式,通过显式、受限的交互而非自由对话来解决用户问题中的歧义,并构建 ARCS——首个基于真实数据库、包含自然产生歧义及完整歧义点、解释和 SQL 查询标注的 text-to-SQL 基准。实验显示歧义场景下任务仍然困难:gpt-6-sol 端到端执行准确率仅 51%,开源模型无一超过 27%。
一项 arXiv 研究显示,RAG 中检索多样化的效果取决于候选池的冗余度:在干净池上会损害相关性、证据覆盖和答案质量,但在多证据任务且冗余导致最近邻检索重复选段时有益。作者提出查询自适应规则,仅在最近邻 top-k 的有效不同文档数低于查询证据需求时才多样化,该规则基于现有 embedding 计算,可跨数据集和编码器迁移;另提出带精确最近邻回退的几何重排器 RNG-Score。
研究团队推出 ArcticQA 数据集,包含来自北极一手科研的 194 道问题,并构建 ArcticAbstain 基准,对比有答案与无答案条件下的弃答表现。评测覆盖 Gemini、Claude、ChatGPT 三个系列的 8 个模型,在 9,312 条记录中,有答案条件下的弃答率为 0.0%–63.0%,替换正确答案平均仅提升 5.05 个百分点,表明需同时评估弃答频率与灵敏度。
一项 arXiv 研究用最小集设计测试 LLM 回答州政策问题时是否把其他州的正确值当作答案:固定问法、只变换辖区,覆盖 51 个美国辖区和 3 个 Medicaid 收入资格指标。结果显示 Claude Sonnet 5.5 和 GPT-5.6 Sol 分别在 153 项中的 10 项和 25 项上可复现地给出另一州的当前值。但归因脆弱:仅凭答案等于他州值判定替代会带来 3-5 倍的可复现误判,需完整同州参照集。
研究者发布 BanglaRhet 基准,基于 30,289 段人工标注的孟加拉政治演讲语料,开展修辞手法与说服技巧检测两项单标签分类任务。在 BanglaBERT、BanglaBERT-Base、SahajBERT、XLM-RoBERTa-Base 与 TF-IDF 经典基线的对比中,BanglaBERT 表现最佳,两项任务分别取得 65.40% 和 66.46% macro-F1,超过最优经典基线 19.2 和 13.8 分。错误主要源于标签语义重叠、比喻语言和类别不平衡。
研究者提出一种面向冻结公共 CTC 模型的无边界上下文偏置解码器,基于字符级 Aho-Corasick 自动机,无需训练和第二遍解码。在 Aishell-1 NE 的困难 R1 子集上召回率达 66.5%,超过训练过的 CLAS 基线(64%),并可不经调参迁移至 WenetSpeech 和第二种架构。团队还发布了首个开源日语上下文偏置基准,稀有词召回在精确率超 97% 时提升 25 点,对 1,000 词列表仍分别提升 19 和 22 点。
研究者提出 CHASE(Channel-Aligned Structure Exploitation),利用几何与谱对齐(GSA)刻画的结构开展模型修改、重构与压缩,共覆盖六项应用。其中 CORA、COEC、CORAM 分别用于参数高效微调、结构化剪枝补偿和模型合并,新方法 CAGA 通过多头注意力共享 KV 表示改进 MHA-to-GQA 转换,SAKV 与 CAPS 分别在 KV-cache 压缩和结构化剪枝上优于代表性基线。结果表明 GSA 识别的结构可直接用于多种模型操作的方法设计。
一项 arXiv 研究针对自监督语音表征微调的语言识别(LID)模型常将带口音的非母语(L2)语音误判为说话人母语(L1)的问题,提出一种几何投影方法,仅用母语语音估计 L1 偏置方向并在冻结 LID 头之前予以移除。在五个 MMS-LID 模型与非母语语料上,该方法显著提升 L2 口音语音的目标语言识别准确率,同时不影响母语语音的预测,且无需 L2 训练数据或模型适配。
Goldsmith 是一个智能体流水线,可将少量专家标注的黄金校准样本转化为可复用的结构化标注定义,并把定义当作可训练的文本对象。LLM 编辑器将最高损失的错误转化为文本梯度式修订,仅在实测损失下降时才接受。在提示词优化对比中,Goldsmith 超过直接改写、OPRO、APE 和 PromptBreeder,并在跨度、关系和事件论元标注任务上提升下游标注质量。该论文已被 EMNLP 2026 主会接收。
一项研究以 FNS 2020 共享任务数据集(伦敦证券交易所上市公司年报及其摘要)为基准,比较了多种预训练 Transformer 摘要方法与抽取技术,并考察不同评估指标的行为差异。研究者认为部分指标无法真实反映摘要能力,提出由 ROUGE-2 与 BERTscore 调和平均构成的新指标 BRUGEscore,并通过统计显著性检验和三种污染方法的对抗分析验证结果稳健性。
一项基于 7 个开源模型、5 种验证信号、37,000 条标注链式推理(CoT)轨迹的研究提出“弃权即有效”观察:低触发率证书虽满足 (\alpha,\delta) 有效性,失败概率却可达 δ/P_fire,模拟中标准证书在校准抽样失败至多 0.3%,但触发时失败高达 69%。研究提出 floor-started 固定序列证书,在所有模型-信号组合上覆盖率超过 Bonferroni,在目标 0.75π₀ 下覆盖率从 0.05 提升到 0.16。研究还发现 benchmark 偏移和 best-of-n 选择下证书错误会超过目标,弃权机制吸收了这些失败。
研究者提出 Constitution-Guided Watermarking 框架,让语言模型水印根据提供商以自然语言列出的原则,为不同请求选择合适的权衡方案。离线由推理智能体基于经验反馈迭代优化各规则配置,部署时由独立监控器检索对应策略,不改动服务模型。基于 KGW 和五条规则的验证中,鲁棒性优先请求的改写后检测率较固定配置最高提升 14 个百分点,在 0.1% 误报率下整体质量与正常检测持平或超过所有基线。
研究者提出 RELATE,一个以人设条件化测量 LLM 关系取向的评估框架,区分将 AI 定位为持续支持来源的内向型(IF)语言与鼓励现实人际连结的外向支架型(OS)语言。框架将 76 个求助情境与 3 种模拟用户风格组合成 228 个评估刺激,对 7 个 LLM 各进行 6 轮助手对话,共产生 1,596 段对话和 69,194 句助手句子,用基于量表的 LLM 评判加二次评判评估。结果显示第 6 轮的 IF 句子比例高于第 1 轮,且犹豫、间接的用户得到的 OS 语言明显更少。
一项 arXiv 研究评测开源与闭源 LLM 在否定基准上的表现,发现 37-71% 的情况下模型在否定问句中重复原答案(如问"什么不是西班牙首都"仍答 Madrid)。机制分析显示,专门的 attention heads 和 MLP 神经元通过抑制原答案并提升类别内偏好候选来实现否定,与人类处理方式不同,是失败的关键来源。研究提出的训练目标要求对高置信度原预测做更大的偏好偏移,在减少否定失败的同时,比标准微调基线更能保留通用能力。
论文提出协作推理蒸馏框架 CRD,通过教师互相交叉反馈批评、细粒度步骤质量评估与连贯性步骤拼接,提升小模型推理能力,并以带预算约束的 Reasoning Quality Optimization 训练。其模型 CRD-4B 在 MATH-500 达 97.3%、AIME'25 达 70.3%,仅用 50K 训练样本,比同类模型数据集最多小 12 倍。
论文提出 LASEF(Language-Aware Skeleton Exploration Framework),研究多语言数学推理中 LLM 骨架提示应使用哪种语言。实验覆盖多个数学 benchmark、模型规模和语言,发现英文骨架平均带来小幅正向倾向,在小模型和低资源语言上最明显,但校正后语言层面收益大多不显著,英文并非普遍最优。研究总结出方向一致、依赖评测与 benchmark、非对称负向三类效应,指出骨架语言是依赖具体情境的设计变量,资源已开源。