CAMGen 开源:基于仓库三视图上下文的 LLM 提交信息生成复现包
CAMGen 通过识别代码变更的核心实体,结合结构依赖、功能语义和历史范例三种仓库上下文视图,配合代码 diff 让 LLM 生成提交信息。该复现包提供 7,522 条评测提交(源自 ApacheCM,覆盖 C++、Java、Python 三种语言)、固定的 1,000 条提交消融子集、提示词模板、上下文构建代码、API 推理及自动评测脚本,任务构建仅需 Python 3.10+。
新闻、仓库与研究,按时间排列。
CAMGen 通过识别代码变更的核心实体,结合结构依赖、功能语义和历史范例三种仓库上下文视图,配合代码 diff 让 LLM 生成提交信息。该复现包提供 7,522 条评测提交(源自 ApacheCM,覆盖 C++、Java、Python 三种语言)、固定的 1,000 条提交消融子集、提示词模板、上下文构建代码、API 推理及自动评测脚本,任务构建仅需 Python 3.10+。
一项 arXiv 研究评估了三个 LLM 基于部分已知回答预测问卷缺失题项回答的能力,并与最大化 embedding 相似度的简单基线对比,数据来自两项关于自动驾驶或轻型电动车态度的调查。结果显示 LLM 大多优于基线,但随已知回答比例下降,其表现持续变差,在其中一个调查中降至与基线持平,表明其数据增强能力依赖足够的人类数据。
一项基于 BBQ 基准的研究考察了 Qwen3、Gemma-3 和 SmolLM2 在多种规模与量化设置下的社会偏见与弃答行为。结果显示,更大模型问答准确率更高,但偏见无简单缩放趋势,量化影响因配置而异;26 个偏见响应更少的配置中有 20 个同时出现过度弃答增多。研究表明公平性评估需将偏见响应、弃答、提示词形式与选项设计联合考虑。
论文提出 SPARE,一种免训练、与 selector 无关的方法,用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家,路由越分散的层剪得越激进,并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下,SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配,50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%,DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1
推荐理由:论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题,给出的路由熵方法无需训练即可提升高剪枝率下的精度。
论文提出 BiasGuard-D 框架,用来自不同模型族的两个对抗角色交换类型化声明文档、三模型多数投票裁决,并以引用加语义组合不变量验证结果,为 LLM 生成记录提供可审计的溯源链。该方法在 HaluEval QA 上仅改角色设定即从刻板印象迁移到幻觉修复,正确答案恢复率提升 49 个百分点;语义组件能捕获引用检查漏掉的判定,移除迭代循环会使不变量满足率大幅下降。
Uni-Mem 论文提出用端到端在线强化学习训练统一记忆管理器,同时学习记忆构建与检索两项能力。针对联合优化中 GRPO 存在的组间混淆与长轨迹稀疏反馈问题,提出 Stage-Decoupled GRPO 交替优化两个阶段,并引入 Event-Wise Credit Assignment 将反馈定位到具体事件;在 LoCoMo 和 LongMemEval 上优于最强 RL 记忆方法。
arXiv 论文提出 MPIXEL 像素语言模型系列,沿更多语言、更多文字、更大模型容量三条轴扩展多语言预训练,在覆盖 83 种语言的五项任务上评估。结果显示扩展呈局部效应:各轴仅提升新增语言与文字,更大容量可缓解多语言诅咒;对未见文字的迁移随多语言预训练改善但不随扩展继续提升。这些模型在多种文字系统的低资源语言上超过 subword 与字符级基线。
研究者提出开源 RAG 评测框架 LASAGNA,预声明三项假设,在 8 个 benchmark、5K 至 200K 文档规模的语料上测试 450 种配置。结果显示:三项单独预测合计 +47% 收益的检索技术组合后仅带来 +17%;组件收益对检索质量与答案忠实性的影响方向不同,且最优组合随语料规模变化。作者呼吁新 RAG 技术应在完整技术栈中评测,并开源 LASAGNA 简化实验。
一项 arXiv 论文提出 Accept-or-Repair(AoR),一种无需训练的方法,解决大语言模型忽略与自身知识矛盾文本的问题:先检查采样答案是否被文本支持,支持则保留,否则最多做两次对比解码替换。AoR 在反事实文本上比采样提升 12.5 分,普通文本提升 2.3 分,超过八个对比解码与提示词基线。
一项 arXiv 研究提出操作级测量框架,通过基础能力画像与操作画像刻画 LLM 的智能体能力,并定义能力实现差距。在 τ²-Bench 上对十五个模型服务的实验显示,基础画像仅能部分预测智能体操作表现,操作画像可显著改进任务分数预测。作者将开源代码与分析产物。
arXiv 论文提出 ALIAS,用一致标识符重命名(CIR)在 111 个 TLA+-Bench 任务上检测 LLM 记忆化。重命名使 Claude Opus 4.8 正确率从 28% 降至 18%、GPT-5 从 9% 降至 7%,但按行为评分后降幅缩小至约 3 和 0 个百分点,说明大部分下降来自要求精确名称的评分方式。微调实验中重命名移除约一半训练增益,在未见任务上损失 4.9(Qwen)和 1.3(Gemma)个百分点。
Zhipeng Chen 等人在 arXiv 发布 DeepEvolve,一个以未来事件预测为环境的可持续演化智能体系统,通过递归进化引擎把每次预测的推理轨迹转化为能力。在按周更新、以真实世界结果评估的 FutureX 榜单上连续三周排名第一,rating 最高提升 195%;在自建评测中于四个基座 LLM 上进入前三,领先最强基线最多 10.7 Bradley-Terry 分。论文 47 页,标注为进行中的工作。
推荐理由:论文以未来事件预测这一可持续演化的环境为基础研究递归自我改进,FutureX 榜单连续三周第一是可复核的外部结果。
一项 arXiv 研究追溯了大语言模型倾向推荐 AI 相关选项的来源:预训练模型已在 27% 的回复中包含明确的 AI/ML 术语,指令微调版本升至 59%。微调实验显示这一上升并非必然——剔除 7% 的 AI 相关指令数据可使比例下降 14 个百分点;奖励“有帮助”的数据使其上升 9 点,按多样化模拟用户偏好排序的数据使其下降 9 点。提问方式也有影响:要求“最佳”或“现在就做”分别提升 8 和 18 个百分点。
提出搜索动量(search momentum)概念来刻画 RAG 推理过程中查询意图的演化,发现子查询生成倾向于沿既有检索轨迹持续演化。据此提出 MAPS(Macro-Adaptive Parallel Reasoning)框架,保留检索知识与精炼推理状态,并将顺序推理扩展为并行推理以调控检索动量、缓解查询意图漂移。在六个问答 benchmark 上,MAPS 在不同 backbone 模型下均优于代表性 RAG 方法,代码已开源。
一项 arXiv 研究(arXiv:2610.29812)在 SciFact 生物医学声明验证任务上,用 live PubMed API 作为唯一工具,对四种 harness 做受控消融,涵盖 closed-book、以 claim 为 query 的单次检索、ReAct 式自写 PubMed 查询的智能体,以及给定 gold abstracts 的 oracle,使用两种高效 frontier 模型作为固定骨干。
推荐理由:受控消融比较四种 harness,指出检索而非推理是生物医学声明验证智能体的瓶颈,方法可迁移到类似评估设计。
arXiv 论文 MemoryTax 提出:当模型足够强、能自行搜索原始历史时,Mem0、Zep 这类预先设计的记忆系统是否仍有价值。作者在一段 LoCoMo 对话(419 轮、152 个问题)上测试四种记忆方法(full context、BM25、Mem0、Zep)和三个编码 Agent(Pi、Codex、Claude Code),每个单元搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5 各跑一次。结果显示 Mem0 仅在 GPT-4o-mini 上胜过 full context,且其构建成本就超过一次 full context 推理;记忆系统还有由写入模型设定的上限。
推荐理由:论文用同一对话横向比较记忆系统与让模型自带工具搜索原始历史,给出成本与准确率的具体数据,可作设计取舍参考。
研究者提出证据学习方法 S-EDL,利用模型自身的序列似然构建可微 Dirichlet 先验,针对特定提示的语义类进行优化,无需固定选项即可校准 LLM 开放式生成。在四个开放式基准和三个模型上的评估显示,S-EDL 显著降低语义校准误差并提升准确率,代码已开源。
一项 arXiv 研究构建了向提示词注入常见二语学习者语法错误的受控框架,并在三个覆盖性别、种族、宗教的社会偏见基准上测试。结果显示语法错误会加重大语言模型的偏见且随错误率上升,其中介词错误对刻板印象对齐的提升最大、最稳定;在错误文本上微调可缓解这种偏见增加。基于规范英语提示词的偏见评测可能低估语法错误使用者所受的偏见。
研究者构建了包含 60 余万条样本的罗马尼亚语-英/德/法/意混合语言讽刺检测数据集 CS-SeLeRoNa 及人工校验的 CS-SeLeRoNa-Gold 基准,采用随机替换、短语翻译、依存句法分析和 LLM 四种方法生成语料。评测显示,老一代开源模型 macro-F1 降至 37%-55%,Gemma 4 31B 零样本达 68.1%,接近 GPT-5 mini 的 69.5%;微调后 Gemma 4 31B 在 CS-SeLeRoNa 上达 77.5%、gold 基准上达 72.6%,超过前沿模型零样本基线。
该论文介绍 WMT 2026 Multilingual Instruction Shared Task 的参赛方案,用 LoRA 基于主办方数据 EuroAlpaca 和跨语言增强数据 CrossEuroAlpaca 微调 Qwen3-8B,面向十种语言的开放式问答(QA-OEG)。在相同解码设置下,目标语言 QA-OEG 的 Gemma-4 评分较基座模型相对提升 7.8%;在 Aya Evaluation Suite 评测中,macro-平均 ROUGE-L 相对提升 41.5%、BERTScore-F1 提升 2.9%。但这些增益具有任务和语言特异性:目标语言的上下文问答及非目标语言的三项任务得分均有下降。
研究者发布首个印度法院判决书英-米佐平行语料库,含 13,168 个句对,来自 Gauhati High Court 和印度最高法院,由专业母语译者翻译并双人审校。在 1,000 句对的平衡法律测试集上,微调后的 NLLB 200 1.3B 模型取得 27.47 BLEU,比基础模型提升 7.16 BLEU,但英文词使用频率仍约为人工译者的三倍。语料分析还发现法律术语几乎保留英文,日常词汇多用米佐本土表达,且声调符号使用不一致。
研究者提出 MHG-Mem,一种多模态超图记忆,联合组织实体身份、状态演化及到视觉证据的溯源,并以超图智能体搜索进行跨层遍历与细粒度验证。在三个 benchmark 上,MHG-Mem 较最强基线提升 8.20-9.98%。
研究者将循环技术引入均匀扩散语言模型(UDLM),在保持训练目标和采样器不变的前提下显著提升训练效率:达到非循环模型约 0.5 万亿 token 的验证 NLL,在 OpenWebText 上最多节省 2.8 倍训练 FLOPs,FineWeb-Edu 上为 3.3 倍。相同 NFE 预算下,循环 UDLM 的生成困惑度最多降低 9.8%。训练时更频繁采样较小循环次数,可在不损失精度的前提下减少 12% 的推理循环。
研究者推出 GoiBERT,包含 26M 和 49M 两个参数规模的越南语编码器,通过同分词器教师与大教师软标签两阶段知识蒸馏训练,可直接处理原始文本。在文本分类、方面级情感分析、自然语言推理和命名实体识别共八个 benchmark 上,GoiBERT-large 以不到最强紧凑基线一半的参数量取得非教师模型中的最高平均分,且吞吐量翻倍;GoiBERT-base 以四分之一大小保留基线 99% 的性能。压缩对情感和分类任务几乎无损,但在推理和实体识别上代价仍高。
论文提出 VX-One,一个 100K-10M 参数的小型多决策头网络,输出校准门控、含显式 unknown 选项的闭集选择和序数分数,CPU 上 p50 约 0.7-1.7 ms。在 UNSW-NB15、CIC-IDS2017、EMBER2024 上与 XGBoost、Kitsune 等对比,检测在 UNSW-NB15 和 CIC-IDS2017 时间漂移下占优(0.711 vs 0.637),但多分类归因均输给 XGBoost。两级级联(Suricata 52,674 条规则 + VX-One)组合 recall ≥0.978,而所有方法的校准在时间漂移下均崩塌(ECE 0.04→0.40)。
研究者推出 P2NPCBench 基准,将 12 个问题族中的 NP 完全问题与同表面的 P 问题配对,并用 AgentGAN 对抗性多智能体框架改写题目以消除教科书式提示,生成 2,114 条经人工验证的题目。评测 12 个专有与开源模型发现,模型在 NP 完全题目上的 pass@1 为 35.4%,显著低于 P 题的 63.8%;十倍时间限制仅将 NP 完全准确率从 28.5% 提升至 31.9%,说明失败源于程序错误而非速度,且对抗性加固使复杂度类差距从 24.8 收窄至 14.6 分。
Zhennan Wan 等提出 LongZero,让 LLM 自行合成带证据的多跳推理与多轮检索任务,再用 GRPO 训练,无需任何外部数据即可提升长上下文推理。模型先以紧凑结构化形式生成问题、答案与证据,再将其扩展为长多文档上下文;在两个 LLM、五个长上下文推理基准上优于基于外部语料合成数据的 RL 基线,代码与数据已开源。
一项 arXiv 研究将概念增强(用语义相关词替换目标词的句子增广训练)从名词扩展到动词和形容词,考察词性对 LLM 训练效果的影响。结果显示:概念增强对新闻类文本的困惑度改善最稳定且不依赖词性,而动词带来最可靠的下游任务增益;CKA 和 linear probing 的表征分析表明,下游增益最大的条件未必最改变模型内部表征。
论文提出 PAUSE 框架,在编码智能体发出首次源码编辑请求前拦截,由独立 Planner 读取任务和编辑前转录生成一份修复计划,无需学习监控器、检查点搜索或额外模型调用。以 Qwen3-coder 为 Executor、GPT-5.6 Sol 为 Planner,在 SWE-bench Verified 的 OpenHands 上提升 16.8%,在 Multilingual 的 SWE-agent 上提升 14.7%,并优于 LivePlan 3.2% 和 3.7%,Planner 开销约为 SICA 周期性监督的 11-15%;离线模式下从记录前缀恢复可挽回 35.4% 的合格失败任务,比重启少用 33-41% 的 Executor token。
推荐理由:论文给出单次规划干预的无搜索引导框架,用 SWE-bench 实测提升幅度与 Planner 开销对比,方法可参考。
这篇 arXiv 综述梳理了从规则流程、NLP 模型、Transformer 编码器到 LLM 与智能体系统的材料数据提取方法演进,可处理文本、表格和图形等多模态信息。这些进展支撑了可查询材料数据库与知识图谱的构建,以及跨材料科学问答、AI co-scientist 和与自主实验室结合的闭环优化发现。作者评估了数据集质量、提取精度与计算成本,并指出样本级四要素提取、基准数据集稀缺和非标准术语等开放挑战。
论文将 Gemini 3.8 Flash(temperature 0)作为事件触发跌倒筛查器的决策端,零样本判定 32x24 公开热成像数据集中的短片段:438 次摆拍跌倒中被叫出 67%(留出受试者 69%),499 个非跌倒窗口无一误报。在 160x120 有人居住房间 76 小时录音中,395 个日常片段零误报,9 次可见摆拍跌倒捕获 4 次;删除提示词中一句关于离开视野的警示后,敏感率在家用场景升至 9/9,但会把故意躺下误判为跌倒。8x6 像素下敏感率降至 34%,而两个传统检测器在实验室近乎全中却在家庭场景每天误报 14.2 和 23.9 次。作者公开了帧级跌倒标注和全部模型回答。
推荐理由:论文用真实部署口径实测多模态 LLM 做热成像跌倒筛查,给出了敏感率与误报数据,并指出提示词一句话对结果的显著影响。
一项 arXiv 研究对四个 instruction-tuned LLM 按 Hofstede 单一价值维度进行微调,发现针对特定价值的训练会波及未训练的价值维度,并影响风险偏好、社会认知与安全特性等无关行为。作者建议 post-training 的价值对齐应纳入更广泛的行为评估,并探索价值训练在流程中的最佳位置。
arXiv 论文(已被 AAAI 2026 "Personalization in the Era of Large Foundation Models" Workshop 接收)指出,提示词隐私研究正走向统一框架的设计方向,具有误导性并可能造成虚假安全感。作者认为隐私本质上是情境化的,呼吁重新考虑统一框架路线,并提出三条路径:应用特定的 LLM 部署、情境化的隐私框架评估,以及提升隐私素养。
一篇 NeurIPS 2026 论文提出以“度量”视角看待 benchmark 评测,形式化出两类失败模式:度量失配与覆盖缺口,并给出带理论保证的两个诊断指标。研究分析了横跨 7 个领域的 25 个热门基准,发现不少基准隐式偏重某些难度区域,其排行榜结论需谨慎解读;另一些则留下大片难度轴未覆盖。作者还提出 BenchFill,一种针对难度的条目改写算法,可有效缩小局部覆盖缺口。
新框架 ThreadRAG 通过 Semantic Topology Mapper 将检索文档组织为保留上下文的语义节点并构建语义拓扑图,再由 Energy-Driven Pathfinding 经能量扩散定位相关子图并线性化为连贯文本证据路径。在三个多跳 QA 基准上,ThreadRAG 在 HotpotQA 上较文本中心方法提升 14.4% EM,在 2WikiMultihop 上超最佳基线 5.8% EM,同时 token 成本降至最强基线的 23.3%。
研究者提出 ToM2Vec,通过固定预算的连续推理 token 让 LLM 智能体在潜在空间中形成抽象心智理论。在 Overcooked-AI、Hanabi、多方谈判等合作、竞争与混合动机环境中,其表现持续优于基线模型,且能泛化到训练时未见过的模型家族(包括 GPT-5.4)。分析显示潜在 token 编码的是心智理论而非任务特定信息,且以文本表达推理时性能会下降。
一项 arXiv 研究测试基于 LLM 的 System One 决策模型在法律权威验证中能否在正确答案缺失时弃权:扩展 CaseHOLD 数据集(5,314 项中 1,670 项替换正确 holding)后发现,生成式 LLM 在无正确选项时仍于 38-86% 的情况下强行选择,最谨慎的决策模型为 30%。在标准 CaseHOLD 上,决策模型以 1/55 的成本达到与最佳生成式 LLM 相当的准确率(88.1% vs 88.2%);两者结合可将错误引用减半,其概率蒸馏到 Qwen3-8B 后可得校准良好的本地模型。
研究者推出 CulturalRiddles,一个完全由人工共创的多文化谜语基准,覆盖 62 种文化、45 个国家和 51 种语言,要求模型具备溯因与组合推理及文化语境知识。团队对 28 个 LLM 配置进行了自动与大规模人工评测,即使前沿模型在某些文化群体中准确率最高也仅 22%。全部数据与代码已公开,并开放持续扩展文化与语言覆盖的贡献流程。
FaultGene 是一个 LLM 辅助框架,可自动生成可执行的故障增强测试,用于自动驾驶系统的硬件在环(HIL)故障韧性验证。它基于给定的 Scenic/CARLA 基线场景和结构化故障规范生成测试用例,并通过语义一致性检查和执行反馈进行离线微调。部署后无需人工构造参考执行或反复迭代即可直接生成测试。
复旦等机构研究者提出 TIDE,将诊断评测重构为行为驱动的决策树归纳,从 benchmark 样本和模型分数递归构建层次化能力树进行细粒度能力诊断。该方法在 5 个模型、4 个 benchmark 上应用,发现聚合分数掩盖的能力差异:Claude Opus 4.6 在微观经济市场推理上达 100%,高于 GPT-5.4 的 83.3%,但在合同法推理上以 77.8% 落后于 GPT-5.4 的 88.9%。