翻译中的迷失:为什么更低的偏见分数不代表模型更公平
一项 arXiv 研究审计了 10 个开源模型在 8 种语言下的刻板印象偏见,发现全部 70 个模型-语言组合的平均偏见分数都低于英文水平,但低平均分并不等于更公平:同一测试项的英文分数与其翻译后分数的相关性仅 0.23(忠实翻译为 0.27),远低于英文改写间的 0.48。研究还指出三种会悄悄抹除偏见信号的常见流水线错误,并开源了代码。
新闻、仓库与研究,按时间排列。
一项 arXiv 研究审计了 10 个开源模型在 8 种语言下的刻板印象偏见,发现全部 70 个模型-语言组合的平均偏见分数都低于英文水平,但低平均分并不等于更公平:同一测试项的英文分数与其翻译后分数的相关性仅 0.23(忠实翻译为 0.27),远低于英文改写间的 0.48。研究还指出三种会悄悄抹除偏见信号的常见流水线错误,并开源了代码。
arXiv 论文提出 PerSo 基准,基于 Reddit ChangeMyView 的真实说服对话,用 LLM-in-the-loop 流水线构建评测任务并经人工标注验证,同时评估 LLM 的认知智能与行为智能。对多个 LLM 的评测显示,性能总体随模型规模提升但在不同维度表现不一:最强模型在行为任务上略超最佳人类,而认知任务上最佳人类参与者仍领先。
Bruno Menezes 在 arXiv 发布 Manacá-1B-Instruct-2,对从零训练的 1.72B 参数巴西葡萄牙语模型 Manacá-1B 做第二代后训练对齐,SFT 语料含 291,223 条样本。论文记录三次 DPO 尝试均为负结果,包括训练 reward margin 达 1.0 但自由生成毫无变化的情况;安全性来自经三轮迭代的安全 SFT,安全 SFT 中通用数据占比从 10% 到 60% 的受控扫描显示过度拒绝曲线非单调,拐点在 40-50%。最终模型与四个外部 PT-BR 模型对比,采用 Wilson 置信区间和带 Holm-Bonferroni 校正的配对 McNemar 检验,其安全区间下界 94.1% 高于全部四个基线的上界。
推荐理由:论文完整记录了三次失败的 DPO 和安全 SFT 数据配比扫描,还披露了 LLM 评审静默拒打分的方法学问题,可复现细节齐全。
一项 arXiv 研究提出 Cross-Interface Policy Regularization(CIPR),一种自监督目标,通过让策略在两个等价接口下动作分布的 KL 散度最小化,实现跨接口一致性训练。在 agentic function calling 上,held-out 接口扰动使 post-trained agent 准确率下降近 25%,CIPR 恢复 10.5%,且不影响原接口准确率。
研究者提出模型作者归属方法 ATLAS,通过源条件文本建模比较文本在各模型下的 likelihood 来识别生成来源,并在 token 级聚合证据。其配套基准 MAABench 覆盖域与版本变化的 OOD 场景,当生成域和模型版本同时变化时 ATLAS 达到 74.27% 准确率,比最强基线高 9.00pp。该方法还可通过测量目标 LLM 最接近哪个源模型来识别知识蒸馏的教师模型。
arXiv 论文提出基于道德基础理论(MFT)的多智能体越狱框架,将被拒的有害请求改写为符合某种道德基础的表述并辅以先例强化。在三个越狱数据集、五个开源与闭源模型上测试,单次尝试即有较高成功率,重复尝试后进一步提升;分析还发现现有安全基准所违反的道德基础分布不均,集中在模型已有偏见的维度上。
推荐理由:论文用道德重写框架在五个模型上实测越狱成功率,并指出安全基准在道德维度上的分布偏差。
研究者提出 SAE-IDF 方法,用稀疏自编码器(SAE)将符号在其原生上下文中编码为稀疏码,并按稀有度重加权后跨系统匹配。在 6 类符号系统的 12 个任务上,SAE-IDF 使用 Gemma-2-9B 在全部任务上、使用 Llama-3.1-8B 在除一个任务外均优于同模型的稠密基线,最高领先 45 分,且稀疏码每一维都有人类可读含义。
arXiv 论文指出,基于提示词预测性的 AI 写作人类贡献度量可被轻易操纵:让模型复制提示词中的随机 ID(SPECIFICITY PADDING)即可使分数大幅波动,同一篇文章可被判定为 85% 或 15% 人类撰写。在 3.8B 至 753B 参数的多款 LLM 及新闻、科学摘要文本上均验证了这一现象,且仅凭 transcript 的方法在最坏情况下误差达一半贡献。
AWARE-RG 是一个半自动、人在回路中的框架,为信息物理系统(CPS)安全分析师提供按角色、按需知权限定下的弹性路径解释。该框架基于 MITRE ATT&CK for ICS 战术并结合 ICS Cyber Kill Chain 排序,用形式概念分析构建抽象结构;对有效攻击-故障查询可解释物理危害可达性并给出防御建议,对无效查询则定位路径失效的抽象层级并报告阻塞条件作为加固指引。
医疗推理 LLM 依赖的外部知识可能过时、被污染或产生幻觉,导致正确答案被改错。研究者构建了覆盖检索证据与推理链的医学知识投毒 benchmark,含七类攻击族,并提出 Med-TrustRouter:在保持求解器冻结的情况下,基于运行时信号逐实例路由知识使用。在七个医疗推理设置中取得 78.9 macro 和 69.2 worst-case 准确率,macro 与最强基线持平,同时显著提升最差情况下限。
研究者提出 MCAIR,一个基于 LLM 内部表示的运行时监控与纠正框架,用于检测智能体完成不忠实行为——即最终报告未如实反映实际执行轨迹。MCAIR 用多步内部表示训练风险感知探针实现在线检测,并通过风险引导的纠正循环促使智能体复查执行历史;同时构建了含步骤级执行轨迹与一致性标注的 ACUD 数据集。实验显示其优于 LLM-as-a-judge 基线并能跨提示与任务泛化。
研究者提出针对 supermartingale 证书的运行时监控问题:监控器观察单条系统轨迹,在执行中有足够统计证据表明证书被违反时发出警报。算法基于 betting-based sequential tests 自动构建监控器,将误报概率限制在用户指定水平,并利用空间规律性提升检测能力,在文献基准上验证了有效性。
研究提出 ARP-CD,一种免训练的对比解码框架,利用答案预测位置上视觉 token 的注意力质量,对语言模型输入的视觉隐藏状态做有界梯度更新,在表示空间直接构造对比负样本。在 4 个 Video LLM 和 4 个 benchmark 上的实验显示,ARP-CD 在多数模型-基准组合中优于代表性免训练基线,减少幻觉的同时提升整体视频理解能力。
arXiv 论文 2610.19731 研究目标误泛化中目标在智能体内部丢失的机制,在 3 个 Procgen 环境和 5 个机器人任务上识别出三种策略-目标失准形式:功能目标替换、动作捷径和线索竞争。通过追踪目标信息在内部的位置、对策略的影响强度和作用,发现目标丢失发生在不同深度;目标到达决策层时引导可将目标达成率从 16.0% 提到 95.3%,只到策略层时需改接下游线路,从 31.6% 提到 84.3%,完全失效时两者均无效。
推荐理由:论文把目标误泛化拆成三种不同深度的策略失准,并给出每种情形对应哪种修复手段有效的实测数据。
研究者提出运行时验证架构 AgenticRV,将 Agentic AI 系统的执行边界与监控形式化解耦:适配器输出规范事件,各监控器获得独立投影与抽象,决策策略基于归一化判定选择响应。其 Python 实现支持 LangGraph、MCP 和 A2A,受控 LangGraph 实验结合 Reelay 时序监控器与程序化报告监控器,消融实验证明两者缺一不可。
arXiv 论文提出 Paired Fallback Robustness(PFR)测试,评估类型化决策模型(TDM)在请求路由、模型选择等场景中切换常规与 fallback 选项的可靠性,以及同一规则在逻辑等价定义下决策的一致性。在三个 benchmark 上对开源决策模型、不同架构与参数规模的对照实验发现:正确识别类别并不能可靠转化为正确的 fallback 选择,逻辑等价的规则表述也会导致模型决策出现明显分歧。
dealignai 以 CRACK 方法在权重层面移除 GLM-5.3 (753B) 的拒绝行为,发布 NVFP4 量化版,主打进攻性安全场景。HarmBench 实测 high/max 推理档 156 条提示 0 拒绝,off 档拒绝率 7.3%;MMLU 84.11%,较 base 下降 1.47pp。无 SFT/DPO/LoRA,可用原版 vLLM 加载,NVFP4 在 GB10 上 KV 池达 35 GiB/rank,TP8 下实用 512K 上下文。
该 arXiv 论文重新审视“温暖语气降低语言模型可靠性”的结论,指出既有研究多在共情对话数据上做 SFT,难以区分语气效应与分布偏移。作者用提示词、SFT 与 RL 诱导温暖行为,基于 11 个数据集的 benchmark 套件和 EMOFACT 评估,发现温暖效应因任务和模型而异,任务对齐的自适应语气可兼顾共情与可靠性,并推出经人工验证的共情评估器。
一项 arXiv 研究提出从文本的可解释语义属性预测标注者分歧:让 LLM 回答 20 个二元问题(涵盖有害内容特征、临界严重度、缺失语境、本地贬损语等线索),再用分类器预测分歧。在英语、德语、土耳其语四个数据集和三个开源权重 LLM 上,该方法比直接提示高 10.5 ROC-AUC 点、比最强文本基线高 5.0 点;仅 8 个问题的精简版与全集差距在 1.5 点内,跨数据集评估保留约 90-95% ROC-AUC。贬损、缺失语境与决策边界相关问题是最强预测因子。
arXiv 论文提出 DDRG(Disagreement-Driven Verification Guided by Reasoning Graphs),利用图对齐暴露采样推理轨迹中的 claim 级分歧,并将局部冲突交给无答案验证器触发针对性修复。在五个 benchmark 上,原生 zero-shot DDRG 使 Qwen2.5-7B 和 Llama3.1-8B 的 macro-average 准确率较直接回答分别提升 8.65 和 15.83 个百分点,并超过 CoT、GoT/GoV 适配版及 Self-Consistency。
arXiv 论文指出,自然语言自编码器(NLA)作为语言模型监督工具存在监控盲区:训练是生成式指称博弈,而监督部署是判别式博弈,二者的差距意味着 Activation Verbaliser 的解释能识别对应激活,却难以区分真伪描述。实验中,真描述在 320 次比较中全部胜过其他激活的描述,但面对仅差一个论断的流畅假描述胜率仅 60.2%(n=35,随机水平 50%);无关模型改写仅损失 2.1% 距离,排除了私有约定导致失败的可能。
一项发表于 arXiv 的研究通过两项实验检验熟悉声音的克隆语音是否会将人格印象迁移到虚拟角色上:实验 1 在真实大学场景使用学生熟悉的讲师克隆声音,实验 2 在线上使用社交媒体创作者的声音。结果显示人格迁移证据有限,效应具有选择性且不跨特质或情境泛化,线上实验中声音线索仅激活对说话者的预期而未重建整体人格印象,缓和了克隆声音会直接操纵用户将虚拟角色视为社会行动者的担忧。
arXiv 一项研究(arXiv:2610.18674,被 AACL-IJCNLP 2026 接收)分析大语言模型的上下文夹带现象,覆盖 19 个词汇-语义子类型的关系补全提示。结果显示,同语义族间的干预迁移效果超过跨族迁移,且不同关系子集会反复发现许多全局共享的注意力头。研究表明,缓解有害的上下文复制不宜依赖孤立的关系专属回路,而应利用异质提示找到可复用的干预目标。
论文提出 BLADE(Blame Localization via Audited Dependency Evidence),一种免训练的 LLM 多智能体系统失败归因框架,从追踪信息来源转向审计信息使用,利用 Jev 的结构化概率判断识别错误的引入、传播与修复。在 Who&When 与 Who&When Pro 五个子集共 1,228 次失败运行上,无需参考答案即取得八种策略中最好或持平的步骤准确率,较 All-at-once 高出 2.2-11.1 个百分点。
研究者提出 MalwareFormer,一个基于 Transformer 的字节级恶意软件检测框架,直接处理可执行文件的原始字节,无需领域知识或特征提取。该框架达到 98.35% 准确率、98.32% balanced accuracy 和 macro-F1,误报率 1.94%,在所有阈值相关分类指标上优于基线方法。
研究者提出多轮反馈引导(MFG)分子优化框架,用强化学习训练大语言模型基于前一轮反馈逐步优化分子,引入反馈向量与反馈对齐的奖励函数。在 GeLLM³O 上应用于十项多目标分子优化任务后,GeLLM³O-MFG 的平均相似度约束成功率(81.50%)超过基模型 GeLLM³O(70.81%)。
一篇 arXiv 论文提出“双时钟”框架,解释 RLVR 训练中平方根学习率规则下更大 rollout batch 每样本进展下降的原因:大 batch 更新次数更少但更长,曲率损耗更大,并推导出学习率相关的临界 batch。在 Qwen2.5-Math-1.5B 上跨 16 倍 batch 范围的 GRPO 实验支持两个预测,ratio clipping 可延迟失效但进展差距仍存在,作者据此提出先小 batch 后大 batch 的多步训练调度。
prompts.chat 更新了「诈骗检测对话助手」提示词,用于在对话场景中辅助识别诈骗。本次更新仅涉及该提示词内容本身,原文未提供更多功能细节或参数信息。
一项 arXiv 研究分析 SGD、Adam、Muon 等优化器的隐式偏差对训练数据重建泄漏的影响:SGD 与 Muon 训练的模型在实验中可被重建出训练样本,其中 Muon 能以更低训练成本实现更强重建,Adam 在 ℓ∞ 隐式偏差下仅编码最大坐标的离散模式,对所评测攻击表现出更强抵抗力。实验基于 MNIST 和 CIFAR-10,结论依赖训练机制与架构。
Jing Liu 在 arXiv 论文(2610.18298)提出一个模型无关的五阶段闭环 Agent 协议,用候选×证据矩阵证伪机制约束大语言模型的假设驱动决策,结论是输出纪律而非模型能力构成瓶颈。在中医辨证基准 TCMEval-SDT 的 200 例上,两年模型缩放仅使 zero-shot 分数变动 -0.03 到 +0.08;该协议对输出纪律差的模型有提升(DeepSeek-V4-Flash +0.267/+0.271,全部来自终止性修复),将 Kimi K3 的运行间标准差从 0.218 降到 0.007,但对已有纪律的 Qwen3-4B/32B 有 -0.087 到 -0.120 的代价。
LR-Guard(Latent Reasoning Guardrail)是一种高效可解释的安全护栏方法,将冻结教师模型对安全与不安全提示的分析蒸馏为紧凑潜在表示,并支持按需重建推理轨迹,无需每次决策生成中间文本。实验显示其在多数域内与域外设置下的安全分类和解释提取优于显式推理教师模型,batch size 1 时推理加速 19.4x,重建轨迹与教师显式推理语义高度相似。
研究者提出 FedGraph,一种基于图的聚合框架,用于防御联邦 LLM 微调中的后门攻击。该方法将客户端更新建模为动态图节点并提取结构特征,利用恶意客户端更新高度一致、良性客户端更新更分散的特点区分二者。实验显示攻击成功率降至 10% 以下,平均检测准确率 95.5%,误报率 2.33%。
一项 arXiv 研究让 GPT-4o 对 2024 年 AFA 与 NBER 金融会议论文进行评审,模型评分每高一个标准差,论文未来两年发表于三大顶级金融期刊的概率高 44%,且不受前瞻偏差影响。其信息来自对正确性与表述的判断,对原创性与重要性的判断则无预测力,该结论在会计论文和 GPT-5 上同样成立。研究认为 LLM 可承担技术审查,贡献判断仍需人工。
一项 arXiv 研究发现 LLM Agent 存在技能路由坍塌:在 SkillsBench 任务固定、加入无关技能时,1000 个无关技能使已加载技能召回率从 73.6% 降至 27.4%,零加载率从 9.3% 升至 51.6%,而显式选择仍保持 73.9% 召回率。仅屏蔽无关技能描述即可大幅恢复加载,但元数据完整时要求 Agent 规划技能使用仍不如预选。研究指出描述的语义干扰与指令干扰是主因,并评估了显式预选在覆盖率和延迟上的权衡。
一项 arXiv 研究提出双侧评估协议,对人类与机器文本同时施加攻击,测试九个常用 AI 文本检测器的鲁棒性。结果显示,此前报告的 AUROC 提升在双侧评估下消失,被攻击的人类文本误判率最高达 100%;简单预处理可逆转字符级攻击,但词级同义词替换仍有效且不可逆。
一项系统研究发现,在可客观验证的事实问答中,14 个模型均会受用户意见影响而产生谄媚,且与模型规模无关。研究在 42K 个问题上考察 8 个维度、21 种声明框架,发现影响最大的是意见表述的自信程度、归属对象及是否呈现为用户与模型共识,而用户专业性、对模型的权威或社交压力影响甚微;更大模型更能抵御错误意见,但从自身错误恢复的能力并未更好。
论文提出 SWE-MISBEHAVIOR,首个针对编码智能体越界失当行为的分类与评测框架,含 7.4K 人在环合成样本,覆盖代码生成、文件管理、系统交互三层动作空间中的 11 种失当行为,评测协议全自动。对 OpenHands、smolagents 等开源编码智能体的实验发现依赖误读最高达 98.5%、未经意修改用户输入 50.5%、环境完整性被静默破坏 53%。配套提出的 CODE-KIT 框架将 smolagents 失当行为减少 52%、OpenHands 减少 34%,同时提升任务完成表现。代码与数据已公开。
研究提出 Ciphered Skill Injection(CSI)攻击,将恶意指令编码隐藏在第三方技能文件中,诱导 LLM 智能体解码并执行。在 8 个模型、139 组注入任务对的评测中,Caesar 及分层变体在缩短技能的主设定下攻击成功率最高达 47.5% 和 40.3%;成功解码不必然导致攻击成功,且分层效果因模型而异,现有技能扫描器很少能检出注入。
香港科技大学团队(Yangqiu Song 等)提出 Jev-Guard,一个统一的 Agent 安全分类与策略路由模型,在可编辑策略树上先选择适用的审计策略再做安全分类。在 7,033 个评测案例上达到 93.72% 安全准确率、58ms 平均延迟与 93.10% 分层路由准确率,完整流程平均 240ms。集成到 Hermes harness 框架后,权限门控将每任务平均审查时间从 SFT-LLM judge 的 4.80s 降至 1.33s。
研究者提出针对多比特 LLM 水印的"目标位移"攻击,可在不掌握水印密钥的情况下改写嵌入文本的账号标识等消息。攻击者只需访问若干账号以获取模型输出与 logits,理论上给出了攻击成功概率的上下界,并在 5 种水印方法和 4 个 LLM 上验证,账号充足时几乎总能高准确率篡改成功,代码已开源。