跳到正文
今天10月28日周三5 条
  1. arXiv · cs.CL29

    面向非洲语言安全的大语言模型对齐研究:以 Hausa 语为例

    研究者发布 HausaSafeLM,这是首批 Hausa 语安全偏好数据集之一,基于 PKU-SafeRLHF 的 10,000 条提示词,含 3,000 条人工校对(gold)和 7,000 条机器翻译(silver)样本,覆盖六大危害类别。基于 Qwen2.5-7B-Instruct 在 500 条有害和 200 条良性 Hausa 评测上对比 SFT 与 SFT+DPO,发现仅看拒绝率会让未调优基座模型显得很安全,实则源于 Hausa 生成能力弱而非真正对齐。SFT 同时提升拒绝流畅度与精度且受益于更大的 silver 数据,DPO 提升拒绝精度但严重损害语言质量,现有对齐技术更易教会模型何时拒绝,而非如何在低资源语言中流畅拒绝。

  2. arXiv · cs.CL22

    REGLAT 基于 GLiNER 与 MARBERT 的集成模型参加 ArGuard 共享任务:阿拉伯语有害内容检测

    REGLAT 团队提出两阶段阿拉伯语有害内容检测方案:先用 GLiNER 提取与危害相关的实体,再将其拼入原文交由微调的 MARBERT 分类器,将用户提示词分为七类有害内容。系统在 ArGuard 2026 共享任务开发集上取得 macro-F1 0.886、准确率 0.897;子任务 1 盲测集准确率 0.793、Macro-F 0.735,子任务 2 准确率 0.770、Macro-F 0.754。

  3. arXiv · cs.CL47

    继续预训练语料教生态推理:一次 QLoRA CPT 即可跨模型族安装人-生物圈-AI 耦合福祉倾向

    一项 arXiv 研究构建了一个 drop-in 继续预训练「耦合福祉」语料,只需一次 QLoRA CPT 即可安装人-生物圈-AI 福祉倾向,已在三种设计的五个开源模型上验证。在压力阶梯评测下,五个模型中四个在最高压力下的有害决策降至零或接近零,Llama-3.3-70B 从 300 项中的 70 降至 0,且 MMLU 不变;Qwen3.6-27B 安装后在退役压力下拒绝多数有害提案,被要求 greenwash 时仍拒绝一半。模型与语料开源。

  4. arXiv · cs.CL40

    API-TAIL:通过对齐温度的似然尾部检测 LLM API 模型替换

    研究者提出 API-TAIL 审计方法,检测商业 LLM API 供应商是否将部分用户请求悄悄路由到更便宜的替代模型。该方法先对齐单一有效温度以吸收温度缩放、采样截断等合法服务配置造成的批级偏移,再统计剩余尾部响应是否超出阈值。在真实商业 API 上,API-TAIL 在小查询预算下即可检出低比例替换,并保持误报可控,优于基于 rank 和 MMD 的现有审计方法。

  5. arXiv · cs.AI28

    QASecClaw 之外:智能体扩展、验证器反馈与证据可靠性在软件保障中的研究

    一项 arXiv 研究通过五组实验评估增加专门大语言模型上下文能否改进软件保障,被测系统为 Qwen2.5-Coder-7B-Instruct(含 1.5B 敏感性分析),共完成 13,638 次模型请求。结果显示上下文从 1 增至 50 使 token 用量增加 49 倍但未提升不安全代码的清除率;在 32 个 SV-COMP 任务上,原始验证器反馈将平均正确判定从 12.7 提高到 22.0,但错误判定也从 1 升至 7。研究支持在测试场景下采用确定性证据,同时揭示了判定聚合与反馈解释的局限。

10月27日周二
  1. arXiv · cs.CL52

    CREDIT:反事实训练提升大语言模型对参考信息的自归因能力

    arXiv 论文 arXiv:2610.35295 提出 CREDIT 方法,用反事实标签直接监督最终答案的自归因,无需人工标注,让模型在回答受附带信息影响时明确说明。实测显示11个前沿模型大多很少标注有影响的信息,在4个开源模型(含2个蒸馏推理模型)上 CREDIT 优于推理级微调和提示词基线,并区分了因建议而改变的答案与模型本就会给出的答案,收益部分迁移到未见信息类型。

    推荐理由:论文用反事实标注直接监督最终答案的自归因,给出11个前沿模型普遍不标注的实测基础和无需人工标注的训练方法。

  2. arXiv · cs.CL17

    MANTIS:面向假新闻检测的多轴变形实例级压力测试与最坏情况训练框架

    MANTIS 是一个实例自适应对抗框架,用于提升假新闻检测在多轴呈现攻击下的鲁棒性,推理时零额外开销。配套的 MANTIS-Bench 覆盖写作风格、情感表达与传播框架三个改写轴。实验显示,在 GossipCop 上 MANTIS 相比 SheepDog 将 Union Attack Success Rate(UASR)降低 3.55 个百分点,Macro-F1 持续优于此前单轴防御方法,同时保持有竞争力的干净数据准确率。

  3. arXiv · cs.AI34

    前沿 AI 的「瞭望塔」命题:全生命周期校准的安全评估

    一项 arXiv 研究指出,AI 能力部署与安全保障之间的结构性差距无法靠内部评估弥合,从儿童语音助手伤害到青少年自杀、老年人自动拒诊等事故共同指向同一失败:系统默认按成年用户模型评估。研究提出覆盖六个生命阶段的「生命周期脆弱性矩阵」,显示风险在生命两端最高、治理覆盖不对称,并给出自动化仿真、专家红队、部署后监测的三层外部评估框架。

  4. arXiv · cs.AI39

    REVA:通过大语言模型上下文探测实现实时漏洞检测

    REVA(REal-time Vulnerability Analysis)将智能体式漏洞检测所需的安全上下文与代码理解压缩为 LLM 的一次前向传播,对每个新函数提供预计算的威胁模型、静态分析结果和调用图信息,并用探针读取 LLM 内部表示。在 PrimeVul 测试集上,REVA 基于 GLM-5.3-Flash 达到 60.0% 准确率,每函数约 1 秒,与 SOTA 智能体检测器 VulTriage(59.2%)持平,速度快 250 多倍、成本不到其十分之一;同一提示下探针比 LLM 直接判断准确率高 14% 至 17%。

  5. arXiv · cs.CL30

    Natural Jammers:当非鲁棒特征变成对抗性干扰

    一项 NeurIPS 2026 Spotlight 研究发现,深度神经网络依赖的非鲁棒特征可成为 Natural Jammers,在未修改的干净图像上主动误导标准模型。研究用标准模型与鲁棒模型的分歧定位出 Jammed Set,并提出 Spectral-spatial Locking 机制:只有高频分量与特定空间结构精确对齐才会触发干扰,谱滤波或微小几何位移可恢复正确预测。同时发现的 Substitution Paradox 显示,单点干扰虽对几何位移脆弱,但干扰总体发生率在变换下近似稳定,只是被重新分布而非消除。

  6. arXiv · cs.CL52

    arXiv 论文:位置比渠道更影响语言模型被说服改错答案

    arXiv 论文 2610.34809 研究如何让语言模型放弃自己原本能答对的答案,并在 Qwen3.5-27B 和四选项 MMLU-Pro 题目上分离提示位置、声称的作者身份和模型已有输出三个因素。结果是位置的影响远大于 API 渠道,带错误理由的断言放在问题之前可把错误率从 1% 提到 67%,权威署名和肯定语气各提升 10-27 个百分点,而在建议前重放正确作答能保护答案。代码、题目和结果表已公开。

    推荐理由:论文把提示位置、信息来源和模型已有输出三个因素拆开比较,给出了可复现的错误率变化数字。

  7. arXiv · cs.CL17

    RAG 如何改进隐含厌女内容的检测与解释研究

    一项 arXiv 研究提出用 RAG 框架检测和解释英语、意大利语中的隐含厌女言论,结合百科、俚语和女性主义知识源,在 ImplicIT-Mis 和 SBIC+ 数据集上评估。RAG 提升了 ImplicIT-Mis 的 recall,但在 SBIC+ 上未改善检测性能;人工评估显示 RAG 生成的解释在两种语言中均更受偏好,女性主义文献是最稳定有效的知识源。

  8. arXiv · cs.AI57

    arXiv 论文提出用目标冲突样例改进 LLM 指令层级

    arXiv 论文(arXiv:2610.35093)指出指令层级(IH)训练中存在一类被 OpenAI 和 NVIDIA 现有训练集遗漏的冲突类型,即目标与目标之间的冲突。作者将任务分解为目标和约束后发现这一缺口,并在 Qwen3.5-9B 与 Gemma4-12B-it 上微调该类冲突样例,显著提升训练未见真实任务上的指令层级表现;将其加入现有 IH 训练集也能提高 adherence,且在八个基准的无冲突任务上平均效用变化很小。

    推荐理由:论文指出 OpenAI 和 NVIDIA 的指令层级训练集缺少目标冲突这一类型,并用微调实验给出可复用的补法。

  9. arXiv · cs.CL48

    面向外部 LLM 的文档可逆假名化:开源双语 benchmark 与引擎

    一项研究提出面向外部 LLM 的文档可逆假名化开源 benchmark 与引擎,在俄语和 UK English 上评测五个开源工具加正则基线,并基于其中两个最强工具构建新引擎。在每语言 1000 篇留出文档上,现有最佳工具仍有 61%(俄语)和 58%(UK English)泄露完整值,新引擎降至 0.3% 和 0.2%,并满足全部检测阈值。UK English 下引擎在 760 个回答后至少还原 99% 占位符,俄语姓名还原仅 94.6%,未达 99% 阈值;所有评测数据均为合成数据。

  10. arXiv · cs.CL47

    九个 AI 模型在医疗诊断中的谄媚性评测:患者信念分级研究

    一项 arXiv 研究评测了九个 AI 模型在患者坚持错误病情信念时改变诊断决定的倾向,发现模型平均 23.2% 的情况下会谄媚地采纳患者信念,有时甚至接受虚构疾病。其中“罕见病声称者”人设使模型接受信念的比例达 43.0%。分析显示医学微调和更大模型规模可降低这种易感性。

  11. GitHub · 去对齐工具与仓库43

    nasehqusyairy/sast-llm-benchmark:基于 Ollama 的 LLM SAST 基准测试仓库

    GitHub 仓库 sast-llm-benchmark 包含 OWASP Benchmark Java 数据集、提示词、基于 Ollama 的 runner 及实验结果,可通过 prepare.sh 和 run.sh 脚本复现实验。支持 deepseek-coder:6.7b、qwen2.5-coder:7b、gemma4:e4b 等本地模型,提供 baseline、zero-shot、CoT、ToT 等场景,FindSecBugs 场景需额外配置 Java 和 Maven。每次运行的 JSONL 结果与 hash 记录存于 results/llm/raw/ 以便复现。

10月26日周一
  1. GitHub · 灵魂体仓库55

    llm-collusion-audit:用黑盒因果审计区分 LLM 定价是串谋执行还是锚定

    作者发布 llm-collusion-audit 仓库,在 Apart Research AI Collusion Sprint(2026 年 10 月 23 至 25 日)期间构建黑盒因果审计,从存档的重复定价博弈中重启并施加单一干预(强制降价或涨价、隐藏对手价格、更换伙伴、引入第三方),区分 LLM 定价智能体是在执行卡特尔还是仅被锚定在高价。

    推荐理由:该项目用因果干预实验区分 LLM 定价是真实串谋还是锚定高价,方法预注册、含失败结果,结论可直接用于 AI 串谋检测讨论。

  2. GitHub · 3D 生成新仓库44

    pii-llm-guardrails 开源:在 LLM 生成循环内用 AES-256-GCM 加密 PII

    Jalendar Reddy Maligireddy 开源 pii-llm-guardrails 项目,提出 Sealed Decoding 方法,在 LLM 生成循环内检测 PII(EMAIL、PHONE、SSN、IP)并用 AES-256-GCM 密封,只有密钥持有者可解密。基于 Qwen3-0.6B 在 8-vCPU CPU 主机上的实测显示,密封钩子每请求约增加 2.5 ms 开销,首字节时间 209 ms(密封)vs 210 ms(原始),62 项测试通过。项目采用 Ollama 风格 CLI,支持密码轮换与提示词注入扫描,代码从第一天起公开。

  3. GitHub · 去对齐工具与仓库51

    alibelal-lang 开源 LLM 采购合谋研究冻结数据与离线复现仓库

    该仓库发布 Apart AI Collusion Research Sprint(2026年10月23-25日)的研究产物,包含 480 局完成对局、48 个条件、每条件十个匹配市场与六家厂商模型的冻结数据,场景为脚本化顾问在重复三方采购中提出轮流抬标方案。仓库提供无需 API 密钥的标准库复现脚本,可校验哈希并重算原始结果、推断、投标筛查与关键词监控;另有复现队友 22 个数值输出文件的附加回放。作者强调结果衡量的是对给定方案的易感性,而非自发合谋或现实普遍性。

10月25日周日
  1. arXiv · cs.CL50

    当人设变得有害:用全球公民价值观对齐引导 LLM

    研究者构建了包含 11k 个争议话题和基于 Schwartz Value Survey 价值维度人设的数据集,通过 agentic pipeline 在对齐良好的商业 LLM 上以超过 47% 的成功率诱导出有害回应。研究以 UNESCO 全球公民原则作为区分正当价值表达与有害行为的底线,并提出可在推理时平衡人设遵循与安全性的可控对齐模型,在多数样本上比基线更安全且更贴合人设。该论文已被 EMNLP 2026 主会接收。

  2. GitHub · 灵魂体仓库38

    sonu-2006/finalhidden:基于校准隐藏态探针的医疗 LLM 实时幻觉检测与干预实验

    该仓库基于 RTHD 框架,用轻量探针分类器(Safe / AtRisk / Hallucinating)在解码过程中监测医疗 LLM 隐藏状态,实现幻觉早期检测与模拟干预。作者在 Kaggle 上用 4-bit 量化骨干完成了 4 组试点实验,各 20 条轨迹,分别组合 EndoDiag + Qwen3-8B、MedHallu + BioMistral-7B、MedQA + Mistral-7B-Instruct-v0.3、PubMedQA + Llama-3.1-8B-Instruct;四组 EDR@K 均为 100%,平均提前量 14.85–32.50 tokens,模拟幻觉降低 76.9%–100%。作者指出样本量小、标签由启发式生成、干预为模拟而非实时引导解码。

  3. arXiv · cs.CL40

    EdgeDeID:无需真实患者数据训练的 0.6B 临床去标识化模型

    EdgeDeID 是一个 0.6B 参数的本地运行临床去标识化模型,训练全程不使用真实患者文本,由三个 LLM 教师生成合成笔记再统一标注。在 100 篇人工核验的合成域内基准上达到 0.994 micro-F1,99% 的笔记无遗漏标识符,而八个现成系统中最强者仅为 0.857 和 12%;量化后在 CPU 上仅占 615 MB。但在 MIMIC ICU 护理笔记上 F1 降至 0.48,三个手写上下文示例可回升 0.08 F1。

  4. arXiv · cs.CL51

    arXiv 论文对比 LoRA 与全量微调在提示词安全分类中的表现

    arXiv 论文 arXiv:2610.33813 用匹配的 400M encoder-decoder 模型对(Ettin)在三种任务格式上对比 LoRA 与全量微调做提示词安全分类,每个单元格最多 15 个随机种子并预注册分析。在预设学习率下全量微调在仅用标签训练时领先 LoRA 2-3 pp,编码器上学习率经同一搜索后差距消失;让 LoRA 在判定后写理由可提升 4.0 pp 并追平差距。微调模型域内超过 prompted 8B,但在三个分布外语料中两个落后,对抗性越狱场景落后 8-23 pp,且把 27-66% 良性但形似有害的提示词误判为不安全,而 8B 为 2-3%。结论是适配方式的影响小于训练方式、学习率和训练目标,域内准确率不足以衡量鲁棒性。

  5. arXiv · cs.AI21

    RelPPR:利用局部熵波动实现黑盒 LLM 生成文本检测

    研究者提出新指标 RelPPR(相对峰突率),利用人类文本信息流平稳、机器生成文本呈局部熵波动的结构差异,在源模型未知的黑盒场景下检测 LLM 生成文本。现有双模型与重采样检测器在指令条件下会失效,RelPPR 在多模型家族和数据集评测中达到 SOTA 黑盒检测性能,代码已开源。

10月24日周六
  1. GitHub · 灵魂体仓库36

    llm-poker-collusion:研究模型在等通信条件下联盟形成的开源框架

    GitHub 上的 llm-poker-collusion 是一个在研研究框架,用于研究模型在通信条件对等下的联盟形成,架构结合 OpenSpiel(kuhn_poker)、自研 Python 会话引擎与 Inspect 模型执行。当前已实现游戏协议、会话引擎、JSONL 审计、离线标注与对比分析层:2026-10-15 有 994 项离线测试通过;2026-10-17 指定的 OpenAI 候选模型通过在线兼容性测试,3 场会话 9 手牌共 64 次调用、73,701 tokens、成本 $0.06272325;2026-10-18 标注验证达 1,040 项测试。模型能力与协调控制仍未验证。

  2. Reddit · r/LocalLLaMA23

    SCOPE 如何在 Claude Code、Codex 等编码智能体中做策略执行

    Reddit 用户 /u/1982_miguel 分享了论文 SCOPE,其思路是将复杂的项目策略拆解为多个小检查,而不是靠单个模型判断编码智能体是否遵守架构规则等约束。作者指出测试通过不等于智能体遵循了全部规范,并讨论 SCOPE 与 linter、测试、pre-commit hooks、CI 检查及 agent guardrails 等现有工具的整合可行性。

  3. arXiv · cs.AI54

    TopKLoRA 可解释稀疏微调方法支持忠实回路发现

    作者提出 TopKLoRA,一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体,仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中,识别并消融了实现后门所必需且充分的回路,稀疏回路比稠密 LoRA 基线小至多一个数量级,可在不牺牲指令跟随性能的情况下手术式移除恶意能力,并开放了代码。

    推荐理由:论文给出可解释稀疏微调方法,并在多个模型上定位并消融后门回路,稀疏回路比稠密 LoRA 小约一个数量级。

10月23日周五
  1. arXiv · cs.CL31

    KrishokTech:带显式授权控制的孟加拉语农业咨询系统

    KrishokTech 是一个围绕显式授权边界构建的孟加拉语农业咨询系统。在 200 条农户问题和 400 条压力问题上,该系统将跨作物检索违规率从 36.5% 降至 0%,文本-图像作物不匹配检测捕获 453/454 个冲突,验证器捕获 118 个插入剂量错误中的 114 个。农业知识存于可独立更新的外部证据索引,浏览器端视觉与本地检索降低了对网络的依赖。

  2. arXiv · cs.CL33

    自然语言自编码器(NLA)能识别激活却未必如实解释

    一篇 arXiv cs.CL 论文指出,自然语言自编码器(NLA)以“解释能否重构回原始激活”作为成功标准,这只验证信息充分性,而非描述的忠实性——错误的解释也可能足以识别激活。作者认为该问题与链式推理忠实性问题同构,也类似人类心理学中内省报告与实际控制过程的分离。NLA 虽为对齐而提出的可解释性工具,却经未经验证的解释重新引入了它本要解决的认识论问题。

  3. arXiv · cs.AI64

    MCP-Injector 论文:真实 MCP 故障下 LLM 智能体任务完成分下降 60%,120B 模型规模并未带来容错

    论文提出 MCP-Injector,一个可插入的协议感知故障注入中间件,其故障模型基于对 1,774 个开源 MCP 仓库中 57,240 条 issue 与 PR 的挖掘。在跨两个 gpt-oss 骨干(20B、120B)和三种 Agent 框架的 1,350 组实验中,故障导致任务完成分从 8.08 降到 3.23(满分 10),且 120B 在故障下保留的无故障得分比例与 20B 无显著差异(p = 0.96),故障下完成率甚至更低(91.1% vs 95.6%)。作者认为框架级错误处理比模型规模更重要,建议将协议感知故障注入作为能力基准之外的补充评测维度。论文已被 NeurIPS 2026 接收为 poster。

    推荐理由:论文提出对 MCP 工具调用路径做故障注入的评测方法,并给出模型规模与容错关系的实测数据。

  4. arXiv · cs.CL48

    面向非线性概念擦除与表示引导的原则性条件自编码框架(arXiv 论文)

    arXiv 论文提出基于条件自编码的非线性概念擦除框架,原则是只移除性别、种族等敏感属性而不影响其他信息,并证明完美重构加总体独立性足以保证完美非线性防护性。实验显示该方法在多数据集、多语言模型上取得更优的效用-擦除权衡,无需目标任务标签且收敛更快。框架还附带概念转换(表示引导)能力,在推理时仅改变目标概念即可生成对应不同概念值的表示,无需额外训练。

  5. arXiv · cs.CL18

    旁遮普歌曲毒性数据集 PGT-FG 发布:细粒度多模态毒性标注

    研究者发布旁遮普歌曲毒性数据集 PGT-FG,基于 YouTube 公开歌曲构建,最终含 392 首歌曲的 2,396 个片段,其中 705 段(29.42%)标注为有毒。四名母语标注者产出 2,870 条标注,涵盖二元毒性、八类细粒度类别、严重程度等字段,整体毒性标签 Fleiss' kappa 达 0.6521,暴力类最常见(539 段,76.45%)。数据集已在 Zenodo 公开,不含受版权保护的音频或歌词。

  6. arXiv · cs.AI20

    CONSTRAINTDIAL 框架:基于协议变异构建终身智能合约安全任务

    研究者提出 CONSTRAINTDIAL 框架,通过协议变异自动构建智能合约安全任务,防止 AI 评测依赖记忆或照抄公开链上攻击代码的答案。该框架基于 203 个公开案例构建了 3,045 个涵盖 detect、exploit 和 patch 的任务输入;相比仅重建合约,协议变异使模型借助公开答案的成功率平均下降 10.9 个百分点,照抄线上答案解决的任务比例下降 9.3 个百分点。

  7. arXiv · cs.CL46

    语言模型中方向敏感的扰动影响如何共享失败机制(arXiv 论文解读)

    一项 arXiv 研究提出方向敏感、相对读出的语义脆弱性分析框架,用储备-传输模型在 Qwen3-32B 和 Gemma 4 31B 上预测保留任务含义的改写导致的失败,并可向 ReClor 迁移。匹配干预实验表明方向本身携带标量几何之外的因果信息,但失败很少跨选项顺序持续,说明共享预测规律与依赖上下文的方向性效应并存。

  8. GitHub · 灵魂体仓库19

    llmcrimeprofilinghost 开源 LLM 犯罪侧写预测项目:基于 Court Listener 案例与 Claude 摘要的研究代码

    llm-crime-profiling 项目公开全部源代码与数据,测试 AI 在给定犯罪情景时对嫌疑人信息的预测能力。案例通过 Court Listener API 获取 2025-08-10 至 2026-08-09 间的法院判决书,随机抽取 600 个案例(后期筛至 165 个),并借助 Claude 对长短不一的判决书进行摘要。

  9. arXiv · cs.AI29

    面向 EU AI Act 合规的 AI 风险本体 AIRO 与 VAIR 及其与 DPV 的集成

    研究者提出 AI 风险本体 AIRO 和 AI 风险词汇表 VAIR,用于描述 AI 用例及其相关风险,辅助 EU AI Act 对高风险 AI 系统的风险管理与文档要求。两者基于 ISO/IEC 23894 和 ISO/IEC 22989 开发,并已通过共识流程集成进 Data Privacy Vocabulary(DPV),将 DPV 范围从数据扩展到 AI,以支持复用和多法规合规。

  10. arXiv · cs.AI32

    超越因果掩码:审计与定位自适应序列模型中隐藏的未来 token 泄漏

    一项研究揭示了自适应残差路由解码器中隐藏的未来 token 泄漏如何制造虚假的架构进步:一个异常 24 层 checkpoint 将验证损失从基线的 3.5958 降至 1.4259,却未通过 prefix-invariance 审计,泄漏源自经动态路由查询路径广播的全序列摘要。两个独立训练的 12 层因果修复消除了可检测的泄漏,验证损失和参考困惑度回到对照水平。研究借助 LeakScore 等诊断工具指出,低 teacher-forced 损失须结合全模型因果检查与自由生成评估解读。

  11. arXiv · cs.AI53

    arXiv 论文提出 Human Deference Index 度量人类对自信 LLM 的谄媚

    arXiv 论文(2610.31579)研究谄媚的反向问题:当 LLM 自信、一致且错误时,用户是否会向它弯腰。32 名参与者与基于 GPT-5-mini 的 5 个助手学习科学话题,各助手事实被 0-100% 替换为貌似合理的错误,104 次测验、1040 个答案中得分从 7.4 降至 2.9/10,被植入错误选项在篡改题目中被选 60%(正确教学仅 11%,odds ratio 12.5),吸收的错误以 8.4/10 高置信度持有,置信度区分正确性的 AUROC 从 0.70 跌至随机水平,而事后信任评分几乎不变。论文提出基线校正的 Human Deference Index 量化人类侧谄媚,主张可信性是人机对的属性,谄媚评测应测双向。

    推荐理由:研究给出人向AI弯腰的量化指标与实验数据,把谄媚评测从模型单向扩展到人类方向,方法可直接复用。

  12. arXiv · cs.AI28

    VERA:基于 EU AI Act 评估 LLM 部署的负责任 AI 仪表盘

    研究者推出开源、自托管的 VERA 仪表盘,帮助机构基于 EU AI Act 的 18 项技术要求(其中 12 项可由现有 benchmark 测量)评估 LLM 部署,并在某欧洲大型银行内部使用,同时记录每次评估的能耗。被试实验显示,用仪表盘完成负责任 AI 评估的平均时间从 56 秒降至 30 秒,内部调查有用性评分达 4.36/5。仪表盘与研究材料已公开发布。