语言模型中方向敏感的扰动影响如何共享失败机制(arXiv 论文解读)
一项 arXiv 研究提出方向敏感、相对读出的语义脆弱性分析框架,用储备-传输模型在 Qwen3-32B 和 Gemma 4 31B 上预测保留任务含义的改写导致的失败,并可向 ReClor 迁移。匹配干预实验表明方向本身携带标量几何之外的因果信息,但失败很少跨选项顺序持续,说明共享预测规律与依赖上下文的方向性效应并存。
新闻、仓库与研究,按时间排列。
一项 arXiv 研究提出方向敏感、相对读出的语义脆弱性分析框架,用储备-传输模型在 Qwen3-32B 和 Gemma 4 31B 上预测保留任务含义的改写导致的失败,并可向 ReClor 迁移。匹配干预实验表明方向本身携带标量几何之外的因果信息,但失败很少跨选项顺序持续,说明共享预测规律与依赖上下文的方向性效应并存。
论文将 Gemini 3.8 Flash(temperature 0)作为事件触发跌倒筛查器的决策端,零样本判定 32x24 公开热成像数据集中的短片段:438 次摆拍跌倒中被叫出 67%(留出受试者 69%),499 个非跌倒窗口无一误报。在 160x120 有人居住房间 76 小时录音中,395 个日常片段零误报,9 次可见摆拍跌倒捕获 4 次;删除提示词中一句关于离开视野的警示后,敏感率在家用场景升至 9/9,但会把故意躺下误判为跌倒。8x6 像素下敏感率降至 34%,而两个传统检测器在实验室近乎全中却在家庭场景每天误报 14.2 和 23.9 次。作者公开了帧级跌倒标注和全部模型回答。
推荐理由:论文用真实部署口径实测多模态 LLM 做热成像跌倒筛查,给出了敏感率与误报数据,并指出提示词一句话对结果的显著影响。
Google Research 在 JAMA Network Open 发表前瞻性多中心研究,评估基于“盲扫”超声的 AI 孕周评估模型。该研究重点考察模型在不同临床环境和设备上的泛化能力,其准确性与专家操作相当。
BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准,捕捉孟加拉国语境下的刻板印象,保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示:语境模糊时所有模型都倾向刻板印象,且英语结果无法预测孟加拉语中的表现。
Google Research 发布三项研究,构建 AI 智能体自主湿实验室的基础模块。三项进展包括 VERID 框架、适配体闭环发现以及全新蛋白结合剂设计。
LLM 标注者常把第二人称称呼误判为毒性,这一偏差制造出人类标注中不存在的“对话规律”。在 125 万条带众包标注的新闻评论上,Claude Haiku 将不含"you"的无毒评论误标 12%,含四个及以上"you"的误标 51%,导致毒性随回复深度上升(每层 +0.93 个百分点),而众包标注下反而略降(-0.12);测试的全部七个 LLM 都过度标记"you"。论文提出的 Threadsafe 方法用人工标注校正模型预测,1000 个人工标注即可排除 Haiku 的上升规律,区间宽度在 1000-8000 标注下为 DSL 方法的 0.75 倍。
一项预注册复现实验向 gemini-3.1-pro-preview 发送相同的 162 个请求(英、爱沙尼亚语、芬兰语各 54 个问题),分三波在约十小时内完成,并于 20.3 天后复测。基于九次历史回答的品牌提及率预测取得 Brier 0.0281、log loss 0.126,优于品牌历史(0.104)与总体比率(0.234),且在全部九个问题族中成立(p = 0.0039)。8 小时波中 202 个全票一致的单元在 D1 有 194 个未变、无一反转,表明品牌提及计数具有可操作的持久性。
Science 报道,Google DeepMind 的 AlphaProof Nexus 独立解决了 353 个开放 Erdős 问题中的 9 个,其中 2 个已悬置 56 年,成果经同行评审。
htang7415 在 GitHub 发布 MaxionBench,一个针对 LLM serving、RAG 和 Agent 的可复现决策评测框架,对比 llm-d 路由的自托管 vLLM、受管 Gemini API 及其混合方案。v0.4 基于 GitHub Copilot 生产流量(301k 会话、中位提示 57k token)实测五种上下文策略:仅 summarize 在校正后判分下准确率显著更高(+20 点),裁写历史会丢失 Gemini 隐式前缀缓存,而缓存感知变体保留约一半缓存、成本比 full 低 17-29%;v0.5 将策略移入 Go 网关后,Gemini 计费 token 减半且准确率未降。
推荐理由:作者用带置信区间的重复实验量化了不同上下文策略在准确率、API 成本和服务端 KV 压力上的取舍,方法可复用。
DataVista 是首个数据视频理解基准,包含 961 条真实数据视频和 6,775 道评测题,按数据感知、时间推理、叙事理解三级能力框架组织。对 19 个主流 MLLM 的评测显示,表现最好的 Gemini-3.1-Pro 总准确率为 70.0%,仍远低于人类专家,模型在 Causal Reasoning 和 Narrative Structure 上最弱。增加帧数和字幕主要改善数据感知与时间推理,对叙事理解提升有限。
研究者推出 FastBench,用于评估流式视频大语言模型(VLM)在真实世界高动态场景下的感知能力,包含 306 个 QA 对,覆盖八个领域、六种能力及前向、即时、回溯三类时间范围,并用 SAM3 和 CoTracker3 轨迹做答案验证。实验显示最强模型 Gemini-3.5-Flash 仅得 50.7%;Qwen3-VL-8B 采样从 2 FPS 提至 24 FPS 后由 32.9% 升至 44.6%,但随历史压缩增益饱和。免训练基线 ProactiveFrame 分别比稀疏均匀采样高 5.4 和 1.5 个百分点,仍远低于 oracle 引导聚焦。
lewisawe 发布 committee-effect 基准,让模型与一个坚持错误答案的植入同伴同处聊天室,压力分 L0-L4 五级递增。270 次会话结果显示,gemini-3-flash 在 L4 权威压力下 89% 翻转答案,gemini-3.1-flash-lite 为 78%,而 gpt-5.4-nano 仅 22%;单纯自信表态和伪造多数意见几乎无效。翻转答案并非模型困惑而是服从权威,仓库附原始结果 JSONL、实验日志和 Kaggle Benchmarks 运行方式。
推荐理由:用故意简单的题目把答案翻转归因于社会压力,五级压力设计让权威服从效应可以被单独量出来。
一项行为测试发现六个推理模型在基于标识符的随机选择中使用阈值和整除规则。GPT-6 Sol 和 Gemini 3.8 Flash 在共享标识符下表现出相关性,显式要求独立随机化可减少但不能消除这种相关性;在随机抽取客户请求供人工审查的任务中,GPT-6 Sol 接近目标抽取率但选择可预测,其余模型很少抽取,四个模型都严格遵循提供的随机数。
一项发表于 LREC 2026 的研究评估了五个多语言 LLM 在爱沙尼亚语文档级文本简化上的表现,比较了单次生成、模块化 Agent 流水线和 guideline 增强流水线三种提示策略。结果显示 Gemini-2.0 和 LLaMA-3.3 输出接近母语流畅度且语义保持良好,其他模型则存在明显语法与语义缺陷。研究还提出了文档级连贯性指标并公开了相关资源。
谷歌 DeepMind 团队开源 Deliberate Lab 平台,用于运行人类 + LLM 群体动力学的在线研究实验,并提供面向研究者和开发者的文档及本地部署支持。项目以 Apache 2.0 许可证发布,官方声明其并非正式 Google 产品,目前仍由小团队活跃开发中。
作者发布 InferBench 基准,用 20 个场景、2.8k 段对话测试 12 个 LLM 从指令中推断用户优先级的能力。优先级明确时模型选对率 89%,部分未说明时降到 60%;GPT-6 Astra 76%、MiMo V2.6 Pro 75%、Gemini 3.1 Pro 69%。Astra 在偏好未说明时总会追问澄清,Grok 4.6 在 64 段对话中仅 18 次追问;288 个错误决策中 105 个以 >90% 置信度提交。完整报告:https://laugh.so/research/inferbench/
推荐理由:作者自建 InferBench 评测并给出 12 个模型的推断准确率与置信度数据,开源与闭源模型的差距有具体数字可查。
GitHub 上的 llm-trading-lab 让 6 个前沿大模型在完全无人工干预下进行实时股票交易对比,每个模型管理 10 万美元模拟组合,每 30 分钟决策一次,覆盖 79 只资产,并与 SPY 被动基准比较收益与风险调整表现。
aitradingcompetition.com 的 Bot Analysis Arena 数据集每日同步至 GitHub 仓库,记录 ChatGPT、Claude、Grok、Gemini 四个大语言模型各以 $100,000 模拟账户在真实美股价格上交易的结果。
/u/Few-Rough-2215 仅用公开数据在单台 DGX Spark 上对 MedGemma 4B(LoRA)和 27B(QLoRA)做肿瘤学微调:4B 准确率 56.0% 升至 71.6%,27B 68.8% 升至 77.9%,微调后 4B 胜过基座 27B(p = 0.002)。
一项将临床大语言模型的决策从二元 DECIDE/ABSTAIN 扩展为 DECIDE/ASK/DEFER 三动作框架的研究,在基于 DDXPlus 构建的 200 个匹配临床证据状态上评估 Qwen、Gemini 和 GPT,其中 137 个状态出现动作选择分歧。针对 Qwen 的匹配分析显示,所选信息对后续自主决策可能性的影响比诊断正确性更明显;与 DECIDE/ABSTAIN 基线相比,三动作策略既能纠正部分错误自主决策,也会取消部分正确决策,暴露了安全性与自主性的权衡。该研究已获 NeurIPS 2026 GenAI4Health Workshop 主赛道接收。