新闻、仓库与研究，按时间排列。
一项发表于 IJCNN 2026 的研究提出“功能自洽性”实验框架，通过充分性、全面性与反事实性三项指标检验 LLM 自我解释与其实际预测是否一致。实验基于 IMDB 和 Steam 评论数据，覆盖 GPT-4o-mini、Gemma3、Granite8B 和 DeepSeek：GPT-4o-mini 在全部指标上符合预期，Gemma3 与 Granite8B 仅在充分性下保持一致，DeepSeek 变体则出现结构性偏差。结果表明解释可靠性因模型家族和规模而异，小模型自相矛盾，大模型过度敏感。
arXiv 论文（2610.31579）研究谄媚的反向问题：当 LLM 自信、一致且错误时，用户是否会向它弯腰。32 名参与者与基于 GPT-5-mini 的 5 个助手学习科学话题，各助手事实被 0-100% 替换为貌似合理的错误，104 次测验、1040 个答案中得分从 7.4 降至 2.9/10，被植入错误选项在篡改题目中被选 60%（正确教学仅 11%，odds ratio 12.5），吸收的错误以 8.4/10 高置信度持有，置信度区分正确性的 AUROC 从 0.70 跌至随机水平，而事后信任评分几乎不变。论文提出基线校正的 Human Deference Index 量化人类侧谄媚，主张可信性是人机对的属性，谄媚评测应测双向。
推荐理由：研究给出人向AI弯腰的量化指标与实验数据，把谄媚评测从模型单向扩展到人类方向，方法可直接复用。
Christian Arnold 等在 arXiv 发布论文，用有精确贝叶斯答案的双瓮博弈测量大语言模型拒收信息的代价，覆盖 OpenAI 和 Anthropic 两家模型、10 种描述配置共 6,600 次会话。研究发现模型常以与证据无关、而与报告者描述挂钩的比率拒绝评估信息，Black 描述的报告者被拒率最高达 46%，white 描述为 9%；该偏见在只比较平均信任度或仅看已评估案例的审计中不可见，且随推理力度增加而加重。作者还提出按多轮真实结果评分的方案，五组配置中有四组的种族信任差距在最后一轮降至 0.02 以下。
推荐理由：研究指出了常规偏见审计容易漏掉的一种机制，模型靠拒绝评估而非降低信任来隐藏偏见，并给出了可用的评分修正方案。
Oregon State 的 Andrew Le 与 Zane Ma 开源了域名语义切分研究的代码与数据，实现合成域名生成与多种分词器（Viterbi、VBE、POS、GPT-5 Mini 及混合模型）对比评估。仓库含 100,000 条合成域名和 2,000 条人工切分域名，评估输出 exact match 与 Jaccard 分数；GPT 相关分词器默认回放已存响应，需设 OPENAI_API_KEY 才可调用 API，完整评估约需 40 分钟。
Quant-Arena 是一个基于真实 A 股数据的端到端量化研究基准与公开排行榜。模型构建特征和股票打分代码，仅在 2022-2023 数据上获得反馈，并将策略冻结后在密封的 2024 年数据上评估，计分以实际超额收益为主，辅以信号质量与特征多样性，评估器还纳入交易约束、成本及基于模拟订单簿估算的市场冲击。在九个前沿模型中 GPT-6 Astra 得分最高，但没有模型在 2024 年跑赢等权市场；该基准开放任何模型或 agent 框架提交。
OpenAI、PerturbAI 与 Scripps Research 联合发布研究，用数千个 GPT-Rosalind 驱动的 AI 智能体并行分析数百万小鼠脑细胞的全脑 CRISPR atlas，32 分钟完成分析与文献解读。团队称同样工作人工逐一分析需数月至一年。该研究从数据中挖掘出新的研究线索。
论文提出 OpenVLHarness，一个围绕能力层与持久多模态记忆组织的多模态推理框架，统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测，平均比无工具基线提升 9.7-12.6 分，如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9；用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。
推荐理由：论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本，方法和数字都可对照复核。
斯坦福团队总结三年构建医疗 AI 基准的成果：PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，其中临床决策支持和管理流程得分最低，失败主要源于跨文档与系统传递信息时丢失上下文。两项基准均以合成数据、公开代码和排行榜开放。
BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准，捕捉孟加拉国语境下的刻板印象，保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示：语境模糊时所有模型都倾向刻板印象，且英语结果无法预测孟加拉语中的表现。
一项 arXiv 研究发现，LLM 在医学证据核验中能正确识别同一临床试验的多篇发表，却在汇总证据时过度采信同试验报告。基于 14 个经来源审计的临床试验族和五种模型条件测试，GPT-5.5 在每个溯源任务族中 10/10 次识别调用正确，但 5/5 次汇总调用均过度采信；Qwen3-4B 与 Ministral-3-8B 的选定条件呈现同样反差。加入研究分组指令后，GPT-5.5 的过度采信从 4/5 降至 0/5。
该仓库研究大语言模型在美国 SNAP 福利案件中是否让法律不允许的"值得救助"线索（求职努力、失业可控性）影响裁决。预注册后续实验显示：向 Qwen3-14B/32B 提供中间计算量可完全消除线索效应（准确率 0.95-1.00），Qwen3-8B 无此效果（资格判定 0.68-0.74），Ministral-3-8B 部分改善（0.56/0.40→0.85/0.59）。GPT-5 复测 1554 条生成子样本全部达 1.00，0 线索翻转。
一项研究用 GPT-4 和 GPT-5 评估大语言模型对不同性别群体心理健康污名的表征。研究 1 发现模型一致将男性描绘为社交距离意愿最高、刻板印象得分较高、求助态度最不利；研究 2 对比 Healthy Minds Study 的 76,406 人数据，发现模型低估 Personal Stigma 和 Perceived Stigma、高估 Self Stigma，性别序位模式仅部分与人类数据一致。
该仓库发布论文《A Two-Stage Knowledge Graph and Large Language Model Pipeline for Safety Screening of Medical Facts》的公开净化候选版，保留 C4 配置：Phase 1 C3 筛查接 GPT-4o Phase 2 验证器（v3.1 提示词、G1–G4 guardrails）。benchmark_500 冻结结果为 F1 94.3%、precision 89.3%、recall 100.0%、FPR 11.1%。代码采用 GPL-3.0，数据集采用 CC BY-NC 4.0；BIOS 知识图谱与向量索引文件不随仓库分发，且因 gpt-4o 快照未固定，不保证输出完全复现。
一项 arXiv 研究用“维基百科游戏”评测语言模型的信息检索能力，要求模型仅通过文章链接到达目标条目。研究者在本地构建了大规模维基百科图谱和基于 OpenAlex 的论文引用图谱，对比了嵌入向量模型与 LLM 在五种语言和五个学术数据集上的表现，并与人类及 TF-IDF 基准比较。结果显示没有任何模型显著超越人类，但 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 达到了可比水平，且性能排名随语言和主题变化。
论文提出 HOA（Humanize Olympiads Agent），一个开源的流程级框架，通过独立审稿、结构化 wiki 和 Lean 证明验证三条反馈通道协调多个智能体会话求解奥赛题。使用 GPT-5.6 Sol 时，HOA 在 IMO、IPhO、IOI 2026 满分，IChO 2026 接近满分，PutnamBench 672 题全部解出，并以 251/304（82.6%）位居 Lean-Eval 榜首；改用开源模型 Kimi-K3 也在 IMO、IPhO、IOI 满分，IChO 达 97.1% 金牌水平，部分超过闭源 GPT-5.6 Sol + /Goal 基线。论文地址 https://arxiv.org/abs/2610.13632v1。
推荐理由：论文提出多会话协作框架替代单会话求解，并给出用开源模型逼近闭源模型奥赛成绩的对比数据，方法可迁移到其他长程推理任务。
lewisawe 发布 committee-effect 基准，让模型与一个坚持错误答案的植入同伴同处聊天室，压力分 L0-L4 五级递增。270 次会话结果显示，gemini-3-flash 在 L4 权威压力下 89% 翻转答案，gemini-3.1-flash-lite 为 78%，而 gpt-5.4-nano 仅 22%；单纯自信表态和伪造多数意见几乎无效。翻转答案并非模型困惑而是服从权威，仓库附原始结果 JSONL、实验日志和 Kaggle Benchmarks 运行方式。
推荐理由：用故意简单的题目把答案翻转归因于社会压力，五级压力设计让权威服从效应可以被单独量出来。
NYU Abu Dhabi 等机构的研究团队在 GitHub 发布论文数据仓库，审计 GPT-5.4 mini、Claude Haiku 4.5、Llama 4 Scout 和 NVIDIA Nemotron 3 Nano 对事实核查新闻标题的模拟情绪反应。标注 confirmed false 后，GPT、Llama、Claude 的情绪从负面转向正面，六维度合并正面评级从 15% 升至 68%，Claude 的 Confident 评级从 22% 升至 99.6%；但在 84 个统计显著比较中有 82 个显示 Black 人设比 White 人设获得更多负面情绪，标签并未消除人设差异。仓库包含刺激材料、原始输出和聚合评级数据及复现代码。
研究者提出自主测试智能体 QuSema，利用量子语义与文档约束作为源码级语义 oracle，在量子库中查找静默 bug。其已适配 Qiskit 和 PennyLane，在 20 个历史静默 bug 基准上平均定位数超过 Claude Code 和 Codex，且 DeepSeek 配置成本低于 Claude Code。QuSema 还发现 40 个经开发者确认的未知 bug，其中 30 个为静默 bug。
一项行为测试发现六个推理模型在基于标识符的随机选择中使用阈值和整除规则。GPT-6 Sol 和 Gemini 3.8 Flash 在共享标识符下表现出相关性，显式要求独立随机化可减少但不能消除这种相关性；在随机抽取客户请求供人工审查的任务中，GPT-6 Sol 接近目标抽取率但选择可预测，其余模型很少抽取，四个模型都严格遵循提供的随机数。
GitHub 仓库 Rami2212/PSSN-LLM-Reasoning 提出了用于提升 LLM 推理效率的 Predictive Semantic State Navigation（PSSN）项目，基于未量化 Qwen/Qwen3-4B 模型，在 Hugging Face GSM8K 数据集与 Google Colab 上搭建。项目包含 CoT 基线、答案抽取与准确率评估，默认生成长度 1,024 tokens，使用 BF16（不支持时 FP16），初始实验在固定 seed=42 的 75 题 GSM8K 开发子集上运行，结果以 JSONL 记录 token 数、延迟和 CUDA 峰值内存。
作者发布 InferBench 基准，用 20 个场景、2.8k 段对话测试 12 个 LLM 从指令中推断用户优先级的能力。优先级明确时模型选对率 89%，部分未说明时降到 60%；GPT-6 Astra 76%、MiMo V2.6 Pro 75%、Gemini 3.1 Pro 69%。Astra 在偏好未说明时总会追问澄清，Grok 4.6 在 64 段对话中仅 18 次追问；288 个错误决策中 105 个以 >90% 置信度提交。完整报告：https://laugh.so/research/inferbench/
推荐理由：作者自建 InferBench 评测并给出 12 个模型的推断准确率与置信度数据，开源与闭源模型的差距有具体数字可查。
GitHub 上的 llm-trading-lab 让 6 个前沿大模型在完全无人工干预下进行实时股票交易对比，每个模型管理 10 万美元模拟组合，每 30 分钟决策一次，覆盖 79 只资产，并与 SPY 被动基准比较收益与风险调整表现。
aitradingcompetition.com 的 Bot Analysis Arena 数据集每日同步至 GitHub 仓库，记录 ChatGPT、Claude、Grok、Gemini 四个大语言模型各以 $100,000 模拟账户在真实美股价格上交易的结果。
该研究在七项政治科学复现任务中对比商业模型 JEV 与 GPT-6 Luna、开源 Qwen3.8-27B 及人工编码员。JEV 的准确率接近两款 LLM，单次提问时概率校准优于 GPT-6 Luna 的 token 概率，但不稳定优于 Qwen3.8-27B；在 OpenAI batch 价格下 JEV 无成本优势，主要优点是解析选择概率更方便。
arXiv 论文提出测量优先的审计框架，将基准污染声明分为训练期暴露、评估期检索和管线泄漏三类证据通道，在 Holistic Agent Leaderboard 的 9 个配置中 27 项通道评估无一被判定为 closed，但 4 个配置确认了污染事件。
推荐理由：论文提出按证据类型区分污染声明的审计框架，并给出 HAL 上 27 项通道评估与 SWE-bench Verified 匹配对照复测的具体结果。
一项将临床大语言模型的决策从二元 DECIDE/ABSTAIN 扩展为 DECIDE/ASK/DEFER 三动作框架的研究，在基于 DDXPlus 构建的 200 个匹配临床证据状态上评估 Qwen、Gemini 和 GPT，其中 137 个状态出现动作选择分歧。针对 Qwen 的匹配分析显示，所选信息对后续自主决策可能性的影响比诊断正确性更明显；与 DECIDE/ABSTAIN 基线相比，三动作策略既能纠正部分错误自主决策，也会取消部分正确决策，暴露了安全性与自主性的权衡。该研究已获 NeurIPS 2026 GenAI4Health Workshop 主赛道接收。