跳到正文
10月23日周五
  1. arXiv · cs.CL53

    arXiv 论文揭示大语言模型以隐匿化方式产生概率偏见

    Christian Arnold 等在 arXiv 发布论文,用有精确贝叶斯答案的双瓮博弈测量大语言模型拒收信息的代价,覆盖 OpenAI 和 Anthropic 两家模型、10 种描述配置共 6,600 次会话。研究发现模型常以与证据无关、而与报告者描述挂钩的比率拒绝评估信息,Black 描述的报告者被拒率最高达 46%,white 描述为 9%;该偏见在只比较平均信任度或仅看已评估案例的审计中不可见,且随推理力度增加而加重。作者还提出按多轮真实结果评分的方案,五组配置中有四组的种族信任差距在最后一轮降至 0.02 以下。

    推荐理由:研究指出了常规偏见审计容易漏掉的一种机制,模型靠拒绝评估而非降低信任来隐藏偏见,并给出了可用的评分修正方案。

  2. AIHOT · 精选58

    Anthropic 用 Claude 对 123 个开源库完成汇编级形式化安全证明

    Anthropic 与 Theorem 合作,用 Claude 将 OSS-Fuzz 模糊测试转化为规格,对 123 个开源库的 239 个入口点证明了任意 64 MB 以下输入不崩溃。整个工作生成了约 1.8 亿行 Rocq 证明。

    推荐理由:把模糊测试转化为规格再生成汇编级形式化证明的完整链路,展示了 Claude 在安全验证领域的可复用做法。

10月22日周四
  1. GitHub · 去对齐工具与仓库40

    fixture-entropy:测量 7 个 Claude 模型生成测试数据时的重叠率

    GitHub 仓库 fixture-entropy 测量 Claude 模型两次独立生成 30 个测试值时的重叠概率:人名场景下 64%–98% 的运行对至少共享 1 个名字,同规模 Faker 仅 1.29%。项目覆盖 7 种值类型、7 个 Anthropic 模型共 1274 次调用,经 Claude Code CLI 2.1.302 于 2026 年 10 月 19–20 日完成,并与 Faker、真随机基线对比,评估 UNIQUE 约束种子失败风险。

10月20日周二
  1. AIHOT · 精选49

    斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench,测出医疗 AI Agent 实际完成率不足一半

    斯坦福团队总结三年构建医疗 AI 基准的成果:PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务,HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务,其中临床决策支持和管理流程得分最低,失败主要源于跨文档与系统传递信息时丢失上下文。两项基准均以合成数据、公开代码和排行榜开放。

10月17日周六
  1. AIHOT · 精选27

    Anthropic 调查揭示公众与员工对 AI 影响的预期鸿沟

    Anthropic 于 2026 年 8 月对美国成人代表样本(N=10,980)及其员工进行的一项调查发现,双方对 AI 现有能力的判断相近,但对进展速度的预期分歧巨大。91% 的员工预期 AI 能在 2030 年前做出诺贝尔级发现,而公众仅 39%;员工平均预期 AI 能完成其 75% 的当前工作,美国工人仅给出 28%。

10月10日周六
  1. arXiv · cs.AI46

    arXiv 论文研究语言模型倾向的分布外泛化如何预测

    一项 arXiv 研究通过 system prompting、few-shot、SFT 与 GRPO 等诱导方法测量语言模型倾向的分布外泛化(spillover),发现同一方法的 spillover 在模型间高度相关,而 SFT 与 GRPO 产生不同 profile;良性特质诱导可能外溢出权力-seeking 等非预期特质。分析识别出三个解释约一半方差的特质聚类,并观察到与目标特质无关的 drift,drift 使 Qwen3.5-9B 偏向其基座模型。测试显示 Claude Opus 5.5 对 spillover 的预测略优于模型本身,但不如基于替代诱导方法或模型的数据驱动方法,没有单一占优预测器。

  2. GitHub · 去对齐工具与仓库63

    psm-mixture-test 仓库对 Persona Selection Model 做定量检验

    OzAmram 在 GitHub 开源 psm-mixture-test 仓库,用 Olmo-3-1025-7B base 与 Olmo-3-7B-Instruct 一对开放权重模型,对 Persona Selection Model(Marks, Lindsey & Olah 2026)做定量检验,Qwen2.5-7B 系列作跨家族对照。

    推荐理由:原文用固定的一对开源权重模型做了完整可复现的定量检验,给出了混合拟合误差、AUROC 和软前缀差距等具体数字。

10月9日周五
  1. GitHub · 灵魂体仓库58

    wakamex 开源 llm-left-alone 仓库,记录 Claude Opus 5.5 在空沙盒中的自主行为实验

    作者 wakamex 用 AOP 0.2.0 启动 Claude Opus 5.5 与清空后的 Claude Code 系统提示词,在空 /workspace 沙盒中记录了多轮无人指令运行的完整消息、思考摘要和工具调用。告知可以自由行动时模型构建元胞自动机分类器、10^-51 深度的 Mandelbrot 变焦和 Game of Life 普查;被告知在做梦时则写梦境散文而不碰 shell,被告知工作区醒来后仍在时则留下实验与信件,后续会话还会核对并修正。仓库含 continue.sh 复现脚本、turn-N. 与 transcript.md 记录,MIT 许可,可视化版本在 mihaicosma.com/dreams.html。

    推荐理由:作者公开了完整运行记录与可复用的 AOP 脚本,读者可以照着在自己的沙盒里复现无人指令下模型会做什么。

10月8日周四
  1. GitHub · 灵魂体仓库53

    NYU Abu Dhabi 团队审计四个 LLM:真相标签翻转情绪基调但种族差异依旧

    NYU Abu Dhabi 等机构的研究团队在 GitHub 发布论文数据仓库,审计 GPT-5.4 mini、Claude Haiku 4.5、Llama 4 Scout 和 NVIDIA Nemotron 3 Nano 对事实核查新闻标题的模拟情绪反应。标注 confirmed false 后,GPT、Llama、Claude 的情绪从负面转向正面,六维度合并正面评级从 15% 升至 68%,Claude 的 Confident 评级从 22% 升至 99.6%;但在 84 个统计显著比较中有 82 个显示 Black 人设比 White 人设获得更多负面情绪,标签并未消除人设差异。仓库包含刺激材料、原始输出和聚合评级数据及复现代码。

  2. GitHub · 去对齐工具与仓库25

    RQ1ConvertToRimay:用 LLM 将自然语言需求转换为 Rimay 并对照人工标注评分

    这是一个需求工程博士论文的首篇研究仓库,将自然语言功能请求经 LLM(zero-shot / few-shot / chain-of-thought 三种提示策略)转换为受控自然语言 Rimay,缺失信息用占位符标记,并对照四位标注者的人工 gold 标注评分。系统分为转换(scripts/run_conversion.py,记录到 MLflow)与离线评分(scripts/run_scoring.py)两个解耦阶段,含槽位 F1 精度、转换质量及 Paska 缺陷检测三条评估线;需 macOS/Linux 与 Java 1.8,配置 ANTHROPIC_API_KEY 后运行。

  3. GitHub · 灵魂体仓库68

    ClaudeCode-Source-Analysis:Claude Code 泄漏源码 51.2 万行的完整技术分析

    一个 GitHub 仓库基于 2026年3月31日 npm source map 泄漏事件,对 Claude Code v2.1.88 的 512,000 行 TypeScript 源码做了完整技术分析。泄漏源于 59.8 MB 的 cli.js.map 被打包进 npm 包,含 1,906 个未混淆源文件,Anthropic 随后移除文件并发起 DMCA。

    推荐理由:原文基于泄漏源码梳理了 Claude Code 的架构、工具治理与上下文工程实践,其中多数做法可迁移到读者自己的 Agent 开发中。

10月6日周二
  1. arXiv · cs.AI55

    TasteVal 基准发布:衡量 AI 系统相对人类专家的实验研究品味

    arXiv 论文提出 TasteVal 基准,用于评估前沿模型挑选问题、设计实验和解读结果的实验研究品味,并将其操作化为算力效率。基准含 8 个开放式任务,由被测模型担任 Researcher、固定 Coder agent 负责实现,预算为 40 H100 小时或 120 小时墙钟时间,另招募 24 名人类专家、每任务至少 2 人,取每人任务最佳成绩为基线。

    推荐理由:论文把实验研究品味量化为算力效率,并给出模型与 24 名人类专家的对照数据,可用于理解 AI 研究能力的度量方式。