内容形态
论文与技术报告：对齐机制、人格可控性、评测方法与能力边界的新发现。
403 条精选近 30 天 403 条共收录 2,998 条
一项 arXiv 研究基于印度、尼日利亚、巴西、巴基斯坦 1,252 名用户授权捐赠的 202,590 条 ChatGPT 对话，筛出 15,555 条健康对话做安全评测，约五分之一获高风险评级。风险集中在症状与病情类提问，表现为不安全用药剂量建议、有害自我诊断、缺失安全警示和未引导就医；加入用户自身上下文后高风险比例上升 13-17 个百分点，约四分之一单独评级安全的对话对具体提问者并不安全。作者指出基于合成病例的安全评测可能漏掉这些伤害。
推荐理由：论文用四国真实用户对话而非合成病例评测 ChatGPT 健康建议安全性，发现合成评测可能漏掉的风险模式。
研究者以临床试验方案数字化为测试场景，发布含 150 份公开协议 PDF、四个任务类别的专家标注基准 TrialPD-Bench，并评估九个模型在五种 coding-agent harness 下的表现。结果显示最强智能体也无法完全解决该任务，通常能定位所需证据但在转写与结构化的最后一公里失败；配套的领域 harness TrialScribe 加入任务技能与验证循环，使本地部署的开源模型在八项指标上提升 6.2-59.4 分，达到或超过 GPT-5.6-Sol 等专有模型。
推荐理由：原文用专家标注基准把编码智能体在长文档任务上的失败定位到转写与结构化环节，并给出可复用的领域harness改进数据。
Yuanfan Lin 等人在 arXiv 发布 GUIDE，一个用于人类与 AI 协作生成和更新临床实践指南（CPG）的多智能体 copilot 系统，将劳动密集型任务交给专用智能体，专家保留判断与最终仲裁。在 12 个 NICE 眼科数据集上，GUIDE 实现文献召回率 88.85%、证据确定性评级一致率 86.06%、推荐一致率 91.67%，平均每个数据集耗时 162.17 分钟（人工干预 28.68%）；在心血管、内分泌、消化和呼吸领域 20 个数据集上表现稳定。消融分析显示移除专家干预会降低偏倚风险评估等判断密集环节的表现。
推荐理由：论文报告了在 NICE 眼科数据集上的文献召回率、推荐一致率与人工干预比例等数字，便于评估多智能体系统在指南更新中的实际表现。
论文提出 Unravel，一个免训练框架，可将单张图像转为每个物体都可独立移动的可交互 3D 场景。其方法由视觉语言模型规划可见物体、图像编辑器逐层移除并还原被遮挡区域，以点云为主要模态恢复空间关系，每次编辑先验证再纳入重建，并按反向移除顺序重建场景，将观测点作为物体尺寸下限，最后物理沉降与智能体审查修正漂浮和穿透问题。在多样室内场景实验中，Unravel 比现有方法恢复更多物体、摆放更忠实、物理合理性更高。
推荐理由：这篇论文展示了用智能体逐层剥离图像来重建可交互 3D 场景的完整做法，各环节可验证可复现。
GitHub 开源项目 modeltested 发布了一个面向开放权重 LLM 的真实工作基准，结果在 modeltested.com 自动更新，当前榜单覆盖 65 个本地模型。评测分编码（30 题，沙箱内跑隐藏单元测试）、文档抽取（24 题）和决策（56 题，含 Brier score 校准）三套，大部分题目以 age 加密存放、密钥为 CI secret，公开与隐藏分数并排展示以暴露背题；模型经 OpenRouter 以全精度或 8-bit 运行，部分 Q4 模型在 Mac mini（M4, 16 GB）上用 Ollama 补测以量化损失，并给出显存适配估算而非速度数字。
推荐理由：这个开源基准用隐藏题集加密和 canary 字符串对照公开分，可用来识别模型背题，且单模型复测成本仅几美分到几美元。
AllSpark（小红书）发布 Vela 官方仓库及论文，将匿名化真实用户行为历史转化为预测行为、总结兴趣、归因解释等训练任务。基于约 7.5 万条 Vela-Instruct 样本微调 Qwen3.6-35B-A3B 得到 Vela-35B-A3B，在十个评测基准上均有提升；先 Vela 后 RL 的模型在 VelaBench 达 66.2、ProfileSummary 达 37.6，高于直接 RL 的 58.5 和 29.9。仓库提供 74 个精选任务模板及 Composer/Scorer 中英文提示词，论文见 arXiv 2610.14709。
推荐理由：原文给出了数据规模扩展和 RL 前后的对比数字，可据此评估用行为监督做微调的实际收益。
Science 报道，Google DeepMind 的 AlphaProof Nexus 独立解决了 353 个开放 Erdős 问题中的 9 个，其中 2 个已悬置 56 年，成果经同行评审。
GitHub 新仓库 NavinYP/synthlore 发布，用于生成内部一致的虚构宇宙语料并配数学验证的 Q&A 基准，参考运行含 415 篇文档、约 511,025 词、571 个原子事实。系统分四层：因果宇宙引擎、约束驱动的事实规划器、多格式编译渲染、闭环验证，并针对三个合成 RAG 常见问题：把 24 条两跳链拆分到不同文档避免桥接节点捷径、定量图表用 matplotlib 程序化绘制并用 gpt-image-2 生成图配 Vision LLM 门控验证、真值只放 Tier-1 正典而错误说法植入 Tier-3 琐记以考察来源可信度推理。
推荐理由：开源的合成语料与 RAG 评测生成器，把多跳、多模态、来源冲突三条评测轨道的约束写进规划层，并用 10 项验证门审计输出。
arXiv 论文提出一套针对 LLM Agent 评测框架可靠性的 Oracle 完整性审计方法，含五条状态完整性不变量和三个已知答案控制，通过注入七类缺陷验证全部可检出且修复后无误报。对某 Agent 基准的审计发现奖励函数会在评分前改变环境状态，4,320 条 episode 的回放修正使 database-pass 标签从 4,194 降至 2,883，测得成功率从 94.3% 降至 65.5%。另发现策略文档、工具描述与工具错误字符串影响测得轨迹可靠性，工具描述的探索性效应最大（-9.2 pp），且第二任务域的语言效应符号反转；审计方法无法验证第二个基准，因其记录的 API 调用日志无法重建参考终态，论文发布了含审计套件与故障注入目录的复现包。
推荐理由：论文给出了一套可检测评测 Oracle 缺陷的审计方法，并实测出奖励函数缺陷把 94.3% 的成功率拉低到 65.5%，方法附带完整复现包。
作者开源了 maintenance-qa-agent，一个对工业维护手册做问答并在无法回答时主动弃答的 RAG 智能体，检索与共形置信门控已部署在 AWS Lambda。在 100 题测试池上，门控把回答错误率从 0.260 降到 0.031（α=0.1、覆盖率 64%），任意错误率从 0.540 降到 0.312。项目改用 token 概率读取 P(YES) 后 AUC 从 0.697 升到 0.821，并给出无框架纯 Python 实现架构、Prompt injection 测试集和扩展到 880 万段落 MS MARCO 的检索规模实测。仓库地址 https://github.com/mateus-aleixo/maintenance-qa-agent，MIT 许可。
推荐理由：作者用共形风险控制给 RAG 加弃答门槛，并把实测中的取舍与失败原因完整公开，方法可直接迁移到类似问答系统。
appendix0 发布 PincerCraft，一个基于 Mindcraft 和 Mineflayer 的 Minecraft harness 项目，用于研究 Agent 在开放世界长时程任务中的可靠性，harness 负责世界状态观测、动作前置条件检查和独立于 Agent 自报的完成验证。在使用 Claude Sonnet 4.6 的 356 次实验中，完整 harness 配置验证成功率为 67.3%、虚假完成率 3.8%，而关闭 harness 组件后为 29.4% 和 45.1%；项目基于 Node.js 20 与 Java 版 Minecraft 服务器，MIT 许可开源。
推荐理由：作者用同一模型对比了完整 harness 与关闭组件的结果，给出了验证成功与虚假完成的具体比例，方法可迁移到长时程 Agent 可靠性研究。
arXiv 论文 2610.15093 提出 loop engineering 概念，分析 600 条公开编码 Agent 轨迹后发现 98.6% 的输入 token 由前缀缓存提供，平价输入定价平均高估循环成本约 7 倍。轮次数量解释轨迹成本 84% 的方差，而平均观察大小只解释 4%；模型委派在一半评测设置中反而增加成本。作者发布 TurnCost 工具，用于在替换缓存、定价、压缩与路由策略下重算轨迹语料成本。
推荐理由：论文用 600 条轨迹数据指出轮次数量而非观察大小才是编码 Agent 成本主因，并开源了换算不同缓存与定价策略的 TurnCost 工具。
arXiv 论文（arXiv:2610.15033）基于两组各90天、共158,099条回答与468,037次引用的收集，研究生成式搜索引擎（ChatGPT、Gemini、Perplexity）引用网页的驱动因素。研究发现 ChatGPT 引用的每个页面都来自其自身检索，而其每次回答都会重写子查询、检索结果很少与 Google 或 Bing 一致，检索环节可解释32%的引用差异，远高于页面属性的2.8%；标题和段落语义匹配提问的页面被引用更多，FAQ 块、结构化数据、摘要框和页面速度只在跨网站比较时表现有效；模型自身知识也参与其中，会写入已知品牌、偏好已知网站，甚至在没有页面佐证时直接点名品牌，受控实验显示品牌名会重排事实完全相同的商品排名。结论在小 B2B 厂商市场复现，数据与代码已发布。
推荐理由：论文用两组各90天、逾46万条引用数据拆解生成式搜索引擎引用页面的机制，指出检索命中比页面属性更能解释引用差异。
Tejas Vaidhya 在 arXiv 论文中提出 Tab-Loop，将 TabICLv2 的 12 个非共享 ICL 块替换为 4 个共享块循环应用 k 次，其余编码器、解码器、合成先验和训练配方不变。在相同预训练算力 18.2 EFLOP 与相同推理算力下，参数量从 27.6M 降到 10.4M，held-out log loss 0.4583 对 0.4588，200 个 TALENT 数据集平均准确率 84.10% 对 83.92%，38 个 TabArena 数据集 Elo 1409 对 1396。由于权重共享，深度可在推理时选择，在训练范围内增加循环次数可提升精度且超出范围仍成立，用更深的循环继续训练可在 4–5 倍推理算力下达到基线 stage-2 成绩。
推荐理由：论文在相同预训练与推理算力下对比权重共享与独立参数，给出参数量、精度和 Elo 的具体数字，可迁移到 ICL 模型的参数效率设计。
arXiv 论文 arXiv:2610.14960 让九个 LLM Agent 与人类分析师在两个静态分析逆向工程任务上同题对比，GPT-5.5 Pro、Claude Opus 4.8 和 Kimi K3 达到与人类统计上相当的理解水平。研究记录了完整交互过程并发现强 Agent 采用跳转式广泛检索、很少回访已检视代码的 greedy fetching 策略；对 4000 个真实二进制文件的测量显示，更大应用和更低级代码表示会快速耗尽上下文窗口，扩展逆向 Agent 需要更好的导航、选择性检索和持久分析状态。
推荐理由：论文用统一评分标准实测人类与 AI Agent 的逆向工程差异，指出差距源于代码表示和工作流，并量化了 greedy fetching 下的上下文饱和问题。
论文提出 MCPDisCo，一个面向 MCP 原生智能体的生态级强化学习框架，在 70 个 MCP 服务器和 527 个工具、六个领域的真实服务器长程交互上训练。框架用 Thought-MDP 显式表示内部推理与路由、执行、终止，通过 token 掩码奖励归因和双向梯度手术缓解推理与工具学习之间的跷跷板干扰，以更少思维链 token 取得更高成功率，并在分布外 MCP-Atlas 与 GAIA 基准上保持单调增益。模型权重和实现已放出。
推荐理由：论文给出推理与工具学习互相干扰的失败模式及其梯度手术解法，在 70 个真实 MCP 服务器上训练并验证分布外泛化。
arXiv 论文 WorkBorne 提出以 artifact transitions（工件转变）为核心 primitive 合成长时程终端 Agent 任务的框架，并构建了 1,061 个工件语料和 7,882 个任务环境，产出 15,485 条高质量轨迹，其中 53.6% 超过 30 个 assistant turns。
推荐理由：原文给出了任务合成的具体数据规模和 Terminal-Bench 2.1 的前后对比，读者可评估该方法对训练终端 Agent 的实际增益。
GitHub 仓库 avoid-the-predictable 通过三轮盲评实验发现，提示语 avoid the predictable and the first idea that comes to mind 使 Claude Sonnet 原创性提升 +2.0、Opus 提升 +2.8（10 分制，p < 0.01），而拼写错误和辱骂大多降低表现。实验每格 5 个样本、2–3 个 LLM 盲评（评委一致性 r = 0.82–0.94），并指出该句已用于 Claude Code 技能 Orquestacion_Agentes_claude 的发散环节。
推荐理由：作者用盲评和多轮实验比较不同提示语对 Claude 模型原创性的影响，结论可直接迁移到提示词写作。
Daniel Keinan 发布开源项目 AiLibi，一个可复现的社交推理模拟与观战系统，7 名船员与 2 名内鬼由 LLM 驱动，通过 Claude Code 和 Codex 实现，Daniel 未手写生产代码。系统用确定性引擎和观察防火墙保证回放字节级可重建，100/100 样本回放可精确还原。2026-10-09 的 9 人对局记录显示，带证据引用的驱逐准确率为 24/24=1.0000，无证据时仅 20/42=0.4762；带有效引用的投票 410/410 可溯源。样本包含用 Qwen/Qwen3.6-27B 跑的两个 50 局锦标赛，作者强调这展示的是对认证事实的处理而非通用社交推理。
推荐理由：这个项目用可复现回放和证据引用链衡量Agent推理，带证驱逐与无证驱逐的准确率对比给出了可信的具体数字。
OzAmram 在 GitHub 开源 psm-mixture-test 仓库，用 Olmo-3-1025-7B base 与 Olmo-3-7B-Instruct 一对开放权重模型，对 Persona Selection Model（Marks, Lindsey & Olah 2026）做定量检验，Qwen2.5-7B 系列作跨家族对照。
推荐理由：原文用固定的一对开源权重模型做了完整可复现的定量检验，给出了混合拟合误差、AUROC 和软前缀差距等具体数字。