内容形态
论文与技术报告：对齐机制、人格可控性、评测方法与能力边界的新发现。
403 条精选近 30 天 403 条共收录 2,997 条
arXiv 论文提出 TRACE 协议，通过配对运行、行为对比和重打分，把 LLM agent 分数变化区分为能力变化与评测本身的变化。在 25 个合成任务中重命名工具使脚本 agent 分数降 0.250，打分时恢复原名可完全弥合差距；88 个任务的重命名实验中八个 agent-change 对里七个 reward 变化在 ±0.10 内，误导性工具名则使所有 agent reward 下降 0.20-0.44；相同重跑会翻转 15-36% 的任务结果，两个前沿 LLM 评审在 57% 的相同记录上判断不一致。
推荐理由：论文用配对实验把智能体评测分数变化拆解为能力与测量两类原因，对解读 LLM agent 基准分数的读者有直接参考价值。
parammadan 发布 WebFidelity 工具，用带答案密钥的合成页面和以耐心浏览器为参照的真实站点，测量 LLM Agent 抓取器丢失了多少内容。实测发现 Firecrawl 默认在加载约 300 ms 后快照，晚于此到达的内容被丢弃且输出无提示，视口高度 100,000 px 导致滚动失效，46 个真实站点默认平均覆盖率 85%；加等待和点击动作可将合成基准召回从 52% 提升到 89%，作者并提议在响应元数据中暴露快照时的网络请求状态。
推荐理由：作者给出可复用的网页抓取完整性测量方法与held-out纪律，量化了Firecrawl默认抓取在JS延迟场景下的内容丢失程度。
GitHub 用户 trhlikfilip 发布 llm-bayesian-coherence 工具，检验因果语言模型的事实条件概率能否来自同一联合分布。核心是 Emerson (2026) 提出的四元组对数比证书，LR 不为 0 即证明两个方向的条件概率不相容；仓库提供 run.py、scorer.py、certificate.py 等 23 个测试覆盖的完整流水线，以及来自 Wikidata、ConceptNet 和 WordNet 的 140,751 个四元组（约 603,000 个 prompt-continuation 对），支持任意 Hugging Face 因果语言模型，输出 LR、F、B、R、K 等指标，并带评分缓存与断点续跑。
推荐理由：工具把概率一致性检验做成了可直接运行的开源命令行，附带 14 万四元组数据和缓存续跑设计，便于复现和移植。
Wei-Jung Huang 和 Bonan Shen 发布 ParEvalLayer 仓库（MIT 许可），配套论文 When Partial LLM-Agent Evaluations Support a Decision。工具读取两个 Agent 在相同任务上的成对打分 CSV，按设定的改进阈值经 bootstrap 尾部检验输出 promote、reject 或 abstain 决策记录，并可通过 --budget-caps 回放部分评测预算下的决策。仓库含 OSWorld-Verified 与 Terminal-Bench 紧凑回放数据，AppWorld、SWE-bench 和 tau-bench 需另行获取；作者明确说明当前证据不支持 anytime-valid 在线停止规则或普适的预算削减保证。
推荐理由：原文说明了对部分评测预算下的决策层方法及其统计边界，读者可据此判断何时该给出 promote、reject 或 abstain。
圣母大学 Yiwen Lu 发布 SkillRC，一个受控实验框架，用于审计 Agent harness 注入冻结 LLM 执行器的经验记忆收益。在 ALFWorld 134 个未见任务上，GPT-4o-mini 记忆增益 +0.127，Qwen3-8B 为 -0.021，跨栈 transport gap 为 -0.148；顺序安慰剂复现了执行器反转，表明主要效果源于各栈对附加上下文的响应而非技能内容本身。仓库含 YAML 配置的六控制面、安慰剂构建脚本与预印本论文。
推荐理由：论文用安慰剂对照和跨执行器配对设计拆解经验记忆的收益来源，方法可迁移到自己的 Agent 记忆审计中。
lewisawe 发布 committee-effect 基准，让模型与一个坚持错误答案的植入同伴同处聊天室，压力分 L0-L4 五级递增。270 次会话结果显示，gemini-3-flash 在 L4 权威压力下 89% 翻转答案，gemini-3.1-flash-lite 为 78%，而 gpt-5.4-nano 仅 22%；单纯自信表态和伪造多数意见几乎无效。翻转答案并非模型困惑而是服从权威，仓库附原始结果 JSONL、实验日志和 Kaggle Benchmarks 运行方式。
推荐理由：用故意简单的题目把答案翻转归因于社会压力，五级压力设计让权威服从效应可以被单独量出来。
GitHub 项目 byteB8/sva-agent 用开源模型检查器 EBMC 加 Spot 重建了 NVIDIA FVEval 的 SVA 评分器，替代需商业工具 Cadence Jasper 且脚本加密的官方评分器。验证显示其与 Jasper 数字一致（Qwen3-8B 得 34.6/49.3，官方 Jasper 数字 32.3/46.1 落在该评分器 95% 区间内）。在重建评分器上实测：CodeV-SVA-8B 人工集 Func@1 为 40.5、机器集 59.9；Qwen3.8-27B（FP8）为 42.7/63.9。
推荐理由：作者用 EBMC 等开源工具重建了 FVEval 评分器并给出与 Jasper 的对照验证，评测方法可复现，结果对关注开源模型硬件验证能力的人有参考。
elang2 发布 agent-budget-semantics 工具，对 11 个 AI agent 框架做差分测试，发现在同一任务、同一声明预算=3 下，实际消耗从 LangChain 的 3 次（525 tokens）到 Agno 的 10 次（3505 tokens），token 差距达 6.7x。测试通过确定性 mock LLM 与请求账本作为基准，识别出本地停止、客户端拒绝、协作式请求三种执行机制，并推动 OTel GenAI 语义约定 PR #439 因跨框架计数不可比而被作者撤回；工具支持 pip 或 Docker 安装，可接入 CI。
推荐理由：用同一 mock 负载实测 11 个 agent 框架的预算计数语义，读者可借其方法审视自己框架的预算与遥测数据。
hyeonbin123 在 GitHub 开源了用工具调用处理韩语虚拟购物客服的 LLM 智能体，并配套可复现的规则化评测环境（开发用 24 题、测试用 40 题，pass^k 与无 LLM 的 DB 状态判定，遵循 τ-bench 方法但任务自建）。本地 4~14B 模型实测中，qwen3.5:4b 将测试集 pass^1 从 18.1% 提到 55.6%；语音通道使 pass^1 从 16.2% 跌至 1.9%，规则化正则化挽回约一半至 8.8%；改用发信号码加姓名精确核验后身份核验从 53.1% 升至 80.2%。项目含 FastAPI 聊天服务、MCP 服务器、审批队列与审计日志，全部指标可从 reports/ 记录重新计算。
推荐理由：作者用 pass^k 与无 LLM 的规则化判定量化了语音通道、模型升级和小型模型对客服智能体成功率的影响。
作者为 180DC Bristol × BDSS Datathon 构建了 672 对仅姓名不同的双胞胎简历，测试 Qwen2.5-Instruct（0.5B 和 1.5B）作为简历筛选器，发现 3.9% 的决策因换名翻转（p < 0.001），末层隐藏状态可用线性分类器以 99.9% 准确率预测种族。阈值均衡等输出修复把决策差归零但内部偏见保持 100%，逐层消除后偏见仍以新方向重现；最佳方法在最偏层消除种族方向后决策差不显著且准确率不降，但未消除内部偏见。代码在 GitHub 开源，可在 MacBook（Apple M3, 16 GB）上运行，1.5B 模型单次条件约 16 分钟。
推荐理由：原文给出名字交换双胞胎简历实验和逐层去偏的完整数据，读者可以看到输出公平不等于内部公平的可复现检验方法。
MedAdapt Lab 完成了 ADHD-01 至 ADHD-05 五项实验，在单台 Apple M2 Max 上用手写 MLX 训练循环和 LoRA 继续训练 Qwen3 Base 模型，数据为 269 篇模型发布后出现的 CC 许可 ADHD 论文及 400 个虚构试验。主要发现包括：约 1.65 遍训练后，已训练论文题目准确率比未训练论文多提升 3.8-5.0 个百分点；1.7B 模型在 3.3 遍时额外增益达 +8.7；真实论文训练使通用文本困惑度上升 7%-123%；虚构事实在约 4-8 遍后从 25% 几率突升到 44%-51%；同 exposure 下四份不同文本比一份重复四遍高 +4.5 到 +7.6 分；无 replay 的窄域新事实训练使通用困惑度升 37-94 倍。
推荐理由：原文用训练前冻结的考题和对照实验，量化了小模型读新论文能记住多少、忘掉多少，方法可复现可迁移。
infobip 团队发布 CIKM 2026 论文 Anchoring Bias in LLM-as-a-Judge Systems 的代码与数据仓库，研究先验分数如何损害 LLM 评委的评估独立性。仓库包含 20 个公开文本任务、192,000 次调用的主实验脱敏数据、Llama 机制探测数据、GPT-4.1 缓解实验数据，并提供 uv run python scripts/reproduce.py 一键复现全部公开统计结果与图表；主实验共 20 任务、8 模型、3 条件、4 温度、每格 100 次试验。工业数据集因含专有内容仅公开聚合结果，论文 DOI 为 https://doi.org/10.1145/3799682.3840879 ，MIT 许可。
推荐理由：仓库公开了19.2万次调用的实验数据和一键复现脚本，读者可以自行验证LLM评委锚定偏差的结论是否站得住。
alexshpunt 在 GitHub 发布开源基准 Explicit Edit，用 226 个确定性、字节级精确的任务衡量 coding agent 和 harness 的文件编辑准确率。任务故意做小，不含深度推理或领域知识，覆盖替换、插入、删除、移动、大文件、多文件类型和 Unicode 边界情况，由校验器逐字节比对结果。
推荐理由：这个基准用字节级精确校验把编辑准确率和推理能力分开测，读者可以按同一任务集横向对比不同 agent CLI 和 harness。
作者开源 lab1 仓库，在四张 RTX 4090 上完成十五个实验：95M/201M 从零预训练（FineWeb-Ede 困惑度 30.2/18.1）、GSM8K 上 GRPO 使 Qwen2.5-1.5B-Instruct pass@1 提升 0.21、Countdown pass@1 从 0.02 提至 0.98，以及四阶段编码 Agent 课程。报告给出每个实验的完整设置、表格与预测账本，bench_observation_price.py 可在一小时内测量任意 Hugging Face 模型移除可见测试后的性能损失（RL 模型损失 0.16 且全部落在修复环节）。
推荐理由：作者在四张 RTX 4090 上跑通十五个实验并开放全部脚本与预测账本，读者可逐条对照复现 RL 与 SFT 的真实增益。
AKarode 开源的 parallax-markets 项目研究了 LLM 推理系统能否在预测市场上发现并交易错误定价合约，2026 年 6 月研究结束，通过模拟盘交易、13 天回测和结构套利探测得出否定结论：89% 的信号因无可执行报价被拒，回测胜率 46%、P&L 为负。项目在 2026 年伊朗霍尔木兹危机期间摄入 Google News RSS、GDELT、EIA 数据，用 3× Claude 集成预测叠加 6 规则供应链级联模拟，对比 Kalshi/Polymarket 实时价格；独立校准审计显示 isotonic 校准在 3 个 Claude 模型、1531 道已结算 Kalshi 题目上显著优于原始置信度，整个论证仅花费约 $40 的 API 调用，工程代码与评估方法可复用。
推荐理由：项目用预注册终止标准和样本外校准实验给出否定结论，方法论细节对想做类似 LLM 交易研究的人有可迁移参考价值。
TruthNian 发布 llm-pomdp-agent-eval 基准，评估智能体能否在信息不全和资源约束下把模糊故障接管为可验收的业务结果，单元为含失败动作、执行故障和交付成本的完整交互轨迹。GPT-6 Sol 多次在 20-39 个动作内交付，GLM 多次尝试或超时或遗留错误订单，所有高难度目标均未达成，失败尝试与回归锚点全部保留。基准采用 HTTP/SQL 真实业务操作与独立业务评分，不设默认加权智能评分，代码以 Apache-2.0 许可开源。
推荐理由：作者完整公开了各模型在 POMDP 智能体任务上的成败轨迹与失败成本，并对每个候选结论给出明确的适用范围说明。
SkillForge 论文提出一种 agentic RL 方法，通过 trial、active、stable、retired 四状态的适应度驱动技能生命周期，让技能库与模型在训练中协同进化。RL 前先用基座模型 rollout 预淘汰低适应度技能再做 SFT，之后每轮迭代持续淘汰、稳定和 LLM 引导变异技能；多个交互式智能体基准上聚合成功率达最高，较最强基线最高相对提升 7.8%，并发布含 5k+ 标注记录的 SkillFurnace 数据集。论文已被 NeurIPS 2026 接收。
推荐理由：论文给出了技能库生命周期管理的完整机制和基准对比，对研究智能体技能质量控制的方法有直接参考价值。
Paweł Skierś 在 arXiv 论文中提出 Painter-Thinker（PaTh）：一个小型递归网络在每个去噪步骤内细化潜状态，经 ControlNet 适配器引导冻结的扩散模型，仅用重建损失训练，无需符号目标、求解器或验证器。PaTh 解决 92.5% 的困难 MNIST Sudoku（此前最优 75%）和 71.2% 的极难样本（此前最优 4.1%），参数量 10M 对比标准扩散模型的 82M，在迷宫、Queens 和 CLEVR 场景上也有提升。
推荐理由：论文把递归推理引入扩散模型且无需符号监督，并给出与既有最优方法的解题率对比，方法细节可直接参考。
Michael Ofengenden 在 arXiv 发布 AgentTime 基准，用来自 18 个来源的 222 个任务测试 Agent 能否按要求时长工作、预测运行时间并事后估计耗时。结果显示各模型偏差差异很大：Claude Code 中的 Fable 5.1 偏离要求时长的典型倍数为 2.9 倍，Codex 中的 GPT-6 Astra 仅 1.2 倍；158 次可分类的 Astra 运行中有 14 次在看似完成任务后直接休眠。回溯实验中移除时间信息使 Sol 和 Astra 的偏差翻倍以上，Fable 接近翻倍。
推荐理由：论文用 222 个任务实测各模型 Agent 的时长控制与时间预测能力，给出了可直接比较的偏差倍数数据。
Teng-Ruei Chen 在 arXiv 发表论文，测量 LLM 路由器的路由选择日志如何在内容日志关闭时泄露敏感话题。基于 WildChat-1M 和 LMSYS-Chat-1M 共 170 万条真实请求的预注册研究，RouteLLM 在 50% 工作点下骚扰与自残请求被路由到强模型的比例低 19 个百分点，20 次路由决策区分频繁医疗提问者的 AUC 为 0.71；长度匹配的按类别 parity 可消除差距且在 RouterBench 上最多损失 0.2 个准确率点，而每会话 stickiness、每用户预算区间等方法失效。
推荐理由：论文用预注册实验量化了 LLM 路由日志泄露敏感话题的程度，并测试了 defenses 的代价与失效方式。