按兴趣浏览，循来源深入。
szymonkobus 发布 code-model-reliability 仓库，用贝叶斯失败率-难度曲线在同一难度尺度上同时度量代码模型的能力（D50）和可靠性（D99）。发布的拟合覆盖 71 个 arm、1,297 个任务、85,604 个 cell 和 850 万次尝试；仓库含 cmr 命令行流水线、任务集、每次尝试的判定记录和完整重拟合脚本，代码 MIT、数据 CC BY 4.0。
推荐理由：用同一难度尺度同时刻画模型能力 D50 和可靠性 D99，覆盖 71 个模型配置的可复现评测框架。
论文提出用 LLM 智能体作为语料调试器审计多语言数据管线，通过只读、有预算的 API 探索语料并将发现编译成可执行测试，再由母语者验证。在 FineWeb2 的 26.5M 文档斯洛伐克语子集上，三次运行各花费 $2.21-$2.84，共发现四个现象的七项问题，最大的是 1,408,437 篇（5.32%）通过管线过滤的机器生成内容农场；盲测支持 7 项中的 6 项（缺陷率 .53-1.00 对随机对照的 .08）。编译后的测试套件 0.7 秒即可扫全语料无需 GPU，而单次 LLM 分类需 $12k-$90k；最佳静态采样基线以不到一半成本验证了比任何智能体运行更多的选择器。
推荐理由：论文把 LLM 当语料调试器用一次而非逐条分类，并对比静态采样基线的成本与效果，方法对比值得数据质量工作者参考。
arXiv 论文测试了八开放权重模型在 558 份真实文档上的 JSON 提取行为，发现 schema 中未被强制执行的最小条目数会让超过真实数量的列表占比从 34.5% 升至 55.4%。约一半填充条目来自文档原文，难以被校验发现；告知“少于也可”、散文式计数、提供 N/A 选项等修复方法效果有限，而用校验错误重问反而加剧填充。代码、答案列表与运行记录已开源。
推荐理由：论文用预注册实验量化了 schema 最小条目数如何导致模型凑数虚报，并实测了几种常见修复方法的有效程度。
arXiv 论文（arXiv:2610.29352）通过五个模型规模、百余种 token 预算配置，建立了长上下文性能与模型规模、短上下文及 LCCP token 预算之间的经验加性幂律，可外推到未训练的模型规模。论文提出 Constant-Last4 观测协议，稳定预测了 1.22B 参数模型在约 100B LCCP token 上的性能轨迹；128K 上下文扩展和监督微调后增益仍保持，在评测范围内未见饱和，支持继续扩展 LCCP 而非提前停止。
推荐理由：论文给出长上下文持续预训练收益随 token 预算扩展的经验缩放律，并用 1.22B 模型轨迹验证了可预测性与增益持续性。
Ai2 发布 FairStress 基准，用 300 个真实两难决策场景、扩展后超 1300 万测试用例，测量大语言模型在不同人口身份下的决策稳定性和解释差异。实验发现存在反刻板印象的过纠，模型在对抗性前缀下更容易放弃有利于多数群体的正确决策，匹配前缀下向少数群体切换的概率高出 8.8 到 42.4 个百分点；对 BBQ 的对比显示评测提问和打分方式会改变测得的偏见方向。
推荐理由：不止测最终选择，还用对抗性前缀测决策稳定性，揭示了用固定选项打分的旧基准可能漏掉的反向过纠现象。
论文提出 WildAWM，一条用开源模型合成计算机使用智能体（CUA）可执行环境与任务的流水线，环境同时支持 GUI、MCP 服务和命令行三种交互接口。流水线产出 341 个长程环境任务对，部分需超过 100 步求解，GPT-6-Astra 仅解出 60%；仅在这些合成环境中训练的两个不同规模 Qwen 模型，在 8 个覆盖 web、claw 和 computer-use 的域外基准上均取得明显提升，代码已公开。
推荐理由：论文给出用开源模型合成计算机操作环境的完整流水线和质量门方法，训练效果覆盖 8 个域外基准，方法可迁移到环境合成类工作。
arXiv 论文 2610.23194 提出 OfficeTown，一个从自然语言组织描述生成职业组织模拟的框架，成员协调分工、委派任务给助手智能体并评审产出，产物与未决事项持续存在影响后续工作。配套 OfficeTown Bench 含 23 个模拟组织、8 个专业领域的 406 个任务和 4,836 条评测标准；对 Qwen3.5-9B 做监督微调和 on-policy 蒸馏后在外部职业工作基准（含 GDPval）上明显提升，principal-assistant 框架得分高于所测单智能体与多智能体基线。
推荐理由：论文把组织模拟当作智能体训练数据源，任务与评审反馈可持续生成，还验证了主从协作框架优于单智能体基线。
NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1，约 2.8 万亿 token 覆盖 22 种印度宪法语言，含 22 种语言本族文字数据和 12 种语言的罗马化数据，共 34 种语言-文字配置。流水线用 NeMo Data Designer 和 Gemma-4-31B-it 做文档级翻译、MQM 风格质量评估（保留 75/100 以上）与定向修复，每条记录可溯源，生成配方开源可复用；另十种语言采用 Bodhan AI 的 Indic Translate。Nemotron 3.5 Super VL 用其中 12 语言子集加 100 亿 token 做 CPT 后，五个 Indic 基准提升 4.98 至 9.82 个百分点。
推荐理由：完整公开了 2.8 万亿 token Indic 语料的生成配方和质量门槛，团队可复用其翻译与修复流水线迁移到自己的语种。
一项 arXiv 研究发布包含83部出版作品的非线性叙事生成基准，每部作品标注正序与叙事顺序的事件列表及因果依赖、角色知识和悬念结构的故事图。测试显示19个模型按时间顺序讲述都比出版作品更线性，被要求特定结构时约一半情况落在人类范围内；自动化裁判与71位人类读者都更偏好模型默认的线性故事，非线性版本在81%的关键判断中被认为更难跟上，读者还更偏好基于故事图生成的故事而非照搬出版顺序。
推荐理由：论文用83部作品语料和71位人类读者对比模型非线性叙事能力，给出了具体差距数据而非泛泛结论。
Qiushi Sun 等人在 arXiv 发布论文，提出 PrismaForge 数据管线并训练开源多模态代码模型 PrismaCoder-9B 与 PrismaCoder-35B。该管线用合成的 rubric 把程序正确性、构建质量与渲染后视觉效果分解为可核查标准，同一 rubric 既筛选监督语料又驱动强化学习；据此构建的 PrismaCoder-2M 是目前最大、最多样的开源多模态代码智能数据集，两个模型在开源中大幅领先并接近闭源系统，代码与数据已开放。
推荐理由：论文把渲染正确性拆成可核查的评分标准，同一套 rubric 既筛数据又当强化学习奖励，方法可迁移到其他多模态任务。
Liang-Hsun Huang 在 arXiv 发布 OpenTWBench，一套评测大语言模型台湾领域知识的开放套件，含 tw-exam-bench 与 tw-formosa-bench 两个基准。前者基于台湾考选部十五年国家考试开放数据，含 148 科目共 255,854 道四选一题，剔除 2,180 道依赖图片的题目后用 253,674 题计分；后者含 1,696 道关于台湾日常与当代生活的精选题，以冻结的七模型池校准至及格边缘（46.9-74.6%，中位约 54%），leave-one-out 实验显示筛选几乎不偏移模型排名。目前公开榜单已有 108 个模型，22 个超过该区间上限，最好成绩 91.6%。
推荐理由：论文用同一批题目量化了评测装置本身对分数的影响，答案抽取方式一项就把准确率从 20.8% 拉到 93.9%。
arXiv 论文提出 Steertuning 系统，让机器人从 5 条人类示教在 5 分钟内学会新任务。该系统先在 100 小时带密集标注的自我中心人类交互数据上预训练 400M 参数扩散策略，再对新任务仅做 2 分钟微调（2000 次更新），并在反向采样时用观测最接近部署环境的示教引导动作。在 12 个新环境的 12 项任务上达到 71% 成功率，数据、权重、代码和机器人视频将公开。
推荐理由：原文给出了从人类视频微调机器人策略的完整方法与量化结果，读者可以据此评估少样本示教方案的可行路径。
论文提出 Tev-Gym 数据集与 PPRS 奖励整形方法，用 1170 个带渐进可验证奖励的任务环境训练出 Tev-27B。该方法把任务进度转成逐步密集奖励，Tev-27B 在 ALE-CM 上 Pass@5 匹敌 GPT-6 Astra 与 Claude Opus 5，并在 Terminal-Bench 3.0/4.0 上超过 GLM 5.2 和 Gemini 3.7 Flash。
推荐理由：论文给出可验证的渐进奖励构造方法，用逐级奖励把长程任务变得可训练，还开源了 1170 个任务环境。
研究者发布 AXIS-Bench 并系统研究演示质量在 VLA 预训练中的用法，基于 5000 条自然次优人类演示和 24 个目标任务，在三个 VLA 内匹配演示与训练预算。结果显示感知方法的片段级条件化在普通行为克隆之外提升平均成功率，条件化偏好 episode 标签而过滤偏好 chunk 标签（因模型而异），恒定标签微调可进一步提升条件化预训练后的平均成功率；真实世界实验中仿真预训练把成功率从 9.6% 提到 31.7%。该基准基于众包仿真演示构建，记录物体与接触状态以便在共享轨迹上重算质量标签，轨迹可回放并支持工作区对齐渲染与自定义真实目标任务。论文：https://arxiv.org/abs/2610.18869v1
推荐理由：论文用 5000 条次优人类演示和 24 个目标任务，系统比较演示质量在 VLA 预训练中的用法，并放出可复算质量标签的 AXIS-Bench。
论文提出 Autonomous Science Bench，包含六项基于已发表生物学、化学和材料科学实验的预算制设计-构建-测试-学习任务，智能体需选择实验批次、获取真实实验室测量结果并交付预测模型。评测设发现与学习两个校准门槛，八种智能体-模型配置共 144 次试验中最好成绩为 67% 通过率，最难任务 24 次仅 3 次成功；部分智能体排名准确但发现的设计少，另一些则相反。版本 0.1 的任务、实验室运行时和公开排行榜已发布。
推荐理由：基准用真实实验室测量而非仿真，双门槛设计能区分发现与学习两类失败，八种配置的实测结果已给出。
arXiv 论文 arXiv:2610.18407 为掩码扩散语言模型引入贯穿深度、可自适应路由的多残差流。双流使验证集重建困惑度较标准残差连接降低 5.71%，外部语料平均降低 5.13%。因果干预显示可见与掩码位置自发形成不同路由模式，角色条件路由训练可恢复双流一半的验证收益，该机制在更大模型规模上同样成立。
推荐理由：论文给出多残差流扩散语言模型的具体改动和 5.71% 困惑度下降数据，并解释了双流分工的机制来源。
研究者以临床试验方案数字化为测试场景，发布含 150 份公开协议 PDF、四个任务类别的专家标注基准 TrialPD-Bench，并评估九个模型在五种 coding-agent harness 下的表现。结果显示最强智能体也无法完全解决该任务，通常能定位所需证据但在转写与结构化的最后一公里失败；配套的领域 harness TrialScribe 加入任务技能与验证循环，使本地部署的开源模型在八项指标上提升 6.2-59.4 分，达到或超过 GPT-5.6-Sol 等专有模型。
推荐理由：原文用专家标注基准把编码智能体在长文档任务上的失败定位到转写与结构化环节，并给出可复用的领域harness改进数据。
AllSpark（小红书）发布 Vela 官方仓库及论文，将匿名化真实用户行为历史转化为预测行为、总结兴趣、归因解释等训练任务。基于约 7.5 万条 Vela-Instruct 样本微调 Qwen3.6-35B-A3B 得到 Vela-35B-A3B，在十个评测基准上均有提升；先 Vela 后 RL 的模型在 VelaBench 达 66.2、ProfileSummary 达 37.6，高于直接 RL 的 58.5 和 29.9。仓库提供 74 个精选任务模板及 Composer/Scorer 中英文提示词，论文见 arXiv 2610.14709。
推荐理由：原文给出了数据规模扩展和 RL 前后的对比数字，可据此评估用行为监督做微调的实际收益。
GitHub 新仓库 NavinYP/synthlore 发布，用于生成内部一致的虚构宇宙语料并配数学验证的 Q&A 基准，参考运行含 415 篇文档、约 511,025 词、571 个原子事实。系统分四层：因果宇宙引擎、约束驱动的事实规划器、多格式编译渲染、闭环验证，并针对三个合成 RAG 常见问题：把 24 条两跳链拆分到不同文档避免桥接节点捷径、定量图表用 matplotlib 程序化绘制并用 gpt-image-2 生成图配 Vision LLM 门控验证、真值只放 Tier-1 正典而错误说法植入 Tier-3 琐记以考察来源可信度推理。
推荐理由：开源的合成语料与 RAG 评测生成器，把多跳、多模态、来源冲突三条评测轨道的约束写进规划层，并用 10 项验证门审计输出。
arXiv 论文（arXiv:2610.15033）基于两组各90天、共158,099条回答与468,037次引用的收集，研究生成式搜索引擎（ChatGPT、Gemini、Perplexity）引用网页的驱动因素。研究发现 ChatGPT 引用的每个页面都来自其自身检索，而其每次回答都会重写子查询、检索结果很少与 Google 或 Bing 一致，检索环节可解释32%的引用差异，远高于页面属性的2.8%；标题和段落语义匹配提问的页面被引用更多，FAQ 块、结构化数据、摘要框和页面速度只在跨网站比较时表现有效；模型自身知识也参与其中，会写入已知品牌、偏好已知网站，甚至在没有页面佐证时直接点名品牌，受控实验显示品牌名会重排事实完全相同的商品排名。结论在小 B2B 厂商市场复现，数据与代码已发布。
推荐理由：论文用两组各90天、逾46万条引用数据拆解生成式搜索引擎引用页面的机制，指出检索命中比页面属性更能解释引用差异。