内容形态
论文与技术报告：对齐机制、人格可控性、评测方法与能力边界的新发现。
403 条精选近 30 天 403 条共收录 2,997 条
Taoyong Cui 等人在 arXiv 发布 RSI-Anything（arXiv:2610.13912），一个基于 JEPA-Anything 的领域通用递归自我改进（RSI）框架，用预测式世界模型指导动作与学习数据选择，并通过组件与兼容性检查决定更新后策略-模型对的保留。代码修复中成功率先从静态验证器的 26.3% 提到预测选择的 29.2%，经世界模型适配后达 31.2%；GUI 任务完成率提高且平均动作减少 39.4%；五个连续策略版本使实验室规划得分从 21.80% 升至 46.01%；40 次实验预算下反应优化平均最优产率 96.15%，优于贝叶斯优化的 82.16%。
推荐理由：论文用预测式世界模型替代昂贵外部反馈来驱动递归自我改进，并给出代码修复、GUI、实验规划等多域的可复核数字。
Distiller Labs 在 GitHub 发布 DeepSteer，一套用于测量语言模型道德内容表征及其行为是否一致的 PyTorch 工具，Apache 2.0 协议，支持 pip install deepsteer。研究发现道德知识的低秩子空间在预训练中形成，后训练只做旋转；OLMo-3 的拒绝门是后训练构造，约四分之三因果输入在道德子空间之外；OLMo-3-7B-Instruct 在压力下约五分之一场景会执行其自判错误的行为。包内含 1200 对道德/中性探测数据集、消融与转向扫描、表征与行为基准，及六篇配套论文（如 arXiv:2610.08670）的复现脚本，FL 和 MN 的数据存于 Zenodo。
推荐理由：作者开源了一套测量语言模型道德表征与行为差距的 PyTorch 工具，附数据集、基准和配套论文，可直接复用于对齐研究。
WhoFlips 论文（arXiv:2606.16011）开源配套仓库与数据集，用两阶段协议测量 LLM 答案稳定性：先让模型为错误选项写论证，再用该论证挑战其原本正确的答案。实验覆盖 GPT-5.1、Gemma-4-26B、Llama-3.1-8B、Llama-3.3-70B 和 Qwen3.5 系列，变量包括论证长度 k ∈ {1,3,5,10}、归属（盲/自）与来源（同模型/跨模型），解码温度为 0 并禁用推理。数据集 nafisehNik/WhoFlips 约 1.18 GB、约 20.3 万行，含 self_mmlu、cross_mmlu 和 maxflip_mmlu 三个子集，CC BY 4.0 许可，每行保留两阶段完整信息可直接重算 AFR 等指标。
推荐理由：论文配套仓库同时放出了完整代码、复现脚本和约 203k 行的公开数据集，读者可直接复核答案翻转指标而不必重跑实验。
Chutes.ai / Parallax 开源 Epigenesis，提出 Free-Slot Adaptation（FSA）：冻结基础权重，把新知识写入 pair8 三值 MoE 格式保证存在的结构化零槽位，撤销时将槽位清零即可逐位恢复原模型。在 lambda 8B 三值 MoE 上教授 40 条人物事实，三值 Bop writer 在留出改写上达到 100% 召回，补丁仅 0.8–2.7 MB（约为同层 bf16 LoRA 的 1/15–1/50），推理零额外开销，但通用文本损伤 +0.024–0.027 nats，高于带惩罚的 LoRA，是该方法的当前短板。代码 Apache-2.0 开源，论文由 AI 辅助撰写并经作者验证，尚待多会话累积（EP-1）验证。
推荐理由：原文给出在真实 8B 模型上的召回率、文本损伤和补丁体积实测，并与 LoRA 基线逐项对比，方法和局限都写得很具体。
htang7415 在 GitHub 发布 MaxionBench，一个针对 LLM serving、RAG 和 Agent 的可复现决策评测框架，对比 llm-d 路由的自托管 vLLM、受管 Gemini API 及其混合方案。v0.4 基于 GitHub Copilot 生产流量（301k 会话、中位提示 57k token）实测五种上下文策略：仅 summarize 在校正后判分下准确率显著更高（+20 点），裁写历史会丢失 Gemini 隐式前缀缓存，而缓存感知变体保留约一半缓存、成本比 full 低 17-29%；v0.5 将策略移入 Go 网关后，Gemini 计费 token 减半且准确率未降。
推荐理由：作者用带置信区间的重复实验量化了不同上下文策略在准确率、API 成本和服务端 KV 压力上的取舍，方法可复用。
论文提出 LAPT-Scale，一种可扩展的潜在动作预训练范式，用人类第一视角视频为 VLA 策略提供动作监督。方法包含学习连续潜在动作的 LAPT-Scale-LAM 和经人类视频预训练、本体对齐与任务后训练的 LAPT-Scale-Policy 两部分，训练数据达 23.3K 小时；随标注人类视频从 1K 扩到 5K 小时，真机成功率从 63.3% 提升到 85.0%，并能泛化到未见视觉条件。论文已被 CoRL 2026 接收。
推荐理由：论文给出用人类视频潜在动作预训练提升真机成功率的完整方法与数据规模细节，适合关注机器人数据瓶颈的读者参考。
arXiv 论文 UPTURN（arXiv:2610.13672）提出无需微调的推理自纠错框架：用 130K 参数 MLP 头在冻结编码器上学习失败 rollout 的干预位置，再以新用户回合注入指令并重新生成后缀。研究发现固定生成预算下行内注入无法可靠重定向推理，而新回合注入可以；在四个推理模型和六个数学基准上，UPTURN 在所有设置下平均准确率均超过 32-rollout 基线，在匹配纠错预算下优于自纠错和反思 token 注入基线，并可跨模型迁移至 GPQA-Diamond，与 GRPO 和自纠错方法互补。
推荐理由：这篇论文提出了免微调的自纠错框架，用新用户回合而非行内注入来重定向推理，并给出了跨四个推理模型与六个数学基准的验证结果。
论文提出 HOA（Humanize Olympiads Agent），一个开源的流程级框架，通过独立审稿、结构化 wiki 和 Lean 证明验证三条反馈通道协调多个智能体会话求解奥赛题。使用 GPT-5.6 Sol 时，HOA 在 IMO、IPhO、IOI 2026 满分，IChO 2026 接近满分，PutnamBench 672 题全部解出，并以 251/304（82.6%）位居 Lean-Eval 榜首；改用开源模型 Kimi-K3 也在 IMO、IPhO、IOI 满分，IChO 达 97.1% 金牌水平，部分超过闭源 GPT-5.6 Sol + /Goal 基线。论文地址 https://arxiv.org/abs/2610.13632v1。
推荐理由：论文提出多会话协作框架替代单会话求解，并给出用开源模型逼近闭源模型奥赛成绩的对比数据，方法可迁移到其他长程推理任务。
Joseph Egan 等人发布 arXiv 论文，提出无需预先知道特征即可从蒸馏学生模型的参数更新中无监督恢复隐性传递特征的方法，利用该特征在教师生成的多样数据上一致表达、而任务能力随数据变化的单一不对称性。该方法返回一个权重空间方向，可放大以解释特征或投影去除以抑制其表达；在 Cloud et al. (2026) 的 subliminal-learning 基准上，无需特征标签即恢复了传递的动物偏好特征，且抑制表达几乎不影响任务性能。论文地址 https://arxiv.org/abs/2610.13536v1。
推荐理由：提出无需预先知道对齐问题即可从参数更新中无监督发现并抑制蒸馏隐性传递特征的方法，为蒸馏继承对齐风险提供了可操作的缓解思路。
论文提出 Humanize MLE Agents（HMA），通过两个智能体在共享工作区上交替执行、每会话最多 k 次实验并重置上下文，避免单会话长程减速和自定义 harness 随模型升级失效的问题。在 MLE-bench 的 75 个 Kaggle 任务上，HMA 达到 78.2% 的 any-medal 率，超过最强开源基线 8.0 个百分点且只用其四分之一时间预算；跨五种异构智能体对的六种配置平均提升 6.4 个百分点，另有核优化案例达到 878 个周期、距社区榜首 1.6%。
推荐理由：论文给出双智能体会话轮换的 CR-SMDP 理论条件与 75 个 Kaggle 任务实测数据，读者可据此评估工作流级方法相对单智能体的优势边界。
Pablo Manrique 等在 arXiv 发布 SqueezeBench，一个抗饱和的数学能力基准，每题固定一个仅在小区间取值已知的整数函数 f(n)，提交者用机器证明的 Lean 函数给出更优上下界记录，成功会抬高门槛而非移除题目。基准附带极值组合学十个问题和二十个初始记录，前沿模型代理每记录限 1 小时通过 82 次提交改进全部记录；两个更新模型接续又通过 60 次提交改进了 20 个记录中的 19 个。10 个问题中有 8 个仍至少有一个记录渐近落后于已发表最优界。
推荐理由：提出以记录递进式构造衡量数学能力，缓解基准饱和问题，并给出多代模型代理的实测数据。
论文提出 Oído 推理引擎，在 ESP32-S3（240 MHz 双核、512 KB SRAM、无神经加速器）上运行 13M 参数 Conformer-CTC int8 模型，实现开放词表英语语音识别。LibriSpeech test-clean/test-other 片上 WER 为 3.70%/8.23%，加 1.3M 参数语言模型后降至 3.33%/7.15%，transducer 头达 2.99%/6.67%，比同芯片厂商识别器少 2.3-2.8 倍错误，也优于笔记本全精度 Whisper 与 Moonshine tiny。
推荐理由：论文给出了在无神经加速器的 ESP32-S3 上跑开放词表语音识别的完整方案和实测 WER、耗时数据，方法与测量细节都可复现。
作者在 Salesforce/xlam-function-calling-60k 上微调 SmolLM2，135M 全量微调达 21.80%，1.7B LoRA 达 83.47%、QLoRA 达 72.61%，Instruct 起点比 base 起点高 8.4 个点。作者还用 LLM-as-judge 加盲审人类复核审计评测本身，估计约 15.0% 的 exact match 失败是对任何模型都无法产出的参考答案打分，高于此的原始 20.5% 被修正；1.7B 微调模型与 235B 通用模型在 300 例子集上统计上无显著差异。仓库含完整训练、评测、judge 审计脚本与模型和数据集产物。
推荐理由：作者在给出微调结果的同时，用盲审人类复核修正了基准里不可推导参考答案的比例，评测方法本身值得细读。
论文提出 T²Mem，一种将记忆构建推迟到推理阶段的测试时记忆构建框架，离线只提取轻量级片段元数据作为检索线索，并在推理时随推理进程自适应组织查询相关记忆。在 LoCoMo 和 LongMemEval 上，T²Mem 跨多个骨干 LLM 持续优于强基线，同时大幅降低记忆构建开销。代码已开源。
推荐理由：论文把记忆构建推迟到推理阶段，在 LoCoMo 和 LongMemEval 上的对比数据可帮助读者评估这一思路的收益与开销。
论文提出GraphTok，把从pre-tokenization、BPE合并到token-ID组装的整个编码流程作为可重放的CUDA graph在GPU上运行，token ID与参考实现在GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3、Gemma 3上逐位一致，可接入未修改的vLLM和NVIDIA Dynamo。在Llama 3上比最强CPU tokenizer gigatoken快4.7-6.0x；在带缓存前缀的vLLM中TTFT均值降低2.1-2.4x；2s P99下单前端可承载518 req/s的121k-token流量，为gigatoken的1.75-2.5倍。
推荐理由：论文给出GraphTok在vLLM和Dynamo下的实测吞吐与TTFT数据，可了解把tokenization搬到GPU对Agent负载的实际收益。
独立研究仓库 trajectory-sft-agents 发布在消费级单卡上运行的小模型Agent后训练项目。基于 Qwen2.5-1.5B-Instruct 的 ALFWorld 实验，用600条环境执行验证的专家轨迹做 LoRA SFT，再经在线GRPO，完整任务成功率由 Base 6.25% 提升至 SFT 68.75%、SFT+GRPO 77.08%。另一组 BFCL 实验将 Qwen3-1.7B 的多轮工具任务测试成功率从 2.5% 提升至 32.5%，单张RTX 5090训练约70分钟。仓库公开训练配置、专家轨迹、LoRA权重与逐题rollout，附CPU可运行的证据核验脚本；作者说明这是域内训练与内部留出评测结果，域外小样本评测未观察到明显退化但也不构成通用能力提升的证明。
推荐理由：作者给出完整训练链路、逐题成绩和可复现证据，读者可以在消费级单卡上照此复现小模型Agent后训练。
Han Luo 在 arXiv 发表论文，提出用同一嵌入模型已计算的上下文 token 表示做稀疏匹配来检索记忆，无需额外训练即可在八个基准上提升检索效果。可选的低秩查询适配器在 Qwen3-Embedding-4B 上将平均 Recall@10 和 NDCG@10 分别再提升 13.3 和 14.3 个百分点，检索增益转化为长期记忆基准上更高的问答准确率。
推荐理由：论文给出无需重训即可提升记忆检索的 token 级匹配方法，并附八个基准的量化收益，可作长期记忆方案的参考。
KnowForge 论文提出按职能分工的文档问答流水线，包含知识点索引、只能检索的 Locator、桥接判断器、只能读文本图像表格的 Deep Reader 和格式检查合成器。自托管 Qwen3.6-35B-A3B 在 M3DocVQA 上达 F1 47.5，比 M3DocRAG 高 11.0，DeepSeek-V4-Flash 达 53.5；MultiHop-RAG 准确率 73.5，超过已发表最强 RAG 与 GraphRAG 的 71.2。消融显示把两个智能体合并反而损失 1.9 F1，论文开源了提示词、代码和三个基准的只读知识库。
推荐理由：论文用消融实验拆解各智能体角色的贡献，还验证了合并多角色反而掉分，方法可迁移到其他 RAG 流水线设计。
IIT Madras CeRAI 团队（EMNLP 2026 论文配套 GitHub 仓库）检验 LLM-as-a-Judge 是否真的依据评分标准推理：仅用 rubric 文本训练的探针分类器就能预测 Qwen2.5-7B-Instruct 评审的结论，HealthBench 上平衡准确率达 0.80–0.88。反事实实验中，反转回答仅 37.7% 的样本对上评审如期翻转，反转评分标准时仅 16.8%（Gemma）/ 32.2%（LLaMA），并开源了完整探针、扰动与分析脚本。
推荐理由：IIT Madras 团队用只看评分标准的探针分类器复现判断结果，并给出反事实扰动数据，方法可复用。
justinatusa 在 GitHub 发布开源小书 llm-eval-scoring-taxonomy，讲解模型输出如何经过判对错、合并多次采样、合并多个判官、合成总分变成榜单分数。全书按分数来路把评测分成四类：单独给一个模型打分、对照参考产出与相对比较、真实使用数据、跨 bench 合成指数，并用 data/benchmarks.csv 收录 227 个 bench 的完整标注数据，正文数值例子可用仓库脚本复现，最后解读 Artificial Analysis、LMArena、METR 等主流榜单的头条数字来源。
推荐理由：作者把 227 个 bench 按出分方式分成四类并给出可复现脚本，读者可以借此理解同一评测数字为何差出好几倍。