新闻、仓库与研究，按时间排列。
一篇 arXiv 论文证明，采用 O(log log N)-bit 精度和 O(log N/log log N) 宽度的两层 Transformer，借助 RoPE 风格的 VO-rotation 结合中国剩余定理，可在任意重复字符串下正确复制并在边界 N 处终止。论文还给出宽度无关的不可能性结果：NoPE 和 ALiBi 的递归实现等加性注意力偏置架构在相同 token 连续复制超过饱和阈值后 logits 不再变化，与前沿 LLM 的终止错误相似。合成实验中，训练后的 VO 模型在长度约 5005（所选素数周期之积）内保持近乎完美的外推精度。
研究者推出 EpiLens，一个轻量级开源 RAG 包，用固定检索模板和输出模式处理文献语料并将输出链接到原文段落。该工具基于 2,297 篇论文构建语料，在 214 篇人工标注论文上评测，无需任务特定训练数据即在四项任务上匹配或超过监督式和零样本基线。结果显示，与再生数相关的论文中被标为模型研究的比例为 54%，高于 fatality risk 的 22%；模型类论文占比还因病原体而异，SARS-CoV-2 为 55%，mpox 仅 6%。
研究者将递归预训练引入掩码蛋白质语言模型，提出 recAMPLIFY，一个 155M 独特参数、基于权重共享 Transformer 核心的模型，使用与 AMPLIFY-350M 相同的 2T token 训练。参数减少 56%，却在 CASP 接触位恢复和四分之三监督任务上更优，fold 准确率提升 22.5%。进一步提出的 Gated Mixture Recurrence（GMR）可将期望层深度最多降低 37%，但精度权衡因任务而异。
TokenGate 是一个即插即用的小组件，通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝，用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失，较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍，可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型，代码已开源。
推荐理由：论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比，适合关注长上下文 prefill 效率的读者参考。
论文提出 HarnessPro，一种无标注方法，通过 LLM 生成的测试评估候选框架，并用 Pareto 优化同时提升任务性能、降低执行成本。在 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench 上，用 GPT-5.5 加 Codex 时 heavy 模式相对 RHO 平均 pass-rate 提升 2.0 个百分点、单任务成本降低 26.1%，用 GLM-5.2 加 Claude Code 结果一致，并输出 lite、medium、heavy 三档框架供不同部署预算选用。
推荐理由：论文用无标注测试加 Pareto 选择同时优化 Agent 框架的性能与成本，给出与 RHO 的对照数据，方法可迁移到类似的框架自改进场景。
Monsoon 是一个大规模收集自发语音数据的框架，用于解决低资源语言 ASR 缺少准确转写数据的问题，已收集 50 种语言的语音，并分析了七个共 3,500 小时的语料库。同等数据量下，其质量流程使语义 WER 相对降低 10-39%；Whisper 在 Monsoon 数据上微调后，在对话基准上语义 WER 降低 20-44 点。框架、质控模型和微调模型均已开源。
研究者提出一个博弈论框架，让 LLM 通过上下文经验（无需微调）学习反制电话诈骗的策略。框架将骗子与"baiter"的交互建模为双人博弈，以 Nash equilibrium 作为评估基准。在 300 段模拟对话和三种 LLM 架构上，自适应策略选择比非自适应基线更接近 Nash equilibrium 28.9-79.7%，相关代码及带策略标注的数据集已开源。
RESIN（Reasoning with Entity Structured Indexing）提出一种多链推理方法，将问题分解为单跳需求，检索源文本证据并放入紧凑推理缓冲区，保留多个候选依据直至最终组合。在 HolisQA 基准全量测试中，RESIN 取得 82.92 context recall 和 76.70 answer relevancy，五个领域的 CR 与 AR 均高于已发表基线。消融实验表明类型化证据多样性和逐跳分解都不可或缺。
论文在 Gaussian 替代模型下精确计算候选评分决策模型（如 Jev 与开源的 JevAny）的有限样本风险，分析教师软目标、冻结预训练骨干和温度校准三种训练要素。学生模型会继承教师偏差，更多数据无法消除；固定表示只在明确样本量阈值以下降低风险；温度校准仅在教师系数方向正确时消除全部超额风险。在 CFPB 的 231,521 条信用卡投诉数据上，用结果训练的学生比教师决策成本低 8%，30B 模型 zero-shot 经重校准后仍逊于教师，且偏离 Luce 公理性条件 17.5 decibans。
研究提出安全中期训练（safety mid-training），在预训练与后训练之间利用与通用任务共享的推理结构联合培养安全与通用推理能力。在 Qwen3-1.7B、4B 和 8B base 模型上，平均攻击成功率（ASR）相对降低 72% 至 81%，同时通用能力有所提升。经过纯通用 SFT 或无安全奖励的 GRPO 后，安全收益仍保留，且后续 RL 能达到更优的安全-效用前沿。
研究者提出 ASTOR，一种推理时框架，先将自然语言决策问题映射为文法引导的抽象语法树（AST），再确定性地编译为可执行的优化代码，用于处理含硬约束与软约束的优化建模。同时发布聚焦软约束的自然语言基准 SoftOR，ASTOR 在该基准上取得同类单请求与多智能体 LLM 方法中最优的综合准确率，且在仅含硬约束的标准自动形式化基准上保持竞争力。代码与数据已开源。
研究者推出 AfriBED，一个用于检测 ASR 系统性别与说话人类型偏见的评测数据集，覆盖 Bemba 和 Nyanja 两种低资源非洲语言。其中 Bemba 部分含 3928 条语音、约 9 小时、80 名说话人；Nyanja 部分含 6260 条语音、约 18 小时、127 名说话人。基线实验表明该数据集可有效检验目标语言中的属性偏见。
研究者提出 SpecMRL，通过按特征重要性组织的参数谱基扩展 Matryoshka 表示学习（MRL），使前缀读取在学习的谱空间中进行。在 MTEB 上，SpecMRL 在所有评估的降维尺寸上都优于 MRL，压缩越激进收益越大。仅用一半嵌入维度即可超过全维度的 MRL。
研究团队发布 MemT-1.0 记忆基础模型架构，基于 Metis 和 Gated DeltaNet-2，通过 Mixture-of-Storage 扩展原生记忆容量，采用继续预训练加后训练的两阶段训练流程，训练数据 34B tokens，提供 Nano 和 Flash 两个版本。评测显示其平均优于参数化记忆基线、与检索增强方法相当，在 128K tokens 历史长度下 MemT-1.0-Nano 相比全上下文 KV cache 实现约 1.86 倍端到端推理加速和 66 倍持久存储缩减，论文链接 https://arxiv.org/abs/2610.26825v1。
推荐理由：原文给出记忆基础模型的架构设计、训练数据和评测对比，读者可以据此了解把记忆内化为模型计算的具体做法与代价。
arXiv 论文提出 RefCraft 基准，包含 300 个多模态网页开发任务，将自然语言指令与 1-5 个参考网页截图结合，评测智能体解读视觉参考并迭代优化生成结果的能力。在 9 个前沿（M）LLM 上，最强系统总分仅 52.12/100，表明视觉参考条件下的智能体生成对当前模型仍是重大挑战。评测采用可独立验证的 keypoints 以及程序化与 VLM 裁判。
KEEP-Bench 是一个诊断性基准，通过 4,102 个案例直接评估上下文压缩的证据保留忠实度。实验显示，即使输入平均仅 3.1K token，最强开源模型（31B）保留全部所需证据的比例也只有 66.8%，最强闭源模型为 61.6%。论文还提出 EPR 指标，发现证据召回在 4B-8B 中等规模达到峰值，主张未来研究应在小计算预算下提升信息保留能力。
论文提出 WildAWM，一条用开源模型合成计算机使用智能体（CUA）可执行环境与任务的流水线，环境同时支持 GUI、MCP 服务和命令行三种交互接口。流水线产出 341 个长程环境任务对，部分需超过 100 步求解，GPT-6-Astra 仅解出 60%；仅在这些合成环境中训练的两个不同规模 Qwen 模型，在 8 个覆盖 web、claw 和 computer-use 的域外基准上均取得明显提升，代码已公开。
推荐理由：论文给出用开源模型合成计算机操作环境的完整流水线和质量门方法，训练效果覆盖 8 个域外基准，方法可迁移到环境合成类工作。
arXiv 论文 2610.26830 揭示混合架构语言模型中的竞争学习现象：不同 mixer 层竞争学习同一函数，胜者会抑制其他层的学习信号。层级归因显示现代循环层比 softmax attention 更快学会检索函数，导致 attention 多数情况下学不到检索；在训练中途停止循环层的权重更新可帮助 attention 学会检索。据此提出的分阶段预训练方法在最高 1B 参数模型上显著改善语言建模损失、常识推理和多种上下文长度下的检索任务。
推荐理由：论文指出现代循环层与 softmax attention 在训练中竞争学习检索函数并互相抑制，提出的分阶段训练方法在 1B 参数规模上验证有效。
研究者提出 LatComm，一种大语言模型间潜在通信接口：冻结的编码器 LLM 将上下文压缩为固定大小数据包，接收方 LLM 通过 cross-attention 按问题读取。在 12 个多选题问答数据集上，其平均准确率比单向量基线最高提升 10.2 分；在 QuALITY 上将接收方输入减少 57x，回答同一文章的多个问题速度快 3x。
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
针对 LLM 智能体生成的 CAD 装配体往往徒具外观、无法实现物理功能的问题，研究者提出 FunCAD-Harness，将抽象需求转化为针对候选设计的物理测试，并利用仿真反馈迭代修正设计。团队同时发布覆盖 46 个机构族的 FunCADBench 基准。实验显示，该框架能发现视觉检查难以察觉的机械失效，功能成功率显著超过标准仿真增强基线。
论文提出 OpenVLHarness，一个围绕能力层与持久多模态记忆组织的多模态推理框架，统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测，平均比无工具基线提升 9.7-12.6 分，如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9；用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。
推荐理由：论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本，方法和数字都可对照复核。
该仓库收录论文《DesJoin: Table-Oriented Semantic Join Discovery with LLM-Based Descriptions》所用文件，包括 Original 与 Revised 两套 benchmark、标注指南及脚本。DesJoin 是一种利用 LLM 生成的描述进行面向表格语义连接发现的方法。
GitHub 仓库 BeigeSenator/optimizing-llms-contextual-reasoning 已创建，将发布论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的实现与实验代码，论文正投稿 COAI 2025 审稿中。论文提出优化策略以增强 LLM 跨多任务的上下文推理，实验结果显示在动态环境中的适应性更优。仓库标注"To be released"，完整实现、实验代码、benchmark 结果、预训练模型 checkpoint 与文档即将陆续放出。
ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现代码在 GitHub 开源，采用 Apache 2.0 许可证。该方法支持实时参数调整、动态记忆管理与防灾难性遗忘机制，无需全量重训练。在四类动态环境测试中，新领域场景性能从 68.1% 提升至 86.2%（+18.1%），时序变化场景提升 +19.1%。
GitHub 仓库 ShieldShrimpRegister/optimizing-llms-contextual-reasoning 将发布论文 "Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments" 的实现与实验代码，该论文正投稿 COAI 2025 审稿中。论文提出优化策略以增强 LLM 在多任务间的上下文推理，实验显示其在动态环境中适应性更佳。仓库内容（实现代码、benchmark 结果、预训练模型 checkpoint 及文档教程）标注即将发布。
GitHub 仓库 llm-adaptive-learning 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现，让 LLM 在动态环境中实时调整行为且不发生灾难性遗忘。方法包含自适应参数更新、动态记忆管理、环境检测与稳定性机制，在主题漂移场景下性能从 72.3% 提升至 89.7%，时间变化场景从 69.8% 提升至 88.9%。项目采用 Apache 2.0 许可证开源。
斯坦福团队总结三年构建医疗 AI 基准的成果：PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，其中临床决策支持和管理流程得分最低，失败主要源于跨文档与系统传递信息时丢失上下文。两项基准均以合成数据、公开代码和排行榜开放。
Alekseev3387 在 GitHub 开源 self-improving-agents 框架，把自我改进代码 Agent 分为四个层级，从最简单的 AutoResearch Loop 到带自我改写与对抗共演化的 Arena Loop。实验显示固定基准会制造虚假信心，Level 1-3 在 email validation 原始测试上得 90-100%，换到对抗测试集跌至 62-66%；Feedback Loop 是性价比最好的方案，赢下 snake（31.1 vs 29.2）且每任务成本仅 $0.03，约为 Arena 的 $0.63 的 1/20。框架任务无关，支持自定义任务、checkpoint 恢复和全部实验一键复跑。
同一新闻，精选展示《alambert996 开源自我改进代码 Agent 框架 self-improving-agents》
Reddit 用户 dimknaf 发布了一种让大语言模型思考过程自适应的开源方法：逐词测量熵，在模型不确定时通过 Jev 式门控决定是否触发思考块，并用并行对话树按同样逻辑选出最佳路径。项目已在 GitHub 开源，作者称适合能跑多路并行的本地模型场景。
一位 Reddit 用户因不满 r/LocalLLaMA 等社区的 AI slop 帖子，发布了多年跨不同 subreddit 的 AI slop 深度分析，并附上对 AI slop 未来的预测。作者称分析近几个月情况已有好转，并强调内容纯属娱乐、并不严肃。
开源仓库 yuri4061/LLM-RGB 收录 15 个测试用例，从上下文长度（最长超 10K token）、推理深度和指令遵从三个维度评估 LLM 在复杂场景下的表现，单项难度之和乘以断言得分计分，15 例满分 100。评测基于 promptfoo 运行，2025 年 3 月 26 日结果为 5 次取平均，欢迎社区贡献新测试用例。
新开源项目 Arandu 可将访谈录音转录后，用 LLM 生成按 Bloom 分类四层分级的问答 benchmark，并构建知识图谱，评测各检索策略的回答与弃答表现。其评测无需 ground-truth 图谱，通过基准问题、实体扰动的不可答探针及 TC/FC/FA/TA 四格指标进行功能化评估，包含 null、oracle、bm25 等六种检索臂。案例研究对象是 2024 年 5 月巴西南部洪灾后沿河社区访谈语料。
ricca200xx 在 GitHub 开源了一个针对视觉语言模型小票结构化抽取的严格评测框架，基于 CORD-v2 数据集，通过 LiteLLM 切换模型后端，所有指标附 95% 置信区间并与 always-null 基线对比。在 50 张小票、8 个字段的提交结果中，54% 的字段单元无值，全答 null 即得 54.0% 宏平均准确率；本地 qwen2.5vl:3b 用朴素提示词仅 49.5%、幻觉率 88%，更严格的 v2 提示词将其提升到 86.0%（配对 +36.5 点）并把幻觉率降到 23.1%；对已达 97% 的 gemma4:31b-cloud 仅 +0.5 点且不显著。框架含不奖励猜测的评分器、不编造值的 JSON 修复层和配对 McNemar 加 Holm 校正的统计方法。
推荐理由：原文给出带置信区间和 always-null 基线的完整评测设计，读者可以照着复现小票抽取模型的幻觉测量。
这是一份大语言模型课程项目书，要求学生用 XED 多语言情绪数据集评估 LLM 的跨语言多标签情绪分类，对比 prompt engineering 与 PEFT 两种适配方法。数据集基于电影字幕，标注 Plutchik 八类情绪，各语言标注行数从马其顿语 300 行到巴西葡萄牙语 12,295 行不等，相差超过 40 倍。项目要求固定 70/20/10 划分、统一实验矩阵，并在英语与指定语言上评测零样本与五样本提示等条件。
enhansome 发布《A Survey of On-Policy Distillation for Large Language Models》阅读指南及 OPDHub 文献库，共收录 362 条条目，其中 134 条附代码，2026-10-13 更新。内容按目标与更新规则、监督来源、能力迁移、多智能体学习等主题组织，涵盖 MiniLLM、DistiLLM、DistiLLM-2、GKD、OPSD、SDPO 等方法，并提供多条阅读路径。
开发者 Shubhadeep Mandal 在 GitHub 开源 IndicLLM 项目，为印地语和阿萨姆语分别构建完全独立的数据、tokenizer 与训练管线，两套语料分别约 723.32M 和 528.50M token，采用 16,384 词表的 SentencePiece BPE，未知 token 率 0%。预训练约 25M 参数的 V1/V2 两版 Transformer（各 500M token），V2 在两种语言上验证困惑度低 5–7%；Phase 3 的符号推理 SFT 共 44 次运行，Direct SFT 准确率整体高于 CoT SFT。
CrepuscularIRIS 发布 HarnessRSI-Daily 仓库，专门追踪改进提示词、技能、工具、记忆等非权重组件的递归自我改进研究。已对 585 篇论文打分（17 篇达 ★★★ ≥70），评分含证据、执行、证据等级和代码四项且每条判断附原文引用；从 1198 篇语料归纳出 13 主模式 / 36 子模式，独立重判一致率 86%（κ=0.84），并发现 ICLR 2025–2026 中 critique-and-rewrite 模式录用率 17% 低于 35% 基准。仓库含论文榜、诊断卡、模式卡与每日 arXiv 流水线，MIT 许可。
推荐理由：仓库不只收论文，还给每篇打了带引用依据的评分，并从 1198 篇语料中归纳出 13 个研究模式与 ICLR 录用对比。
John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》提出优化策略以增强 LLM 在多任务间的上下文推理，实验显示在动态环境中适应性更优。论文正在 COAI 2025 审稿中，仓库即将发布实现代码、benchmark 结果与预训练模型 checkpoint。
该 GitHub 仓库实现了 ICML 2025 论文《Adaptive Learning Strategies for Large Language Models in Dynamic Environments》，提出让 LLM 在动态环境中实时调整参数与行为的自适应学习方法，支持持续学习且避免灾难性遗忘。在主题切换、新领域、混合上下文和时间变化四类环境中，性能较基线分别提升 17.4%、18.1%、16.8% 和 19.1%，项目采用 Apache 2.0 许可证开源。