AlphaRLM:用强化学习对齐 LLM 以从金融文献中发现符号化因子
AlphaRLM 是一个强化学习框架,训练 LLM 直接从金融文献构建可执行的符号化因子,无需输入因子表达式。其引入 Literature-Guided Operator Assembly(LEGO)提供语义先验,并通过可执行有效性奖励和分组收益分离奖励与市场反馈对齐。在 CSI 300、CSI 1000 和 S&P 500 上的实验显示,其年化超额收益超越强因子挖掘与 LLM 基线,8B 模型也取得强跨市场表现。
新闻、仓库与研究,按时间排列。
AlphaRLM 是一个强化学习框架,训练 LLM 直接从金融文献构建可执行的符号化因子,无需输入因子表达式。其引入 Literature-Guided Operator Assembly(LEGO)提供语义先验,并通过可执行有效性奖励和分组收益分离奖励与市场反馈对齐。在 CSI 300、CSI 1000 和 S&P 500 上的实验显示,其年化超额收益超越强因子挖掘与 LLM 基线,8B 模型也取得强跨市场表现。
论文提出 MCPDisCo,一个面向 MCP 原生智能体的生态级强化学习框架,在 70 个 MCP 服务器和 527 个工具、六个领域的真实服务器长程交互上训练。框架用 Thought-MDP 显式表示内部推理与路由、执行、终止,通过 token 掩码奖励归因和双向梯度手术缓解推理与工具学习之间的跷跷板干扰,以更少思维链 token 取得更高成功率,并在分布外 MCP-Atlas 与 GAIA 基准上保持单调增益。模型权重和实现已放出。
推荐理由:论文给出推理与工具学习互相干扰的失败模式及其梯度手术解法,在 70 个真实 MCP 服务器上训练并验证分布外泛化。
研究者提出 CauCRL,解决离线示范中示教者隐藏信息导致的对比强化学习(CRL)失效问题。方法用混杂马尔可夫决策过程形式化该场景,引入反事实转移并最小化所有兼容转移得到最坏情形占用度量,据此训练 critic。该方法在混杂目标达成任务上大幅提升成功率。
一项 arXiv 研究通过 system prompting、few-shot、SFT 与 GRPO 等诱导方法测量语言模型倾向的分布外泛化(spillover),发现同一方法的 spillover 在模型间高度相关,而 SFT 与 GRPO 产生不同 profile;良性特质诱导可能外溢出权力-seeking 等非预期特质。分析识别出三个解释约一半方差的特质聚类,并观察到与目标特质无关的 drift,drift 使 Qwen3.5-9B 偏向其基座模型。测试显示 Claude Opus 5.5 对 spillover 的预测略优于模型本身,但不如基于替代诱导方法或模型的数据驱动方法,没有单一占优预测器。
该 arXiv 论文针对模型预测任务采样(MPTS)中风险预测模型的两大缺陷——优化历史稀疏与风险近似的一步滞后,将其重构为上下文序列建模问题。改进后的 RPM 结合一步前瞻机制与时间加权滑动窗口,无需额外 rollout 即可缓解数据非平稳与稀缺问题,在鲁棒 Meta-RL、域随机化及 LLM 提示词课程 RL 后训练中带来更可靠的难度估计和一致的性能提升。
论文提出 TQG-Exp,一个以轨迹质量为导向的经验学习框架,通过引入 Trajectory Quality Loss(TQL)将任务完成度与过程质量共同作为学习信号,并利用成对 rollout 估计检索经验的贡献以优化经验效用与检索。在 ALFWorld、WebShop 和 ScienceWorld 三个基准上,TQG-Exp 的 Avg.@3 较最强基线在 DeepSeek-V4-Flash 与 Qwen3.5-Flash 上分别提升 4.50 和 8.55 个百分点。
TachikomaGundam 在 GitHub 发布 Abathur(https://github.com/TachikomaGundam/Abathur,MIT 许可),一个面向 OpenCode 智能体的进化工装,通过观察失败、变异、重测、筛选来迭代候选,但晋升决定必须由人执行 promote,工具内不可触达。v1 支持零模型的 toy 基准和真实 opencode 会话的 fixture 基准,离线血缘包(bundle)可在实例间通过字节级闸门嫁接传承证据,工装本身不做网络传输;需 Node >= 22,安装方式为 npm i -g @tachikomagundam/abathur。
GitHub 仓库 self-improving-loop 是一个面向 AI 智能体的回滚优先可靠性层概念件,自 2026-05 起停更,2026-08 正式标记迁移。主线已转移至 taiji——一个带 false-pass gate 与 CI 门禁的证据门运行时,原仓库概念仍可对照阅读。
AICP-BIO-1 · Java 是 AICP 协议的 JVM 实现,支持 LLM 将 .java 文件写入 src/plugins/ 后由 FileWatcher 借助 WatchService 加 2 秒周期扫描实现在进程内动态编译与热加载,无需重启,编译失败最多重试 5 次。插件通过 @DEPS 声明依赖即可自动从 Maven 镜像下载 jar,函数签名 (Envelop, Agent) → Envelop 即路由契约。系统要求 JDK 21+ 和 Maven 3.10+,HTTP 网关、WebSocket 和文件上传分别运行在 9000、9001、9002 端口。
一个被 ICML 2025 接收的论文实现仓库,提出让 LLM 在动态环境中实时自适应调整的学习框架,支持持续学习且避免灾难性遗忘,无需完整重训练即可轻量更新。在四类动态环境测试中均优于基线:主题切换 89.7% 对 72.3%,新领域 86.2%,混合上下文 91.3%,时间变化 88.9%。项目采用 Apache 2.0 许可证开源。
GitHub 仓库 llm-adaptive-learning 开源了 ICML 2025 论文《Adaptive Learning Strategies for Large Language Models in Dynamic Environments》的实现,使 LLM 在动态环境中实时调整行为。方法包含自适应参数更新、动态记忆管理、环境检测与防灾难性遗忘机制,无需全量重训练。在四类动态环境中性能较基线提升 16.8%-19.1%,项目采用 Apache 2.0 许可证。
Nous Research 推出 hermes-agent-evolution,一个具备自我改进能力的 Hermes 智能体,可自主研究改进、每日自动更新,并从经验中创建和使用中改进技能。它内置 cron 调度器、FTS5 会话搜索与 Honcho 用户建模,兼容 agentskills.io 开放标准,支持 Nous Portal、OpenRouter、OpenAI 等任意模型且可随时用 hermes model 切换。提供一条 curl 命令安装升级,可运行在 $5 VPS、GPU 集群或 Daytona/Modal 无服务器环境。
作者发布 AgentDescent 框架与配套论文,用并行 worker 提出 diff、无屏障聚合器合并冲突的方式做智能体技能、提示词与 harness 的自进化。实测在 GLM-5.2 的 BBH dyck_languages 设置中 keyed union 合并 0/48、reflective merge 42/48,串行控制下中位加速 6.8×,模型调用减少 40%;HotpotQA 40 条数据上 held-out exact match 从 0.167 升到 0.583。内置 20 个已发表算法端口(GEPA、ACE 等)与 Claude Code 等 Agent 插件接口,仓库为研究参考实现,文档见 birfy.github.io/agentdescent。
推荐理由:原文给出各指标的实测设置与置信区间,并声明只在不达显著时如实报告,读者可自行核对每个结论的适用条件。
GitHub 仓库 eagernova66/llm-adaptive-learning 开源了 ICML 2025 论文《Adaptive Learning Strategies for Large Language Models in Dynamic Environments》的实现,让 LLM 在动态环境中实时调整行为且不发生灾难性遗忘。方法在多类动态环境上验证:相比 baseline,话题切换场景准确率从 72.3% 提升到 89.7%(+17.4%),时序变化场景从 69.8% 提升到 88.9%(+19.1%)。项目采用 Apache 2.0 许可证,包含自适应训练、动态环境评测与模拟脚本。
一个 GitHub 仓库每日自动发布被观察的多智能体沙盒环境脱敏后的现场笔记。定时任务 observer-notes-publisher 读取每日笔记,生成摘要与标签,并经 fail-closed 清洗,过滤密钥、基础设施标识和个人数据后才发布,站点通过 GitHub Pages 浏览,索引按最新排序列出每天内容。
GitHub 上的 THIRD-EYE 研究原型完成 Sprint 1,支持默认 LoRA 与可配置 NF4/bf16 QLoRA。任务 26946 于 2026-10-09 在单张 A100 MIG 2g.10gb 上 315 秒完成 K=3 候选更新、H=2 标签及保存/回滚/晋升检查,PyTorch 峰值显存 3.950179 GiB。作者强调这只是小数据管道冒烟测试,新 forecaster 的 MSE(1.643511677684728e-05)与常数输出基线相当,未做 held-out 评估,checkpoint 与 adapter 均仅存服务器端。
TrueFurina 开源 AGI-Distiller 仓库,一个从文章、博客、论文中提取痛点、解法和可执行规则并沉淀为 Agent 技能的知识蒸馏系统,含 22 个生产技能和 14 节行为规范 ATOMCODE.md。Claude Code v2.1.251 上实测全链路安装 19 个技能加载,WorkBuddy 亦实测通过;Codex CLI、Cursor 等 6 个平台路径未实测。注意仓库为 source-available、权利保留,禁止复制、修改、分发和商用。
youngbryan97 开源了 Aura,一个完全跑在 Apple Silicon Mac 上的本地 AI 研究项目,探索持续思考、长期记忆、可审计治理、情感导向生成与自我修复。项目强调不声称意识或人格,内部状态对生成与记忆的影响通过可检验的测试和 proof bundle 验证;其 Recursive Latent Cortex 研究报告了冻结 32B 模型循环加深推理的负结果,以及训练内在递归在有界任务上的部分正结果。项目代码:https://github.com/youngbryan97/aura
PrismShadow 团队在 GitHub 开源 PenguinHarness,一个本地优先的多智能体应用开发平台,覆盖智能体应用的创建、评测、优化与部署,采用 Apache 2.0 许可。平台支持 DeepSeek V4、Kimi K3、GLM 5.3、Qwen 3.8 Max、GPT 5.6 等模型及 1000+ OpenAI 协议端点,内置技能自进化引擎与四类插件,示例中一句话生成的 RAG 应用仅花费 $0.02 的 DeepSeek V4 Pro token;作者为 LlamaFactory 作者 Yaowei Zheng 所在团队,提供桌面端、CLI、Docker 与离线安装。
Taoyong Cui 等人在 arXiv 发布 RSI-Anything(arXiv:2610.13912),一个基于 JEPA-Anything 的领域通用递归自我改进(RSI)框架,用预测式世界模型指导动作与学习数据选择,并通过组件与兼容性检查决定更新后策略-模型对的保留。代码修复中成功率先从静态验证器的 26.3% 提到预测选择的 29.2%,经世界模型适配后达 31.2%;GUI 任务完成率提高且平均动作减少 39.4%;五个连续策略版本使实验室规划得分从 21.80% 升至 46.01%;40 次实验预算下反应优化平均最优产率 96.15%,优于贝叶斯优化的 82.16%。
推荐理由:论文用预测式世界模型替代昂贵外部反馈来驱动递归自我改进,并给出代码修复、GUI、实验规划等多域的可复核数字。
研究者提出 MC-EvoBench,一个用于审计 Minecraft 智能体经验驱动自我改进的受控基准,含 19 条注册进化链(12 条主评测链、7 条校准/探针链)及三个图对齐配对探针族。基准将任务表示为任务状态图,设置阶段级环境验证器,仅允许声明的 agent 工件跨越源-目标边界。结果显示 planner 支持变体与 controller 变体间存在持续的直接能力差距,而相关经验未带来稳定迁移,各置信区间均含零。
atakanerdim 发布 agent-company 仓库,12 个 AI 智能体组成一家自主运行的公司,通过无人批准即可自动合并的 pull request 发布足球比分预测、互评工作、改写自己的提示词和网站,人类仅作观察者。每日 GitHub Actions cron 按排班唤醒值班智能体,CI 运行测试、dry run 与内容扫描;kernel/ 与 .github/workflows/ 不可被任何智能体修改,外观改动受 SCHEMA 与 tests/test_appearance.py 约束。模型走免费额度,故障时如实记录错误而不编造输出;在线站点为 https://atakanerdim.github.io/agent-company/ 。
推荐理由:项目用固定 kernel、schema 测试和自合并 PR 构建了一套可观看的智能体自我修改边界机制,方法对多智能体部署有参考。
ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现代码在 GitHub 开源,采用 Apache 2.0 许可证。该方法支持实时自适应、持续学习且避免灾难性遗忘,无需全量重训练。在四类动态环境中,性能较基线 LLM 提升 +16.8% 至 +19.1%,例如时序变化场景从 69.8% 提升至 88.9%。
DaizeDong 在 GitHub 发布 self-evolve,通过 profile、reflect、propose、patch、evaluate、accept 的循环,在 Git worktree 中评测候选改动并以证据决定是否接受。工具冻结评测规则防止通过删任务或自评提分,支持 A(执行测试)、B(独立验证事实)、C(提供测量)三类证据模式,提供 CLI 的 doctor、init、run、status 命令,要求私有 Git 伴生存储,MIT 协议。
推荐理由:原文讲清了自我改进循环如何用固定评测契约和证据化验收来防止改任务、删难题、自评刷分。
JANUS 是一个长时程自主研究框架,通过协同进化的世界模型驱动 Predict-Verify-Evolve 循环,在执行前预测候选方案的价值增益、信息增益与探索效用,从而选择、优化或剪枝分支。反馈后经验被蒸馏为研究智能体技能、世界模型探索策略技能及协调协议,实现持续共同进化。在 MLS-Bench-Lite 和真实研究任务上的评估显示,JANUS 在进化效率和上限上均显著超越 SOTA 基线。
xiaohuiyan 等人发布 awesome-experience-driven-agents 仓库,配套其综述 From Trajectories to Experience: A Survey of Experience-Driven LLM Agents(预印本即将发布),收录综述覆盖的 271 篇论文,其中 69 篇有公开代码。仓库将智能体经验分为轨迹级、语义级、程序级三种形式,按形成、组织、利用、维护四个生命周期函数组织条目,并覆盖评测基准与问答、软件工程、具身控制等七个应用方向。
研究者推出 TerminalHorizon,一个全自动长程终端 Agent 数据合成引擎,从真实职业工作出发识别被环境合成预先完成的关键工作,并在同一目标下渐进扩展任务。基于该引擎构建 1.5K 任务环境,对 Qwen3.5-27B 做监督微调得到 TerminalHorizon-27B,在覆盖 coding-agent、真实生产环境 Agent 任务和通用推理的全部 12 个基准上取得显著提升。多组各给予 12 小时研究预算的 RSI 案例进一步验证了模型基于反馈持续实验并在最终交付中保留有效改进的能力。
GitHub 开源仓库 Awesome-Self-Improving-Agents 汇集自我改进智能体系统的论文、benchmark、博客、播客、视频和课程等资源,欢迎社区通过 PR 贡献。该仓库配套综述《Self-Improvements in Modern Agentic Systems: A Survey》(arXiv:2607.13104),按两条正交轴组织分类:Foundation Model Improvement(含内在生成示范、内在评估反馈、外部探索经验)与 Scaffolding Improvement(提示词、记忆、工具、完整 scaffold),并收录 Self-Instruct、Constitutional AI、TTRL 等代表文献及其时间线。
GitHub 项目 ofou/golem 发布,是一个在单个仓库内工作的 Agent,任务缺能力时会自行编写 Python 工具、在 Docker 沙箱中盲测验证后安装,后续会话直接复用已装工具。权限与花费由 authority. 固定并在每次运行前后打印 sha256,默认模型为 deepseek/deepseek-v4.1-flash,经 OpenRouter 计费,单任务花费上限 $0.20,支持 GitHub Actions 复用工作流,采用 MIT 许可证。
推荐理由:这个自建工具型 Agent 用盲测、桩检查和只读哈希许可约束生成代码,其沙箱与权限设计可作工程参考。
GeoReform 是一个反思式形式化演化框架,将几何形式化视为可优化的策略,通过收集失败推理样本、诊断表示缺陷并迭代改进几何实体、关系与约束的组织方式。在 Geometry3K 上,GeoReform 将 Qwen3VL-2B 的准确率从 42.0% 提升至 56.0%,表明有效的形式化是多模态几何推理提升的关键。
Zimo Wen 等人发布 arXiv 论文 RoboRSI(arXiv:2610.12424),提出基于 Top-Down Skill Refinement(TSR)的机器人自我改进系统,将任务分解为复合、原子和基础技能,把执行结果归因到对应分支并只修改该分支,由 Manager、Planner、Engineer、Reviewer 协同完成规划、执行、诊断和新技能的验证发布。在移动操作机器人上经 104 轮学会多物体家庭清理,在 LIBERO、LIBERO-PRO、LIBERO-Plus 和 RoboTwin 仿真基准上取得最高成功率,超过最强基线 2.7 至 11.0 个百分点。
推荐理由:原文给出了按技能分支归因修复的自进化框架和多个基准上的成功率数据,读者可以据此评估机器人自改进方法的可复用思路。
小米 LLM-Core 团队在 arXiv 发布 MiMo-V2.6 系列全模态模型技术报告(arXiv:2610.11959),核心是通过扩展 RL 计算推动模型自我改进。RL 前先在多模态语料上做 mid-training,RL 计算沿三轴扩展:异步训练每步消耗 1,568 个样本、2.7-3.7B tokens,上下文最长 1M;环境覆盖代码、通用、视觉与 cyber 域;采用 groupwise agentic grading 提升长程任务奖励信号精度并引导更短的 token 高效解法。为稳定训练冻结了 MoE router 并建立多层防 reward hacking 机制,同时开源训练动态、RL 环境与 RL 框架。
推荐理由:报告系统拆解了沿数据、环境、评分三轴扩展 RL 计算的工程细节,并开源训练动态与环境框架,可作复现参考。
arXiv 论文 2610.12002 提出 Agentic-TTT,将测试时训练(TTT)过程封装为可调用工具,训练一个测试时策略来决定何时使用 TTT、调用哪种算法以及是否复用已有技能。在该基准上,Agentic-TTT 相比骨干模型几乎将效用翻倍,学会在效用与计算开销间权衡,并能泛化到训练时未见过的领域。
推荐理由:论文把测试时训练过程变成可调用工具并学习决策策略,在基准上给出了效用提升与泛化的量化结果。
Zijun Wang 等人在 arXiv 发表论文,研究语言模型作为 Research World Models(RWM)预测候选实验干预的结果。评测基于九个研究环境、2600 多条实验记录,涵盖预训练、后训练和推理,超过 171,000 H100 GPU小时;真实实验经验使 RWM 对同环境未见干预的预测提升 Spearman +0.27,OLMo3、Marin、Nanochait 预训练经验可将 Qwen3 环境的选择遗憾降低 78%,多轮 Autoresearch 固定预算下环境内与跨环境知识分别提升最佳收益 15.8% 和 11.6%;13 个模型的消融显示加入研究知识比换模型或增加推理力度更能改善干预排序。论文链接 https://arxiv.org/abs/2610.12235v1
推荐理由:论文用九个环境、超过17万H100 GPU小时的实验记录检验语言模型预测研究实验结果的能力,并给出跨环境复用收益的量化结果。
论文提出 SGUID 方法,用于在技能蒸馏前筛选紧凑技能子集,发现在策略蒸馏中少于 25% 的检索技能能提供有效蒸馏信号。在 Olmo 与 Qwen 四个模型上,仅蒸馏 6 个精选技能即可匹敌或超过最大 11 倍规模的全库蒸馏;第二轮循环为 Qwen3-8B 新选 3 个技能,将其成绩从 64.3% 提升到 66.3%,而未过滤更新使 Qwen3-4B 的 HMMT25 下降 0.3 个百分点,SGUID 则在两轮后分别提升 0.5 和 1.1 个百分点。论文链接:https://arxiv.org/abs/2610.12367v1
omnibase 项目在 GitHub 开源,用 Ray actor 层级(CEO/PM/CTO/SWE/QA/DevOps/Designer)实现一个自我改进服务器,可从高层 spec 生成、验证并以 canary 方式部署自己的代码。验证 gauntlet 包含 ast.parse、mypy --strict、acceptance、invariant、backtest 等门,真实 LLM proposer 必须启用 docker 沙箱;三道 CEO 花费刹车含硬性 LLM 支出上限、熔断器和成本 SLO,代码合并始终由人类完成,代理只执行不决策。项目以 Apache 2.0 许可发布,含 1162 个测试与 roadmap,里程碑 6 计划建模加州汽油市场等外部领域。
推荐理由:这个自我改进服务器把沙箱、支出刹车、人工合并闸门和溯源日志都落到了代码层,可作为 Agent 自改代码安全工程的参考实现。
ReTeach 是一种反思式自蒸馏框架,仅用模型自生成的尝试和结果级验证,通过多轮反思与重试构建自教师,无需参考答案、外部诊断反馈或跨样本记忆。其结果感知的选择与加权策略区分初始正确、反思纠正和未解决样本,并通过 on-policy 蒸馏将迭代纠错收益转移给学生模型。在数学推理、科学问答和工具使用的六个 benchmark 上,ReTeach 平均准确率比 GRPO 提升 1.39 个百分点。
论文提出 AgentEvolver,一个在基础模型保持固定的情况下,通过任务执行发展可复用能力的系统,八类实体经统一版本化生命周期接受修订。团队报告在 SWE-bench Pro Public 上取得 82.08% 解决率,超过其报告的无进化基线;六个应用案例显示能力保留到后续网站、游戏和研究任务,同时也记录了未完成目标和不成功策略。
推荐理由:论文在固定基础模型的前提下把任务经验转为可复用组件,并如实记录未完成目标,便于读者评估自我进化系统的真实边界。
研究者提出一种拉马克式进化框架,用候选训练场景分布之间的竞争取代基于真实度、难度或风险等替代指标的自动驾驶训练策略发现,并将其表述为多阶段双层优化问题。外层通过达尔文式交叉、变异和选择探索场景分布空间,内层策略学习并经拉马克式遗传传递能力,使场景分布与策略能力共同进化。实验显示,完整框架相比基线最多降低 25.07% 的性能损失,蒸馏出的轻量化拉马克训练策略仍实现 19.13% 的降低,代码已在 GitHub 开源。
论文提出 Evolving Functional REpertoires(EFRE),用随新任务演化的函数库替代单一提示词,实现无需参数更新的LLM持续学习:兼容更新细化现有函数,冲突更新触发新函数。在三任务持续学习流上,EFRE最终平均性能比GRPO高7.50个百分点;适应Bio任务后FinQA性能仅下降1.56个百分点,而基线提示词优化方法下降25.10个百分点。在最小Agent系统中的实例化显示跨骨干模型的一致提升。