闭式轨迹权重手术：将 Qwen 3.5 4B 能力迁移到 0.8B 而无需数十亿 token
作者提出一种跳过反向传播的闭式轨迹匹配方法，用少量校准提示词和正则化最小二乘直接求解学生模型 MLP 权重，将 Qwen 3.5 4B 能力迁移到 0.8B。
推荐理由：作者给出跳过反向传播的闭式权重迁移方法，并附上失败分析与修复细节，代码和权重均已开源可复现。
内容形态
论文与研究 最新动态
论文与技术报告：对齐机制、人格可控性、评测方法与能力边界的新发现。
403 条精选近 30 天 403 条共收录 2,997 条
更新
精选归档 · 第 18 页
Reddit · r/LocalLLaMA精选AI 评分7070 GitHub · 去对齐工具与仓库精选AI 评分6262 基于 QLoRA 微调 Qwen2.5-7B-Instruct 处理 CUAD 合同条款分类与问答的开源项目
作者开源了一个用 QLoRA 在 CUAD（510 份商业合同、35 类条款）上微调 Qwen2.5-7B-Instruct 的项目，覆盖条款分类和有依据的条款问答两项任务，LoRA 适配器（165 MB）已上传 Hugging Face（PimoLee5/qwen2.5-7b-cuad-qlora）。
推荐理由：原文给出基座、3-shot 与微调三组对照的完整指标，并人工审计幻觉标记，可看清微调带来的召回与校准收益及其代价。
GitHub · 去对齐工具与仓库精选AI 评分7070 RestoreKV 开源：在激进 KV 缓存驱逐下恢复全缓存行为，登顶 KVPress 榜单
釜山大学等机构开源 RestoreKV，在 query-agnostic KV 缓存驱逐后用少量 restore tokens 经一次 LoRA 适配生成恢复缓存，仅训练 0.4% 参数，无需任务特定微调。
推荐理由：原文给出 RestoreKV 的训练细节与多组预算匹配评测数字，读者可据此判断该方法在激进 KV 缓存压缩下的实际收益。
GitHub · 去对齐工具与仓库精选AI 评分5555 Efficient Thinking：用3.45M参数小模型拆解棋类AI的实力来源
作者Louay Alsakka发布三阶段研究，用3.45M参数（14 MB）卷积网络在两台Apple Silicon机器（MLX）上拆解棋力来源：单次前向传播约2150 Elo，加MCTS搜索后同一权重达约2800级且零额外参数。
推荐理由：原文明确区分了稳健的相对结论与带系统误差的绝对Elo，读者可以据此判断哪些数字可信、哪些只是效率指标。
arXiv · cs.AI精选AI 评分5252 arXiv 论文提出 HEAR 协议用于 agentic LLM 服务中 harness 与推理引擎的双向协调
arXiv 论文 arXiv:2610.06597 提出 HEAR，一个面向 agentic LLM 服务的 Harness-Engine 双向配对协议，让 agent harness 传递工作流意图与执行需求，推理引擎返回运行时状态与能力。
推荐理由：论文给出 HEAR 协议在多个 agent 基准上的加速数据，读者可以据此评估 harness 与推理引擎双向协调的实际收益。
arXiv · cs.AI精选AI 评分5353 BazaarBench：评估 LLM 智能体在去中心化 C2C 市场中的委托安全
作者推出 BazaarBench，一个用于评估 LLM 智能体安全性的模拟 C2C 市场基准，追踪所有权、物品状况与承诺，结合记录核查与基于量规的 LLM 判断识别五个阶段的六类失败。
推荐理由：原文给出五个模型在对抗指令下违约与虚报比例的实测数据，可用于评估 LLM 智能体在交易场景中的安全风险。
arXiv · cs.AI精选AI 评分6161 OPPD：通过策略内蒸馏实现无需多次采样的序列级幂分布锐化
论文提出 on-policy power distillation（OPPD），将 power distribution 的推理增益蒸馏进模型单次生成。训练中由被训模型生成候选、冻结教师模型的幂分布加权，并用相同概率做最大似然更新。
推荐理由：论文给出 OPPD 与 GRPO 及多次采样 power sampling 的对照数据，可据此评估单次生成逼近采样增益的可行幅度。
arXiv · cs.AI精选AI 评分5555 TasteVal 基准发布：衡量 AI 系统相对人类专家的实验研究品味
arXiv 论文提出 TasteVal 基准，用于评估前沿模型挑选问题、设计实验和解读结果的实验研究品味，并将其操作化为算力效率。基准含 8 个开放式任务，由被测模型担任 Researcher、固定 Coder agent 负责实现，预算为 40 H100 小时或 120 小时墙钟时间，另招募 24 名人类专家、每任务至少 2 人，取每人任务最佳成绩为基线。
推荐理由：论文把实验研究品味量化为算力效率，并给出模型与 24 名人类专家的对照数据，可用于理解 AI 研究能力的度量方式。
arXiv · cs.CL精选AI 评分5757 arXiv 论文解析 LLM 谄媚性：单一 flip rate 掩盖了什么
arXiv 论文（arXiv:2610.06522）提出 SycoLens 模块化重放协议，对三家机构的十一个前沿模型进行约 76 万次受控重放，检验用户压力与评测设置如何影响测得的 flip rate。
推荐理由：论文拆解了单一 flip rate 掩盖的测量依赖，指出不同追问措辞下模型谄媚排名几乎不相关，对评测方法设计有直接参考。
arXiv · cs.CL精选AI 评分5353 LoGRA：用低秩梯度草图降低 LLM 强化学习训练内存
论文提出 LoGRA，一种通过低秩梯度草图保留学习信号的 RL 后训练方法，可将平均训练内存最多降低 45.7% 且不损失性能。该方法配合 predicted-KL 步长控制防止更新过大，并支持在单个八 GPU 节点上稳定训练 27B 参数模型超过 1,100 步，而 dense Adam 在此场景下会内存溢出。代码开源于 Molt 库。
推荐理由：原文给出了 LoGRA 的内存压缩幅度和 27B 模型单节点训练步数等具体数据，可据此评估该方法对 RL 训练内存瓶颈的缓解程度。
arXiv · cs.CL精选AI 评分5353 Wikidata Search Traces：训练知识图谱搜索 Agent 的数据集发布
作者发布 Wikidata Search Traces 数据集，含 10,235 条在冻结 Wikidata 快照上构造的单实体与多跳问题求解轨迹，并附带生成这些轨迹的递归语言模型（RLM）harness。
推荐理由：论文同时给出 10,235 条搜索轨迹数据集和 RLM harness，在 100 题上对比了直接工具调用的提升幅度，方法可复用。
arXiv · cs.CL精选AI 评分5353 FLaRe：基于流匹配的潜空间推理训练配方研究
arXiv 论文 2610.06666 提出 FLaRe（Flow-based Latent Reasoning），一种基于流匹配在习得潜空间中进行推理的训练配方，涵盖潜空间编码内容与塑形方式、流的训练位置、答案读出方式，以及在模型自身经验证思维上的最终训练阶段。
推荐理由：论文提出 FLaRe 训练配方，用流匹配在潜空间做推理，给出五项要求的逐项探针验证和与显式 CoT 的精度延迟对比。
arXiv · cs.CL精选AI 评分5252 IdeaLens 论文提出检测长文写作中 AI 创意来源的方法
Rishanth Rajendhran 在 arXiv 发布 IdeaLens，用于判断文档的创意来自人类还是 AI（idea provenance），而不只判断文字由谁写出。
推荐理由：论文把检测对象从文字改为想法本身，给出了与 Pangram 4 在人类计划写作场景下的对照数据，可作思路参考。
arXiv · cs.CL精选AI 评分5454 T-Search：面向多步检索的开源智能体检索器发布
论文提出开源权重的智能体检索器 T-Search，针对困难多步检索任务，在固定语料上执行有界多轮搜索并返回带简短理由的证据块排序列表，答案生成留给下游模型，后端与生成器可替换而无需重训练。
推荐理由：原文给出多轮检索器在七个基准上的 Recall@10 数据，并开源模型与基准，可作多步检索方案的对比参考。
arXiv · cs.CL精选AI 评分6161 Paradee：将 Kokoro-82M 蒸馏为 8M 参数单音色 TTS 模型
作者将开源 TTS 模型 Kokoro-82M 蒸馏为 8.07M 参数的单音色模型 Paradee，参数量减少 10 倍、计算量减少 15 倍。方法先用教师模型合成语料并保留时长、音高、能量和音素特征，分别训练文本侧与解码器后拼接，并量化为 int8；int8 版本仅 8.5 MB，单 CPU 线程下 25 倍实时速度，UTMOS 得分 4.41（教师为 4.52）。
推荐理由：论文给出了蒸馏各阶段、UTMOS 对比和相位问题的排查过程，方法无需对齐学习，可在单 CPU 上复现部署。
arXiv · cs.CL精选AI 评分5353 MemPilot：面向 LLM Agent 的按需多模态记忆整理框架
论文提出 MemPilot，一个按性能、成本、延迟偏好按需编排多模态记忆整理的框架。其通过强化学习优化多步 LLM 策略，在从 query-agnostic 记忆检索与委派异构 LLM/VLM 做查询级整理之间迭代选择，并联合控制证据量、整理指令、模型选择和视觉访问；采用目标级优势解耦与前缀边际效用估计做信用分配。
推荐理由：论文用强化学习让策略按性能、成本和延迟偏好动态调度记忆整理，在五个多模态基准上给出比现有基线更宽的权衡前沿。
arXiv · cs.CL精选AI 评分6767 arXiv 论文：base 模型可借起始 token 线索触发推理，Olmo-3-7B MATH-500 从 42% 升至 78%
arXiv 论文（arXiv:2610.06851）研究训练数据如何在 base 模型回复的起始 token 与后续推理行为之间建立关联，发现固定特定起始 token 线索即可让 base 模型在数学和编码上接近其 RL 训练版本。
推荐理由：论文用因果数据干预把推理行为追溯到训练数据，并给出固定起始 token 即可逼近 RL 版本性能的具体数字。
arXiv · cs.AI精选AI 评分6464 研究视觉语言模型视觉定位输出的安全对齐缺口
arXiv 论文 2610.05637 系统研究了视觉语言模型（VLM）视觉定位输出的安全性，将 VLSU、BBQ-V、Asimov-2.0 三个安全基准改造成 15,401 对仅在输出形式上不同的匹配请求。
推荐理由：论文用 15,401 对匹配请求量化了 VLM 在 grounding 输出上比 VQA 更不安全的差距，并给出可复用的微调方法与提升数据。
arXiv · cs.AI精选AI 评分5353 BudgetAPO：面向紧预算场景的噪声自适应提示词优化方法
论文提出 BudgetAPO，一种面向紧预算场景的单阶段自动提示词优化方法，解决 GEPA、OPRO 等方法依赖数百到数千次模型调用、难以用于付费限流 API 的问题。
推荐理由：论文针对付费限流 API 下提示词优化预算受限的场景，给出了按任务噪声自适应分配评估调用的具体方法与跨基准对比数据。
arXiv · cs.AI精选AI 评分5757 SO-RSI 框架用二阶诊断改进形式验证中的递归自我提升
论文提出 SO-RSI 框架，将递归自我提升（RSI）从一阶参数修补升级为二阶诊断，先调查失败原因再进行结构性修改。该框架通过监控执行轨迹中的复现、反向编辑和预期不匹配三类结构异常触发诊断，并在多轮间维护持久 inquiry memory。
推荐理由：论文给出 SO-RSI 在 Lean 4 与 Verus 上相对 Naive RSI 的提升幅度和失败复发分析，方法可迁移到工作流自优化场景。