跳到正文
arXiv · cs.AI· Yue Wu·· 20 小时前AI 评分48

Select-TTT:查询条件化的选择性快权重更新,改进 In-Place 测试时训练

Select-TTT: Query-Conditioned Selective Fast Weight Updates for In-Place Test-Time Training

来源与原文

arXiv · cs.AI

作者:Yue Wu

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.36794v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究者提出 Select-TTT,一种模型无关、按查询条件调节写入强度的 In-Place 测试时训练(TTT)改进方法,解决均匀写入导致无关内容稀释查询相关信息的问题。该方法无需监督、不引入新参数,直接从模型冻结的输出头读取每个 chunk 隐藏状态分配给查询 token 的概率质量,经温度缩放 softmax 转为学习率乘数,保留原有 chunk 级上下文并行计算。Select-TTT 在两个 benchmark 和两个 backbone 上持续提升长上下文问答表现。

来源:arXiv · cs.AI · arxiv.org