arXiv · cs.AI· Yue Wu·· 20 小时前AI 评分48
Select-TTT:查询条件化的选择性快权重更新,改进 In-Place 测试时训练
Select-TTT: Query-Conditioned Selective Fast Weight Updates for In-Place Test-Time Training
来源与原文
arXiv · cs.AI
作者:Yue Wu
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.36794v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 Select-TTT,一种模型无关、按查询条件调节写入强度的 In-Place 测试时训练(TTT)改进方法,解决均匀写入导致无关内容稀释查询相关信息的问题。该方法无需监督、不引入新参数,直接从模型冻结的输出头读取每个 chunk 隐藏状态分配给查询 token 的概率质量,经温度缩放 softmax 转为学习率乘数,保留原有 chunk 级上下文并行计算。Select-TTT 在两个 benchmark 和两个 backbone 上持续提升长上下文问答表现。
来源:arXiv · cs.AI · arxiv.org