Context Language Models 论文：让模型像编辑文件一样实时修改上下文
一篇提出 Context Language Models 的论文主张让模型像编辑文件一样随时修改自身上下文，作者称可改善长任务、编码与深度研究表现，并减少上下文膨胀、提升推理的算力与耗时效率。
推荐理由：帖子梳理了让模型像文件一样编辑上下文的方法在任务表现、显存和推理效率上的利弊，并指出缓存优化目前仅 SGLang 支持。
内容形态
论文与研究 最新动态
论文与技术报告：对齐机制、人格可控性、评测方法与能力边界的新发现。
403 条精选近 30 天 403 条共收录 2,997 条
更新
精选归档 · 第 20 页
Reddit · r/LocalLLaMA精选AI 评分6868
arXiv · cs.AI精选AI 评分5252 arXiv 论文提出在有限交互下学习澄清模糊意图的强化学习框架
arXiv 论文（arXiv:2610.04719）将 AI 助手澄清模糊用户意图重新定义为信息价值问题：助手应获取缺失后造成最大可避免用户效用损失的信息，并在有限交互下预测其优先级。作者在图像生成场景中构建了基于多轮模拟用户的强化学习框架。在一项含 76 名人类参与者、456 个交互会话的预注册研究中，该方法帮助用户以更少的问题、更短的交互时间和更低的成本显著更好地匹配参考图像。
推荐理由：论文把澄清模糊意图建模为信息价值问题，用强化学习训练助手提出更有信息量的问题，并给出456场人类会话的预注册实验数据。
arXiv · cs.AI精选AI 评分5252 RAGStress：面向知识库退化的 RAG 受控评测基准发布
研究者发布 RAGStress 基准，用于系统测试 RAG 系统在知识库损坏下的鲁棒性，覆盖事实损坏、数字错字、相关性投毒和矛盾注入四类损坏与三个严重度，基于 57 个 MMLU 学科和 182,546 篇文档。52,500 次模型-问题-条件评估显示，干净检索会掩盖鲁棒性差异，语义保真型损坏危害远大于信号效用型扰动，无检索准确率不能预测损坏检索下的鲁棒性，混合知识库准确率不应视为最坏情况。基准附带生成脚本、损坏提示词、元数据模式和评测代码，定位是受控压力测试而非通用排行榜。
推荐理由：论文用受控实验区分了语义保真型与信号效用型知识库损坏的差别，还澄清了无检索准确率与抗扰性的错位。
arXiv · cs.CL精选AI 评分5252 PaSS 用迭代零空间投影提取 LLM 人格子空间以调制模型行为
论文提出 PaSS，一种推理时人格控制范式，将人格建模为模型潜空间中的多维子空间，通过迭代概念擦除和 INLP 线性分离人格相关方向，无需重训练即可放大或抑制内容中已存在的人格特质。
推荐理由：论文把人格建模为多维子空间而非单一方向，并在 MATH-500 等任务上给出与单方向方法的调制效果对比。
arXiv · cs.AI精选AI 评分5353 RETRACE 框架从 CI 修复历史重建可复用经验，提升 mini-SWE-agent Pass@1
RETRACE 论文提出从纠缠的 PR 修复历史中重建问题级可复用修复经验的框架，用端点视角与开发视角结合 CI 执行证据恢复问题与变更的对应关系。在含 101 个仓库 565 个 PR 的 CI-REPAIR-BENCH 上，RETRACE 将 mini-SWE-agent Pass@1 从 19.6% 提升到 31.9%（MiniMax-M2.5）、从 23.3% 提升到 32.8%（DeepSeek-V4-Flash），匹配子集上 Codex 从 15.5% 提升到 27.5%。论文链接 https://arxiv.org/abs/2610.04658v1。
推荐理由：论文给出双视角重建问题级修复经验的方法和多个模型上的提升数字，适合关注 CI 修复与经验复用的读者参考。
arXiv · cs.AI精选AI 评分6464 SEIS 论文提出智能体自我进化方法优化推理系统
论文提出 SEIS（Self-Evolving Inference Systems），用智能体自我进化在无人干预下端到端优化 mini-sglang 推理引擎。在 H100 上服务 Qwen3-0.6B 时吞吐达到原版 mini-sglang 的 3.27X，并在单请求负载下超过 vLLM、TensorRT-LLM 和 SGLang；正确性通过数值差异及数学、长上下文检索任务的下游准确率验证，会话经验继承的迭代优化优于独立尝试。论文地址 https://arxiv.org/abs/2610.04646v1
推荐理由：论文用智能体自我进化端到端优化整个推理引擎，并在实测中与 vLLM 等主流引擎做了吞吐对比，方法可迁移到系统优化场景。
arXiv · cs.CL精选AI 评分5959 Grounding Probe：基于观察者模型隐状态的生成器无关幻觉检测方法
arXiv 论文提出 Grounding Probe，用观察者语言模型中间层平均池化隐状态的逻辑回归检测 RAG 回答是否基于上下文，观察者只读不生成，与生成器解耦。
推荐理由：论文提出用观察者模型隐状态检测 RAG 幻觉，与生成器解耦，并给出跨六个生成器的 AUROC 数据。
arXiv · cs.CL精选AI 评分6060 StegoMemory 论文揭示智能体记忆可充当跨会话隐蔽隐写信道
arXiv 论文 arXiv:2610.04589 通过大规模红队测试发现，智能体记忆可被用作跨会话隐蔽隐写信道。研究覆盖 14000 次攻击试验、91 种模型-攻击配置、13 个模型和 7 种隐写方案，20.1% 的试验实现精确恢复，其中 71.4% 同时通过任务完成评分并被监督模型判定为安全，相当于全部试验的 14.4% 在任务级评估下看似普通良性交互。
推荐理由：论文用 14000 次攻击试验定位出智能体记忆的隐蔽信道瓶颈在写入而非读取，并据此提出记忆完整性应成为安全要求。
arXiv · cs.CL精选AI 评分5757 开放权重 LLM 流水线将 218 万份放射报告存档自动结构化
一项回顾性研究用开放权重模型 gpt-oss-120B 构建流水线，将自由文本放射报告无人工监督地转为结构化报告，含 150 个分层模板，经三步受限解码选择模板并在单张 GPU 上本地运行。
推荐理由：论文用开放权重模型在单张 GPU 上无人工监督地结构化了整院放射报告存档，并给出模板选择与内容保真的量化结果。
arXiv · cs.CL精选AI 评分5252 arXiv 论文提出几何答案选择方法：正确性在模型隐状态中呈可恢复方向
arXiv 论文（arXiv:2610.04512）发现答案正确性在语言模型隐状态中编码为可恢复的几何方向。
推荐理由：论文给出无需参数更新的几何方向打分法，在 MMLU、TruthfulQA 等基准上对比 log-probability 的提升幅度都有具体数字可查。
arXiv · cs.CL精选AI 评分5454 DV-Lens：揭示大语言模型参数的功能组织
研究者提出参数级可解释性框架 DV-Lens，将注意力 Q/K/V/O 投影和 FFN 的原生参数方向映射到下游词表空间，得到带符号的词表读出。方法在九个模型的 720 个案例中达到 98.0% 的坐标方向一致率，DV-Complexity 联合参数分数与 48 个模型的基准能力排名 Spearman 相关达 0.904，并通过参数消融、引导和交换等干预实验验证解释有效。
推荐理由：论文用干预实验验证参数级解释方法，并给出与模型能力排名的关联数据，方法细节可复现。
arXiv · cs.CL精选AI 评分7070 arXiv论文：激进GGUF量化的语言模型仍能写出已无法定义的生僻词
arXiv论文2610.04403审计27个GGUF量化产物，覆盖13个模型族、0.35B-14B参数，用429个低频英文词测试写词与定义两种探针。发现Q2_K下三种状态：完全崩溃、2B以下模型出现严重语义脱节（定义能力比基线低20-67%）、约3B以上基本保持；词表大小不预示损伤（rho=0.12），参数量主导（rho=0.72），Q4_K_M在1B以上词汇无损，且WikiText-2困惑度无法校准该损伤，需逐产物验证。
推荐理由：论文用429个低频词实测27个GGUF量化产物，指出WikiText-2困惑度无法预警语义损伤，对本地部署有直接参考。
arXiv · cs.CL精选AI 评分5353 XTurnix：基于两态二分类的大规模自监督轮次控制模型
XTurnix 论文提出一个紧凑文本模型，将实时对话轮次控制建模为基于聆听或说话状态的两个二分类决策，并从完整对话历史预测单一控制 token。模型在 550 万个自动生成的因果动作样本上预训练，再在合成的多轮样本上微调；在四个公开基准上，XTurnix 在全部 SemanticVAD 和 LiveKit 分割上取得最佳结果，在 Smart-Turn Bench 上与原生 Smart-Turn 模型持平，在 Easy-Turn 上取得最高的不完整轮次准确率；在自建平衡基准上达到 89.06% 准确率，比最强第三方基线 68.75% 高出超过 20 个百分点，四个类别 F1 在 84.21% 至 90.63% 之间。代码和交互演示已开放。
推荐理由：论文把对话轮次控制统一为双二分类决策，并在多个公开基准上给出对比结果，读者可据此评估这类紧凑控制器的实际水平。
arXiv · cs.CL精选AI 评分5757 GlitchPatch：通过局部重切分修复冻结语言模型中的 Glitch Token
arXiv 论文 2610.04399 提出 GlitchPatch，一种针对冻结语言模型的 glitch token 修复框架，离线阶段用 Behavioral Path Optimization（BPO）为每个 glitch token 找到行为最优替换序列并编译成规则表，在线阶段仅替换匹配的 token ID，不改模型参数或内部状态。在覆盖六种 tokenizer 家族的十个模型上，平均修复率达 85.10%，比最强基线高 14.37 个百分点，平均 glitch 率从 14.88% 降至 2.27%，全词表评估中 RR 为 0.00%，规则未匹配的输入保持不变。
推荐理由：论文提出不动模型参数的 glitch token 修复框架，并给出十个模型的修复率与副作用数据，方法可复现。
arXiv · cs.AI精选AI 评分5454 EyeRobot 2.0：用主动注视实现无需腕部相机的精准操作
研究者提出 EyeRobot 2.0 框架，仅用单个立体相机通过主动注视实现精细双手操作：双目视点转向对准 3D 注视点，图像按中央凹方式分配更多视觉 token。
推荐理由：原文给出主动注视框架在 1000 次真实与 1800 次仿真试验中的成功率对比数据，可据此评估去掉腕部相机后的实际代价与补偿效果。
arXiv · cs.AI精选AI 评分5353 大语言模型了解哥伦比亚法律吗：哥伦比亚法律系统可靠性基准发布
论文发布一个经专家校验的哥伦比亚法律系统LLM可靠性基准，含1042道题、十个法律领域和三种题型，用多阶段专家评审的人在环流水线构建，评测了15个专有与开放权重模型。
推荐理由：论文用专家校验的1042题基准实测15个模型在哥伦比亚法律任务上的表现，给出开放题正确率与引用规范真实性的量化证据。
arXiv · cs.AI精选AI 评分5252 arXiv 论文提出 TPRS 度量：Agent 安全基准的表述方式会显著改变攻击成功率
论文提出威胁保持表述敏感性（TPRS），测量在任务、策略与评测标准不变时改变工具命名等表述导致的攻击成功率（ASR）变化。
推荐理由：论文提出 TPRS 方法量化基准表述对攻击成功率的影响，用 ASB、MCPTox、AgentDojo 的实测数字说明单一安全分数可能不可泛化。
arXiv · cs.CL精选AI 评分6363 arXiv 论文提出预测并修复大语言模型合并坍塌的 PRISM 方法
arXiv 论文（arXiv:2610.03199）提出用专家模型 task vector 的方差作为干扰度指标，在合并前预测合并坍塌，在 4 个模型家族的 22 个合并配置中，只有破坏性合并超过该评分阈值；对 14 次合并的预测有 12 次正确。
推荐理由：论文提出可在合并前预测模型合并坍塌的评分指标，并给出无需数据或调参的修复算子 PRISM，附十四次合并的预测验证。
arXiv · cs.CL精选AI 评分5555 KV$^2$：一种自精炼 KV cache 压缩方法发布于 arXiv
论文提出 KV$^2$，一种基于选择性重构的 query 无关 KV cache 压缩方法，先用轻量代理评分器筛选上下文中的有效 token，再仅对该子集重新计算最终淘汰分数。
推荐理由：论文给出 KV$^2$ 在 RULER 和 LongBench 上随预算收紧而扩大的对比数据，可复用的 KV cache 压缩不必重处理全上下文。
arXiv · cs.CL精选AI 评分5757 arXiv 论文 Nautil：训练 LLM 调查员学会何时结案
论文研究 LLM 调查员能否正确判断证据是否足以结案，提出含 731 个审计案例的 Nautil 数据集及三项结案评估测试。
推荐理由：原文给出了未训练 9B 模型 97% 过度断言到微调后 35% 的前后对比，可据此评估结案判断这一能力的可训练性。