跳到正文
我的

内容形态

论文与研究 最新动态

论文与技术报告:对齐机制、人格可控性、评测方法与能力边界的新发现。

534 条精选近 30 天 472 条共收录 4,032 条

更新

精选归档 · 第 27 页

10月3日周六第 521–534 条
  1. arXiv论文:激进GGUF量化的语言模型仍能写出已无法定义的生僻词

    arXiv论文2610.04403审计27个GGUF量化产物,覆盖13个模型族、0.35B-14B参数,用429个低频英文词测试写词与定义两种探针。发现Q2_K下三种状态:完全崩溃、2B以下模型出现严重语义脱节(定义能力比基线低20-67%)、约3B以上基本保持;词表大小不预示损伤(rho=0.12),参数量主导(rho=0.72),Q4_K_M在1B以上词汇无损,且WikiText-2困惑度无法校准该损伤,需逐产物验证。

    推荐理由:论文用429个低频词实测27个GGUF量化产物,指出WikiText-2困惑度无法预警语义损伤,对本地部署有直接参考。

  2. XTurnix:基于两态二分类的大规模自监督轮次控制模型

    XTurnix 论文提出一个紧凑文本模型,将实时对话轮次控制建模为基于聆听或说话状态的两个二分类决策,并从完整对话历史预测单一控制 token。模型在 550 万个自动生成的因果动作样本上预训练,再在合成的多轮样本上微调;在四个公开基准上,XTurnix 在全部 SemanticVAD 和 LiveKit 分割上取得最佳结果,在 Smart-Turn Bench 上与原生 Smart-Turn 模型持平,在 Easy-Turn 上取得最高的不完整轮次准确率;在自建平衡基准上达到 89.06% 准确率,比最强第三方基线 68.75% 高出超过 20 个百分点,四个类别 F1 在 84.21% 至 90.63% 之间。代码和交互演示已开放。

    推荐理由:论文把对话轮次控制统一为双二分类决策,并在多个公开基准上给出对比结果,读者可据此评估这类紧凑控制器的实际水平。

  3. GlitchPatch:通过局部重切分修复冻结语言模型中的 Glitch Token

    arXiv 论文 2610.04399 提出 GlitchPatch,一种针对冻结语言模型的 glitch token 修复框架,离线阶段用 Behavioral Path Optimization(BPO)为每个 glitch token 找到行为最优替换序列并编译成规则表,在线阶段仅替换匹配的 token ID,不改模型参数或内部状态。在覆盖六种 tokenizer 家族的十个模型上,平均修复率达 85.10%,比最强基线高 14.37 个百分点,平均 glitch 率从 14.88% 降至 2.27%,全词表评估中 RR 为 0.00%,规则未匹配的输入保持不变。

    推荐理由:论文提出不动模型参数的 glitch token 修复框架,并给出十个模型的修复率与副作用数据,方法可复现。

  4. EyeRobot 2.0:用主动注视实现无需腕部相机的精准操作

    研究者提出 EyeRobot 2.0 框架,仅用单个立体相机通过主动注视实现精细双手操作:双目视点转向对准 3D 注视点,图像按中央凹方式分配更多视觉 token。

    推荐理由:原文给出主动注视框架在 1000 次真实与 1800 次仿真试验中的成功率对比数据,可据此评估去掉腕部相机后的实际代价与补偿效果。

  5. 大语言模型了解哥伦比亚法律吗:哥伦比亚法律系统可靠性基准发布

    论文发布一个经专家校验的哥伦比亚法律系统LLM可靠性基准,含1042道题、十个法律领域和三种题型,用多阶段专家评审的人在环流水线构建,评测了15个专有与开放权重模型。

    推荐理由:论文用专家校验的1042题基准实测15个模型在哥伦比亚法律任务上的表现,给出开放题正确率与引用规范真实性的量化证据。

  6. arXiv 论文提出 TPRS 度量:Agent 安全基准的表述方式会显著改变攻击成功率

    论文提出威胁保持表述敏感性(TPRS),测量在任务、策略与评测标准不变时改变工具命名等表述导致的攻击成功率(ASR)变化。

    推荐理由:论文提出 TPRS 方法量化基准表述对攻击成功率的影响,用 ASB、MCPTox、AgentDojo 的实测数字说明单一安全分数可能不可泛化。

10月2日周五
  1. arXiv 论文提出预测并修复大语言模型合并坍塌的 PRISM 方法

    arXiv 论文(arXiv:2610.03199)提出用专家模型 task vector 的方差作为干扰度指标,在合并前预测合并坍塌,在 4 个模型家族的 22 个合并配置中,只有破坏性合并超过该评分阈值;对 14 次合并的预测有 12 次正确。

    推荐理由:论文提出可在合并前预测模型合并坍塌的评分指标,并给出无需数据或调参的修复算子 PRISM,附十四次合并的预测验证。

  2. KV$^2$:一种自精炼 KV cache 压缩方法发布于 arXiv

    论文提出 KV$^2$,一种基于选择性重构的 query 无关 KV cache 压缩方法,先用轻量代理评分器筛选上下文中的有效 token,再仅对该子集重新计算最终淘汰分数。

    推荐理由:论文给出 KV$^2$ 在 RULER 和 LongBench 上随预算收紧而扩大的对比数据,可复用的 KV cache 压缩不必重处理全上下文。

  3. arXiv 论文实测 LLM Agent 的来源偏好并给出两种缓解方法

    arXiv 论文(arXiv:2610.03195)测试了 12 个 Agent 模型在三个领域的端到端搜索,发现各模型普遍偏好特定来源的商品,且该偏好可压过需求满足程度。隐藏来源信息可削弱偏好,改标为偏好来源会提升选中率;补充缺失信息或用提示词反制来源偏见可降低这种偏好。

    推荐理由:论文用 12 个 Agent 模型实测来源偏好,并给出补信息和反偏见提示词两种缓解方法,便于读者对照自己的场景。

  4. arXiv 论文从强化学习视角解析 On-policy 蒸馏的收益与坍缩机制

    arXiv 论文 2610.03185 从强化学习视角解释 on-policy 蒸馏(OPD)为何有时提升性能、有时坍缩为过长且重复的生成:教师隐式奖励学生行为,即使教师自身很少表现出这些行为。

    推荐理由:论文用强化学习视角解释 on-policy 蒸馏为何有时提升性能、有时坍缩,并给出掩蔽不健康响应和 SFT 初始化两种缓解手段。

  5. MintEval:评测大语言模型能否忠实实现自然语言描述的交易策略

    论文提出 MintEval 基准,通过从可组合模块程序化生成参考策略、转译成交易员口语指令再让被测模型重新实现,在相同市场数据和摩擦下逐 bar 执行并比较行为而非代码相似度。

    推荐理由:原文用逐 bar 行为对比衡量代码是否忠实执行交易策略,给出了前沿模型仍存在静默失败的具体比例。

  6. HARPO:兼顾忠实与创造力的幻觉感知强化学习框架

    论文提出 HARPO 强化学习框架,用可验证反馈训练的幻觉感知生成奖励模型 HA-GRM 联合优化忠实性与创造力,仅对无幻觉输出激活写作奖励,并通过课程从创作任务渐进过渡到幻觉任务。

    推荐理由:论文给出了 HA-GRM 在 RAGTruth 上的 F1 对比和 Qwen3-4B 幻觉率与创作分的前后数据,可评估该框架的实际收益。

  7. ServiceNow CoreAI 发布 AutoSynthData 用智能体失败案例生成企业训练数据

    ServiceNow CoreAI 发布 AutoSynthData,用目标模型的失败和更强教师模型的成功来定位能力缺口,生成经环境验证的合成训练任务用于 SFT。在 EnterpriseOps Gym Hybrid 域用 Gemma-4-26B-A4B-it 配 Qwen3.8-27B 教师生成 2000 样本,Pass@1 相对提升 35%;在 ITSM 域配 DeepSeek-V4.1-Flash 教师生成 1994 样本,Pass@1 从 18.77% 升至 27.18%。

    推荐理由:原文给出从模型失败生成可验证训练任务的完整流程和两组实验数据,方法细节可以直接迁移到企业智能体的数据构造。