跳到正文
  1. arXiv · cs.CL52

    CREDIT:反事实训练提升大语言模型对参考信息的自归因能力

    arXiv 论文 arXiv:2610.35295 提出 CREDIT 方法,用反事实标签直接监督最终答案的自归因,无需人工标注,让模型在回答受附带信息影响时明确说明。实测显示11个前沿模型大多很少标注有影响的信息,在4个开源模型(含2个蒸馏推理模型)上 CREDIT 优于推理级微调和提示词基线,并区分了因建议而改变的答案与模型本就会给出的答案,收益部分迁移到未见信息类型。

    推荐理由:论文用反事实标注直接监督最终答案的自归因,给出11个前沿模型普遍不标注的实测基础和无需人工标注的训练方法。

  1. GitHub · 灵魂体仓库60

    introspection-localization-controls 仓库发布 Llama 与 Tülu-3 句子定位内省测试的 14 项预注册研究

    varchasayya-alt 发布了预注册研究仓库,2026-10-14 至 10-25 在笔记本 CPU 上完成 14 项研究,测试 Llama-3.2-1B/3B、Llama-3.1-8B 与 Tülu-3-8B 阶梯上的句子定位内省任务。核心结论是注入信息的感知信号在包括 base 模型在内的各阶段都存在且线性可解码(probe AUC 约 0.99-1.00),但 8B 模型无法形成显式 yes/no 自我报告,信息提示和拒绝方向消融均未能解锁;研究还发现原协议的定位可被文本损坏解释,换用作者协议后 Tülu-3-8B 在文本完好下定位达 93%。仓库公开全部提交历史作为预注册证据,并提供推荐对照检查清单。

    推荐理由:这项预注册研究用完整提交历史和对照实验检验了句子定位内省测试,还给出了可复用的对照检查清单。

  1. arXiv · cs.CL52

    arXiv 论文:跨模型 in-context 神经反馈揭示 LLM 对自身激活的控制能力有限

    arXiv 论文 arXiv:2610.20179 提出跨模型 in-context 神经反馈方法,测试 5 个家族共 10 个 9B 到 32B 的开放权重模型,检验语言模型能否控制自身激活。部分模型能明显移动自己的激活分数,但幅度不超过同等能力的写手模型;预填固定句子后仅 3 个模型表现出小而稳定的控制效应;在欺骗监测器实验中无模型能降低监测分数,仅 1 个模型能抬高它。作者认为这种控制能力尚不构成对激活监测器的威胁,但需随模型演进持续追踪。

    推荐理由:论文用跨模型写手和预填句子的实验设计,把任务能力与对自身激活的真实控制区分开,结论有明确证据支撑。

  1. GitHub · 去对齐工具与仓库63

    psm-mixture-test 仓库对 Persona Selection Model 做定量检验

    OzAmram 在 GitHub 开源 psm-mixture-test 仓库,用 Olmo-3-1025-7B base 与 Olmo-3-7B-Instruct 一对开放权重模型,对 Persona Selection Model(Marks, Lindsey & Olah 2026)做定量检验,Qwen2.5-7B 系列作跨家族对照。

    推荐理由:原文用固定的一对开源权重模型做了完整可复现的定量检验,给出了混合拟合误差、AUROC 和软前缀差距等具体数字。

已经到底了