压缩传递限制形式实验得出阴性结果:命令式未必更易保留
热点事件持续更新
压缩传递限制形式实验得出阴性结果:命令式未必更易保留
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
独立研究者 YakamozWibez 在 GitHub 发布了预注册的阴性结果仓库,报告 LLM 在 25 词预算内压缩移交消息时,命令式保密限制("Do not mention this.")并不比描述式("This is private.")更易保留。实验覆盖 36 个场景 × 5 种框架 × 3 个压缩模型(gpt-5-mini、Qwen3.6-Plus、DeepSeek-V4.1-Flash)共 540 次移交,预注册假设未被支持,三个模型的 Δ 均为负(gpt-5-mini 达 −0.333)。观察到的机制是:命令常被压缩者直接执行而事实消失,描述则连同事实一起传递。 作者明确标注该结果为探索性、未经同行评审、非论文。评判模型 gpt-5 的效度校验也失败,因此结论仅为临时性;实验中限制置于双消息短对话的最后一条,属于简单设置,结论未必适用于长对话或限制混在其他事实中的情况;60 行数据的人工核查也尚未完成。
AI 根据报道生成 · 42 分钟前更新
最新进展11月5日 15:20
LLM 移交压缩保密限制实验的阴性结果:命令式并不比描述式更易保留(GitHub · 灵魂体仓库)报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- GitHub · 灵魂体仓库LLM 移交压缩保密限制实验的阴性结果:命令式并不比描述式更易保留(GitHub · 灵魂体仓库)
一项预注册实验测试了 LLM 智能体在 25 词预算内压缩移交消息时,命令式保密限制("Do not mention this.")是否比描述式("This is private.")更易保留。36 个场景 × 5 种框架 × 3 个压缩模型(gpt-5-mini、Qwen3.6-Plus、DeepSeek-V4.1-Flash)共 540 次移交,三模型 Δ 均为负(gpt-5-mini 达 −0.333),判定 FAIL;命令常被压缩者直接执行而事实消失,描述则连同事实一起传递。评判模型 gpt-5 的效度校验也失败,结论仅为临时性。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。