arXiv论文:多Agent上下文增49倍Token未提升软件保障效果
热点事件持续更新
arXiv论文:多Agent上下文增49倍Token未提升软件保障效果
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
一项 arXiv 研究(arXiv:2610.36947,S M Abdulla Al Mamun 等)通过五组实验评估增加专门大语言模型上下文能否改进软件保障,结论是:上下文增加大幅推高成本但未提升不安全代码的清除率,原始验证器反馈虽提高正确判定数,也带来更多错误判定。 实验使用 Qwen2.5-Coder-7B-Instruct(含 1.5B 敏感性分析),共完成 13,638 次模型请求,覆盖 Java 警告控制、OWASP Benchmark、Defects4J 测试生成、SV-COMP 断言判定等场景。结果显示上下文从 1 增至 50 使 token 用量增加 49 倍但清除率未提升;在 32 个 SV-COMP 任务上,验证器反馈将平均正确判定从 12.7 提高到 22.0,但错误判定也从 1 升至 7。 论文称这些结果支持在所测设置下采用确定性证据,同时揭示了判定聚合与反馈解释的局限。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 18:06
QASecClaw 之外:智能体扩展、验证器反馈与证据可靠性在软件保障中的研究报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv · cs.AIQASecClaw 之外:智能体扩展、验证器反馈与证据可靠性在软件保障中的研究
一项 arXiv 研究通过五组实验评估增加专门大语言模型上下文能否改进软件保障,被测系统为 Qwen2.5-Coder-7B-Instruct(含 1.5B 敏感性分析),共完成 13,638 次模型请求。结果显示上下文从 1 增至 50 使 token 用量增加 49 倍但未提升不安全代码的清除率;在 32 个 SV-COMP 任务上,原始验证器反馈将平均正确判定从 12.7 提高到 22.0,但错误判定也从 1 升至 7。研究支持在测试场景下采用确定性证据,同时揭示了判定聚合与反馈解释的局限。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。