热点事件持续更新

YinRachel 发布有害智能体微调防御研究仓库

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

YinRachel 发布 Safe LLM Agent 研究仓库，研究含少量有害样本的智能体工具调用数据微调如何削弱指令微调 LLM 智能体的安全性，并测试对齐阶段、微调阶段与事后防御能否在保留工具使用能力的同时恢复安全。实验基于 Qwen3-4B-Instruct-2507 与 Qwen2.5-3B-Instruct，用 LoRA SFT 在有害占比 0%、5%、10%、20% 的嵌套数据集上训练，评测覆盖 AgentHarm、HarmBench、ASB、Agent-SafetyBench、BFCL v3 与 τ²-bench。目前仅 p00 训练集已构建，p05–p20 的有害轨迹生成尚未完成，防御与 MOSAIC GRPO 也尚未在 GPU 上运行，因此尚无实验结果。仓库说明称，results/ 与 trainset/ 因含有害提示和轨迹而被 git 忽略，不应发布。

AI 根据报道生成 · 57 分钟前更新

最新进展11月7日 18:34

Safe LLM Agent：有害智能体微调与生命周期防御研究

报道时间线

沿着报道，了解事件的不同侧面。

11月7日

18:34
GitHub · 灵魂体仓库
Safe LLM Agent：有害智能体微调与生命周期防御研究
Safe LLM Agent 项目研究含少量有害样本的智能体工具调用数据微调如何削弱指令微调 LLM 智能体的安全性，并测试对齐阶段、微调阶段与事后防御能否在保留工具使用能力的同时恢复安全。实验基于 Qwen3-4B-Instruct-2507 与 Qwen2.5-3B-Instruct，用 LoRA SFT 在有害占比 0%、5%、10%、20% 的嵌套数据集上训练，评测覆盖 AgentHarm、HarmBench、ASB、Agent-SafetyBench、BFCL v3 与 τ²-bench。目前 p00 训练集已构建，p05–p20 有害轨迹生成待完成，防御与 MOSAIC GRPO 尚未在 GPU 上运行。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。