GitHub · 灵魂体仓库·· 1 小时前AI 评分42
Safe LLM Agent:有害智能体微调与生命周期防御研究
YinRachel/safe-llm-agent
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/YinRachel/safe-llm-agent
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Safe LLM Agent 项目研究含少量有害样本的智能体工具调用数据微调如何削弱指令微调 LLM 智能体的安全性,并测试对齐阶段、微调阶段与事后防御能否在保留工具使用能力的同时恢复安全。实验基于 Qwen3-4B-Instruct-2507 与 Qwen2.5-3B-Instruct,用 LoRA SFT 在有害占比 0%、5%、10%、20% 的嵌套数据集上训练,评测覆盖 AgentHarm、HarmBench、ASB、Agent-SafetyBench、BFCL v3 与 τ²-bench。目前 p00 训练集已构建,p05–p20 有害轨迹生成待完成,防御与 MOSAIC GRPO 尚未在 GPU 上运行。
来源:GitHub · 灵魂体仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。