GitHub · 去对齐工具与仓库·· 3 小时前精选AI 评分64
腾讯混元发布 DiagSafe 大模型安全诊断基准，含 3489 条提示词与逐条评分规则
Tencent-Hunyuan/DiagSafe
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Tencent-Hunyuan/DiagSafe
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
腾讯混元开源 DiagSafe，一个面向大语言模型的诊断式安全评测基准，包含 3489 条中英约 1:1 的提示词（DiagBase 2401 条、DiagAttack 1088 条）、84 标签三级安全分类体系和逐提示词的评分规则（rubric）评测。基于 236 条人工标注对照，rubric 评审与人工一致率最高达 95.34%，跨评审模型 Cohen's κ 为 0.828 至 0.864，优于安全分类器和通用安全提示词范式。
推荐理由
原文给出与人工标注最高 95.34% 一致率的评分范式对比，以及 11 个模型在指令攻击下不安全率升至 1.9 至 8.4 倍的实测数据。
来源：GitHub · 去对齐工具与仓库 · github.com