GitHub · 灵魂体仓库·· 16 天前AI 评分46
inspect-cot-audit:基于 Inspect AI 的 CoT 对齐审计评测库
seanjyu/inspect-cot-audit
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/seanjyu/inspect-cot-audit
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
inspect-cot-audit 是一个面向 Inspect AI 的评测库,用于分析大语言模型思维链(CoT)对齐、检测欺骗性或隐蔽推理,并对推理轨迹执行反事实干预实验。它提供 provider 无关的 CoT 解析、manual/llm/hybrid 等四种意图-行动一致性打分模式,以及通过消融、变异和假前提注入测试 CoT 是否真正驱动下游工具执行的因果干预引擎,并用 pandas DataFrame 输出 Precision、Recall、FPR 等指标。项目要求 Python 3.12+,可通过 pip install 安装。
来源:GitHub · 灵魂体仓库 · github.com