跳到正文
GitHub · 灵魂体仓库·· 16 天前AI 评分46

inspect-cot-audit:基于 Inspect AI 的 CoT 对齐审计评测库

seanjyu/inspect-cot-audit

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/seanjyu/inspect-cot-audit

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

inspect-cot-audit 是一个面向 Inspect AI 的评测库,用于分析大语言模型思维链(CoT)对齐、检测欺骗性或隐蔽推理,并对推理轨迹执行反事实干预实验。它提供 provider 无关的 CoT 解析、manual/llm/hybrid 等四种意图-行动一致性打分模式,以及通过消融、变异和假前提注入测试 CoT 是否真正驱动下游工具执行的因果干预引擎,并用 pandas DataFrame 输出 Precision、Recall、FPR 等指标。项目要求 Python 3.12+,可通过 pip install 安装。

来源:GitHub · 灵魂体仓库 · github.com