跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分29

SycAudit:开源 LLM 谄媚度审计工具

ishikaa7/SycAudit

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ishikaa7/SycAudit

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

SycAudit 是一个研究级谄媚度审计工具,用于测量 LLM 在多大程度上迎合用户而非保持真实。它将单个提示词改写成多种框架变体,发送给多个免费额度模型构成 N×M 响应网格,用 LLM-as-judge 和自训 ML 分类器按五维度谄媚量表打分,计算 wobble 分数并返回谄媚度最低的回答。项目基于 UK AI Safety Institute 2026 年关于语言模型谄媚的研究,前端采用 React,后端为 Python + PostgreSQL,目前处于活跃开发状态。

来源:GitHub · 灵魂体仓库 · github.com