跳到正文
GitHub · 灵魂体仓库·· 18 天前精选AI 评分61

haa-llm-securitypro 开源:让大模型在作答前先做置信评估以抑制高置信错误

unbelievablejohn/haa-llm-securitypro

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/unbelievablejohn/haa-llm-securitypro

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 用户 unbelievablejohn 发布 haa-llm-securitypro 原型,让模型在生成答案前先输出置信分,低分直接拒答,高分答案再由异厂商模型(智谱 GLM 主答、DeepSeek 验证)独立核对并做程序层实体比对。在 54 条自建样本上,验证层把 confident-wrong 从 7 条降到 1 条,减少 86%,过度拒答保持 1 条未增加。项目还给出置信分实为非连续刻度(30 到 88 之间无样本)、智谱 GLM 置信分波动是 DeepSeek 的 9 倍、ECE 达 33.1%、20 条 Red Team 对抗用例被攻破率 10%、以及 790 题 TruthfulQA 外部验证等结果,并附完整代码与各评测报告。

推荐理由

项目用对照实验和重复测量量化了模型自报置信分的失真,验证层对高置信错误的削减有数据支撑,方法可迁移到自建检索或作答流水线。

来源:GitHub · 灵魂体仓库 · github.com