跳到正文
GitHub · 灵魂体仓库·· 21 天前AI 评分46

comp2501 项目:交叉检查之后我们能更信任 AI 吗?——多模型事实题对照实验

ThomasLin070217/comp2501-ai-reliability

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ThomasLin070217/comp2501-ai-reliability

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

香港大学 comp2501 课程项目用多模型交叉检验 AI 事实题回答,跨模型检查相对自行复核的事实错误率为 43.94%→44.64%,数学为 4.02%→2.01%,区间均含零,无法确认稳定收益。实验基于 Google SimpleQA Verified 选取题目,正式轮含 120 题、5,040 条响应;面对错误建议时结构化核验将错误回答从 377/719 降到 258/719,但主要靠弃答实现。面对正确建议时,真正纠错由 76/322 降至 45/322,项目累计付费约 ¥56.92,数据与 R 复现脚本全部公开。

来源:GitHub · 灵魂体仓库 · github.com