GitHub · 灵魂体仓库·2026-10-06 05:50· 21 天前精选AI 评分60

conformal-llm：用保形预测为 Qwen2.5-3B 的 MMLU 答案生成带 90% 覆盖保证的选项集合

nepalanurag/conformal-llm

来源与原文

GitHub · 灵魂体仓库

发布时间：2026-10-06 05:50（北京时间）

完整链接与内容说明

https://github.com/nepalanurag/conformal-llm

本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。

AI 导读

作者让本地运行的 Qwen2.5-3B-Instruct（Q8_0 GGUF，经 llama.cpp）回答 MMLU 三个学科的 416 道选择题，用 split conformal prediction 把输出概率转成带数学保证的答案集合：每个集合以至少 90% 概率包含正确选项。

推荐理由

作者用 split conformal prediction 给小模型输出加了 90% 覆盖保证，并给出 LAC 与 APS 的实测对比数据，方法可复现。