GitHub · 去对齐工具与仓库·· 18 天前AI 评分44
Raina-Xin/PA_Score:面向 LLM 不确定性量化的保形预测 Paraphrase-Aware 评分开源实现(NeurIPS 2026 Poster)
Raina-Xin/PA_Score
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Raina-Xin/PA_Score
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Raina-Xin 开源 PA_Score,这是 NeurIPS 2026 poster 论文《Conformal Prediction with Paraphrase-Aware Scoring for LLM Uncertainty Quantification》的官方实现。该方法在 LLM 隐藏表示上训练轻量 proxy 模型并聚合多个改写问题的预测分数,与保形校准结合以降低语义等价改写带来的预测集波动。主流程以 Qwen3-8B 作为答案模型,跨 LLM 实验还使用 Llama-3.1-8B-Instruct 和 Phi-3-small-8k-instruct,在多个 UQ 基准上预测集更紧凑且经验覆盖率接近名义目标。
来源:GitHub · 去对齐工具与仓库 · github.com