跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分44

Raina-Xin/PA_Score:面向 LLM 不确定性量化的保形预测 Paraphrase-Aware 评分开源实现(NeurIPS 2026 Poster)

Raina-Xin/PA_Score

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Raina-Xin/PA_Score

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Raina-Xin 开源 PA_Score,这是 NeurIPS 2026 poster 论文《Conformal Prediction with Paraphrase-Aware Scoring for LLM Uncertainty Quantification》的官方实现。该方法在 LLM 隐藏表示上训练轻量 proxy 模型并聚合多个改写问题的预测分数,与保形校准结合以降低语义等价改写带来的预测集波动。主流程以 Qwen3-8B 作为答案模型,跨 LLM 实验还使用 Llama-3.1-8B-Instruct 和 Phi-3-small-8k-instruct,在多个 UQ 基准上预测集更紧凑且经验覆盖率接近名义目标。

来源:GitHub · 去对齐工具与仓库 · github.com