GitHub · 灵魂体仓库·· 3 小时前AI 评分49
LLM_fully_correlated_posteriors:在 SmolLM2 上实现完全相关投影后验
osquera/LLM_fully_correlated_posteriors
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/osquera/LLM_fully_correlated_posteriors
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
该开源仓库将论文《Bayes without Underfitting》(Miani, Roy & Hauberg,arXiv:2410.16901)应用于 SmolLM2-135M,先做 LoRA 微调(P=460,800),再从完全相关投影后验采样不确定性。因因果语言模型的完整雅可比矩阵不可逆,实现改用 §4.1 的 loss-Jacobian 变体;当 R×P 可放进内存时精确 SVD 路径比交替投影快约 1000x(残差 4.3e-08),token 模式下则只能用交替投影(采样约 22 GPU 小时)。评测涵盖 BMA NLL、accuracy、ECE、OOD AUROC 等指标。
来源:GitHub · 灵魂体仓库 · github.com