跳到正文
GitHub · 灵魂体仓库·· 3 小时前AI 评分49

LLM_fully_correlated_posteriors:在 SmolLM2 上实现完全相关投影后验

osquera/LLM_fully_correlated_posteriors

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/osquera/LLM_fully_correlated_posteriors

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

该开源仓库将论文《Bayes without Underfitting》(Miani, Roy & Hauberg,arXiv:2410.16901)应用于 SmolLM2-135M,先做 LoRA 微调(P=460,800),再从完全相关投影后验采样不确定性。因因果语言模型的完整雅可比矩阵不可逆,实现改用 §4.1 的 loss-Jacobian 变体;当 R×P 可放进内存时精确 SVD 路径比交替投影快约 1000x(残差 4.3e-08),token 模式下则只能用交替投影(采样约 22 GPU 小时)。评测涵盖 BMA NLL、accuracy、ECE、OOD AUROC 等指标。

来源:GitHub · 灵魂体仓库 · github.com