开源仓库发布 SmolLM2 全相关投影后验实现与实验结果
热点事件持续更新
开源仓库发布 SmolLM2 全相关投影后验实现与实验结果
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
GitHub 仓库 LLM_fully_correlated_posteriors 发布了将论文《Bayes without Underfitting》（Miani, Roy & Hauberg，arXiv:2410.16901）应用于 SmolLM2-135M 的实现：先做 LoRA 微调（P=460,800），再从完全相关投影后验采样不确定性。因因果语言模型的完整雅可比矩阵不可逆，实现改用论文 §4.1 的 loss-Jacobian 变体。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 13:38
LLM_fully_correlated_posteriors：在 SmolLM2 上实现完全相关投影后验报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- GitHub · 灵魂体仓库LLM_fully_correlated_posteriors：在 SmolLM2 上实现完全相关投影后验
该开源仓库将论文《Bayes without Underfitting》（Miani, Roy & Hauberg，arXiv:2410.16901）应用于 SmolLM2-135M，先做 LoRA 微调（P=460,800），再从完全相关投影后验采样不确定性。因因果语言模型的完整雅可比矩阵不可逆，实现改用 §4.1 的 loss-Jacobian 变体；当 R×P 可放进内存时精确 SVD 路径比交替投影快约 1000x（残差 4.3e-08），token 模式下则只能用交替投影（采样约 22 GPU 小时）。评测涵盖 BMA NLL、accuracy、ECE、OOD AUROC 等指标。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。