arXiv · cs.CL· Fabian Gröger·· 14 天前AI 评分51
Rethinking Projector Training in Multimodal LLMs：PORTAL 免训练 projector 初始化方法发布
Rethinking Projector Training in Multimodal LLMs
来源与原文
arXiv · cs.CL
作者：Fabian Gröger
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.18598v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Fabian Gröger 在 arXiv 论文（NeurIPS 2026 camera-ready）中提出 PORTAL，一种无需配对图文数据与梯度优化的免训练 projector 初始化方法。研究发现仅用 10 到 20% 数据训练 projector 即可恢复大部分下游性能，且不同数据集训练的 projector 可线性插值，表明该阶段主要做粗对齐。PORTAL 通过在共享主子空间上计算视觉与语言特征高斯近似间的最优传输映射跳过 projector 训练，在 6 个 LLM 骨干、2 个视觉编码器和 16 个基准上匹配 558k 图文对训练的标准流程，在 7 组设置中 3 组超越该流程，其余 4 组平均达到其 98% 的分数。论文链接：https://arxiv.org/abs/2610.18598v1
来源：arXiv · cs.CL · arxiv.org