arXiv · cs.AI· Na Min An·· 15 天前AI 评分51
Omni-Modal LLMs Know More Than They Say：全模态模型感知正确却难以表达非文本模态信息
Omni-Modal LLMs Know More Than They Say
来源与原文
arXiv · cs.AI
作者：Na Min An
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.16135v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 arXiv:2610.16135 提出全模态大语言模型（Omni-LLMs）存在 knows-but-cannot-say 现象，即模型能正确感知视觉、音频、IMU 等非文本模态信息，却无法在回复中表达出来。作者提出 token 级模态对齐指标 TMA，发现非文本表征与回复 token 的对齐度和获得的注意力都低于文本表征，并提出 perceive→infer 策略 OmniCatalyst，用模型自生成的文本补充原始模态输入；在七个 Omni-LLM 上平均提升 7.29%，使模态偏好更均衡，知识提取阶段会提高 TMA。论文共 36 页、25 图、14 表，代码已开源。
来源：arXiv · cs.AI · arxiv.org