跳到正文
arXiv · cs.CL· Tzu-Quan Lin·· 7 天前AI 评分26

通过跨模态概念神经元揭示大型音频-语言模型中的音频-文本对齐机制

Uncovering Audio-Text Alignment in Large Audio-Language Models through Cross-Modal Concept Neurons

来源与原文

arXiv · cs.CL

作者:Tzu-Quan Lin

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.28189v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一项 arXiv 研究提出,大型音频-语言模型(LALM)中存在音频与文本表征对齐的共享子空间,并识别出同时表征音频与文本的跨模态神经元。研究在 3 个 LALM 和 4 类声学属性上发现不同程度的音频-文本神经元对齐。因果干预实验显示,这些神经元不仅对预测不可或缺,还可通过激活与去激活进行操控。

来源:arXiv · cs.CL · arxiv.org