跳到正文
GitHub · 3D 生成新仓库·· 3 小时前AI 评分19

IIT Bhilai 课设扩展 MPLMM:用 2D 空间特征、检索增强与 MoE 应对多模态缺失

siddhisingh9/mplmm-project

来源与原文

GitHub · 3D 生成新仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/siddhisingh9/mplmm-project

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

印度理工学院 Bhilai 分校的课程项目在 MPLMM(Guo et al., ACL 2024)基础上,改进文本、音频或视频缺失时的情感分析与情绪识别鲁棒性。项目已复现 MPLMM 基线,并实现检索增强提示(RAGPrompt)和专家混合生成器(MoEPrompt),2D 空间特征卷积仅部分完成,Residual RAG 尚未开始。评测覆盖 CMU-MOSI、CMU-MOSEI、CH-SIMS 和 IEMOCAP 四个英文和中文基准,代码以 MIT License 开源。

来源:GitHub · 3D 生成新仓库 · github.com