CIIR:类索引接口表示学习框架,实现无配对多模态数据集间的模块化通信
arXiv 论文提出 CIIR,一种通过类索引地址空间连接异构数据集的模块化编码器-解码器框架,无需配对或实例匹配样本。模型用 128 维地址表示,从手写数字、服装图像、口语数字频谱图和手势中学习,label-free 接收器达到 94.7% 宏平均 Address Realization Accuracy;冻结地址空间后仅训练轻量适配器,MNIST>SVHN 和 SVHN>MNIST 端到端 Address Transfer Accuracy 分别为 90.2% 和 82.3%。