arXiv · cs.AI· Mohamed Bouadi·· 13 天前AI 评分31
OrionMoE-v1.0：面向表格上下文学习的混合专家基础模型
OrionMoE-v1.0: A Mixture-of-Experts Foundation Model for Tabular In-Context Learning
来源与原文
arXiv · cs.AI
作者：Mohamed Bouadi
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.20418v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者推出紧凑型表格基础模型 OrionMoE-Small，基于双轴 Transformer 架构，沿特征轴选择性激活稀疏 MoE 专家，路由决策结合特征表示与数据集上下文。模型完全在由结构化因果先验生成的合成分类任务上预训练，无需梯度微调即可完成下游预测。在多个表格基准上与规模大得多的基础模型性能相当，在小上下文和高维数据集上表现尤为突出。
来源：arXiv · cs.AI · arxiv.org