tatra-labs 开源 nano-pixelmoe:约 260 行实现像素空间扩散的 LLM 式混合专家
tatra-labs 发布 nano-pixelmoe,用约 260 行代码独立实现 PixelMoE 论文(arXiv:2610.18857)方法,将 LLM 式 mixture-of-experts 原样迁移到无 VAE、无 tokenizer 的像素空间扩散。实现在 RTX 5060 Laptop 上训练,CIFAR-10 上 64.2M 参数(每 token 激活 27.0M)FID 26.43,与匹配激活参数的 dense 基线 26.73 在 10k 样本噪声范围内持平;展示了无辅助损失的负载均衡(最忙专家为平均负载 1.6 倍)及专家按内容和噪声水平分工的路由图。作者指出论文的收益出现在 200M+ 激活参数规模,并附完整训练与采样命令。
推荐理由:作者在单卡笔记本 GPU 上复现了 PixelMoE 的 MoE 路由机制,并给出与 dense 对照的 FID 数据和平衡路由结果,代码可自行训练。