tatra-labs 开源 nano-pixelmoe：约 260 行实现像素空间扩散的 LLM 式混合专家

tatra-labs 发布 nano-pixelmoe，用约 260 行代码独立实现 PixelMoE 论文（arXiv:2610.18857）方法，将 LLM 式 mixture-of-experts 原样迁移到无 VAE、无 tokenizer 的像素空间扩散。实现在 RTX 5060 Laptop 上训练，CIFAR-10 上 64.2M 参数（每 token 激活 27.0M）FID 26.43，与匹配激活参数的 dense 基线 26.73 在 10k 样本噪声范围内持平；展示了无辅助损失的负载均衡（最忙专家为平均负载 1.6 倍）及专家按内容和噪声水平分工的路由图。作者指出论文的收益出现在 200M+ 激活参数规模，并附完整训练与采样命令。