作者将 Gemma 4 26B-A4B 剪枝到 15% 仍保持窄任务表现

Reddit 用户 /u/Accomplished_Ad_56 将 MoE 模型 Gemma 4 26B-A4B 剪枝到原大小的 15%，在一个分类任务上与原模型达到 92% 一致率，接近 12B 与 26B 之间 90% 的水平。做法是每层固定选 8 个专家使模型变为稠密（3.81B 参数，Q4_K_M 下 2.75 GB），并用块级训练在自家数据上对齐思考过程而非答案；在 Mac 上达到 79 tokens/s，约为 12B 的两倍，内存 3.8 GB。该方法号称可在约 5 GB 内存下于用户设备上训练，但尚未在真实用户设备上测试。详细过程见 https://tolby.app/blog/frankensteining-gemmas-experts。