zoracapri 发布 gemma-4-31B-Monadize-v0.1 微调模型,改善角色名重复问题
作者 /u/zoraruha 微调 Gemma 4 31B 发布了 Monadize(gemma-4-31B-Monadize-v0.1),通过调整 next-token 概率分布和单字符分词来减少 "Elara" "Elias" 这类高频名字的重复。temperature 为 1 时生成 30 个角色名和 30 个城市名,基座 Gemma 大量重复,Monadize 产出 60 个不重复名字,起始字母的 token 分布也明显更宽。作者还观察到叙事风格有变化,并提示这是实验性模型,以关闭 thinking 的方式微调,建议保持 thinking 关闭;模型发布在 https://huggingface.co/zoracapri/gemma-4-31B-Monadize-v0.1。
推荐理由:作者给出了基座与微调模型的 next-token 分布对比和 30+30 命名实测数据,方法与结果都可复现查看。