Reddit · r/LocalLLaMA· /u/x_Raincandy_x·· 20 天前AI 评分49
训练出约 2 万参数的语言模型 MacroStories,仍能写故事
Trained a ~20K LM (probably smallest) that can still write stories
来源与原文
Reddit · r/LocalLLaMA
作者:/u/x_Raincandy_x
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wzp2ja/trained_a_20k_lm_probably_smallest_that_can_still/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户发布仅 19,969 参数(81 KB FP32)的语言模型 MacroStories,比 1M 参数的 TinyStories 模型小约 50 倍,采用 32 维隐藏状态、378-token 词表和共享权重循环复用的单个 decoder block。它虽非通用 LM,但能在受限故事分布内生成 100–300 词、含目标与结局的连贯叙事,且在 CPU 上即可极快运行、无需 GPU。
来源:Reddit · r/LocalLLaMA · reddit.com