跳到正文
Reddit · r/LocalLLaMA· /u/x_Raincandy_x·· 20 天前AI 评分49

训练出约 2 万参数的语言模型 MacroStories,仍能写故事

Trained a ~20K LM (probably smallest) that can still write stories

来源与原文

Reddit · r/LocalLLaMA

作者:/u/x_Raincandy_x

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1wzp2ja/trained_a_20k_lm_probably_smallest_that_can_still/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Reddit 用户发布仅 19,969 参数(81 KB FP32)的语言模型 MacroStories,比 1M 参数的 TinyStories 模型小约 50 倍,采用 32 维隐藏状态、378-token 词表和共享权重循环复用的单个 decoder block。它虽非通用 LM,但能在受限故事分布内生成 100–300 词、含目标与结局的连贯叙事,且在 CPU 上即可极快运行、无需 GPU。

来源:Reddit · r/LocalLLaMA · reddit.com