Reddit · r/LocalLLaMA· /u/Whoa_damn_·· 3 天前精选AI 评分64
144M 的 julia-1 承包村庄模拟中多数村民决策,Gemma 4 e4b 只在异常时介入
a 144m model makes most of my villagers' choices, gemma 4 e4b only steps in when something goes wrong (6 gb laptop gpu)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Whoa_damn_
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xlzuf2/a_144m_model_makes_most_of_my_villagers_choices/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 /u/Whoa_damn_ 自建了一个 8 名村民的村庄模拟,用 supersonic labs 的 144M 参数模型 julia-1(ggml-org 的 gguf)在 CPU 上给村民可行动作打分,不生成文本,配合 embeddinggemma 在 CPU 上做记忆,每次决策前取最近的 3 条相关过往。只有当小模型不确定或出现计划失败、受伤、路径被堵等情况时,才调用 6GB 笔记本 GPU 上的 Gemma 4 e4b;实测 julia-1 在危机时刻的首选概率通常达 0.81 到 0.90,Gemma 多因出事而非犹豫被调用。
推荐理由
作者实测了小模型分工驱动村庄模拟的完整方案,并给出概率数据和踩坑细节,方法可迁移到本地 Agent 设计。
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。