Reddit · r/LocalLLaMA· /u/Low_Bad_6585·· 19 天前精选AI 评分73
Slow Vale 开发者复盘 800+ 常驻智能体城市的并发、缓存与推理成本实践
Running an LLM-driven town with 800+ persistent agents: concurrency, context caching, and inference costs
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Low_Bad_6585
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x0ms0m/running_an_llmdriven_town_with_800_persistent/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开发者独立构建的 LLM 生活模拟 Slow Vale 中国服已有 800+ AI 居民共享一座持续运行的城市,游戏内时间超过 350 天。每个角色每天约 300–400 次 LLM 调用,平均上下文约 30,000 token;10 月 7 日当天用 deepseek-flash 处理约 44.24 亿 token、163,742 次请求,费用 472.33 元人民币,缓存命中率超 90%。作者详述了并发推理与世界状态变更分离、动态动作空间改为普通文本 JSON 以保住前缀缓存、用 runbook 管理 AI 协作开发等做法;项目约 40 万行代码、2200 次提交、日均部署 3–5 次,中国服 DAU 从 9 月 10 日的 177 增至 10 月 7 日的 865。
推荐理由
开发者给出了持久多智能体系统的并发控制、动态动作空间与缓存命中率设计的具体做法,工程方法可直接迁移。
来源:Reddit · r/LocalLLaMA · reddit.com