Reddit · r/LocalLLaMA· /u/BangMyPussy·· 22 天前精选AI 评分67
Project Athena 开源:用 Git 版本化 Markdown 把本地编码 Agent 的 KV cache 压到 2K token 内
Stop using 30K-token system prompts for local coding agents. How a plain Git-versioned Markdown harness keeps KV cache under 2K tokens with Ollama / llama.cpp (Open Source)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/BangMyPussy
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wy7ymf/stop_using_30ktoken_system_prompts_for_local/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者开源了 Project Athena v9.9.9 内核(MIT 协议),用 Git 版本化的 Markdown 文件把状态存磁盘而非上下文窗口,/start 只加载检查点和核心约束,使 KV cache 保持在 2K token 以内,90% 以上上下文留给代码与推理。
推荐理由
作者用 1900 多个真实会话验证了把状态放磁盘的做法,给出了 KV cache 压到 2K token 内和 prefill 延迟的具体变化。
来源:Reddit · r/LocalLLaMA · reddit.com