Reddit · r/LocalLLaMA· /u/vigmarcarlo·· 22 天前精选AI 评分62
OntoPrune 开源:神经符号上下文剪枝让 Ollama 本地 CPU 的 TTFT 快 6.7 倍
[Project] OntoPrune: 6.7x faster TTFT on local CPU with Ollama by neuro-symbolic context pruning (83-86% token savings + 0% hallucinations)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/vigmarcarlo
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wy6qvf/project_ontoprune_67x_faster_ttft_on_local_cpu/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布开源中间件 OntoPrune(MIT 协议,https://github.com/vigmarcarlo/OntoPrune),通过把源码转为内存知识图谱、用 SPARQL 提取所编辑函数的 1-hop 闭包并渲染成类型化 Python stub,压缩上下文并校验生成代码。
推荐理由
作者给出完整基准数据,展示用神经符号上下文剪枝在本地 CPU 上把 TTFT 从 22.4 秒降到 3.3 秒的可复现做法。
来源:Reddit · r/LocalLLaMA · reddit.com