跳到正文
Reddit · r/LocalLLaMA· /u/vigmarcarlo·· 22 天前精选AI 评分62

OntoPrune 开源:神经符号上下文剪枝让 Ollama 本地 CPU 的 TTFT 快 6.7 倍

[Project] OntoPrune: 6.7x faster TTFT on local CPU with Ollama by neuro-symbolic context pruning (83-86% token savings + 0% hallucinations)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/vigmarcarlo

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1wy6qvf/project_ontoprune_67x_faster_ttft_on_local_cpu/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者发布开源中间件 OntoPrune(MIT 协议,https://github.com/vigmarcarlo/OntoPrune),通过把源码转为内存知识图谱、用 SPARQL 提取所编辑函数的 1-hop 闭包并渲染成类型化 Python stub,压缩上下文并校验生成代码。

推荐理由

作者给出完整基准数据,展示用神经符号上下文剪枝在本地 CPU 上把 TTFT 从 22.4 秒降到 3.3 秒的可复现做法。

来源:Reddit · r/LocalLLaMA · reddit.com