CogniCore实测BM25记忆索引内存开销
先了解这件事
CogniCore作者Neither-Witness-6010公布了进程内BM25记忆索引的实测数据:1k、5k、10k条目分别占用4.8 MB、23 MB、46 MB内存,磁盘JSON为1.7 MB、8.4 MB、17 MB,检索延迟为7 ms、34 ms、68 ms,约每条目4.6 KB内存与1.7 KB磁盘且均线性增长。 作者称主要成本是每条目常驻的TF-IDF字典而非词表,检索是线性扫描而非倒排索引,延迟随条目数增长到25k约170 ms,持久化每次写入重写整个JSON文件使插入成本呈二次增长。 该后端默认上限为10,000条,超出后淘汰相关性最低的条目而非继续增长;作者认为约10k条目适合个人智能体的历史记录,更大规模应改用嵌入向量或真正的索引。CogniCore为MIT许可、免费,作者表示约40行的基准脚本可共享复现。
AI 根据报道生成 · 19 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选实测进程内 BM25 记忆索引在 1k/5k/10k 条目下的内存占用
CogniCore 作者实测了进程内 BM25 记忆索引的本地开销:1k、5k、10k 条目分别占用 4.8 MB、23 MB、46 MB 内存,磁盘 JSON 为 1.7 MB、8.4 MB、17 MB,检索延迟为 7 ms、34 ms、68 ms,约每条目 4.6 KB 内存与 1.7 KB 磁盘且均线性增长。作者指出主要成本是每条目常驻的 TF-IDF 字典而非词表,检索是线性扫描而非倒排索引,延迟随条目数增长到 25k 约 170 ms,持久化每次写入重写整个 JSON 文件使插入成本呈二次增长。后端默认上限为 10,000 条,超出后淘汰相关性最低的条目,作者认为约 10k 条目适合个人智能体的历史记录,更大规模应改用嵌入向量或真正的索引。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。