跳到正文
GitHub · 去对齐工具与仓库·· 14 天前AI 评分49

MacKV-Opt 发布:优化 Apple Silicon Mac 上的 KV cache,支持更长本地 AI 对话

Openplan-pricklyedgedleaf841/MacKV-Opt

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Openplan-pricklyedgedleaf841/MacKV-Opt

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

MacKV-Opt 是一款面向 Apple Silicon Mac 的开源工具,通过管理 KV cache 让本地大模型支持更长的对话上下文,兼容 GGUF 格式模型和 Ollama。软件要求 M1/M2/M3 系列芯片、至少 16GB 统一内存和 macOS 13.0 及以上,支持 32k tokens 等上下文窗口的 benchmark 测试,提供 tokens-per-second 与内存用量统计,完全本地运行,数据不出设备。

来源:GitHub · 去对齐工具与仓库 · github.com