GitHub · 去对齐工具与仓库·· 14 天前AI 评分49
MacKV-Opt 发布:优化 Apple Silicon Mac 上的 KV cache,支持更长本地 AI 对话
Openplan-pricklyedgedleaf841/MacKV-Opt
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Openplan-pricklyedgedleaf841/MacKV-Opt
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
MacKV-Opt 是一款面向 Apple Silicon Mac 的开源工具,通过管理 KV cache 让本地大模型支持更长的对话上下文,兼容 GGUF 格式模型和 Ollama。软件要求 M1/M2/M3 系列芯片、至少 16GB 统一内存和 macOS 13.0 及以上,支持 32k tokens 等上下文窗口的 benchmark 测试,提供 tokens-per-second 与内存用量统计,完全本地运行,数据不出设备。
来源:GitHub · 去对齐工具与仓库 · github.com