apple-16gb-local-llm 仓库：在 16GB Apple Silicon 上以 q8_0 KV cache 跑 64K 上下文本地 Hermes Agent

该仓库发布了一套在 16GB Apple Silicon iMac/Mac mini 上完全本地运行 Hermes Agent 的方案，用 Qwen3 8B Q4_K_M 配 64K 上下文与 8-bit KV cache，无需 API 密钥、无云端。Hermes 硬性要求至少 64000 token 上下文，默认 f16 下 64K 注意力内存达 9.00 GiB 不可用，改用 q8_0 后降至 4.78 GiB，llama-server 总占用约 10.47 GiB，剩余约 5.53 GiB。