用户实测 Basalt 让 5060 Ti 16GB 跑出 75 tok/sec

Reddit 用户 /u/ironicstatistic 发帖感谢 Basalt 作者，Basalt 是面向 Blackwell 硬件的 Strata 分支。作者用 5060 Ti 16GB 加 32GB 内存在 128k 上下文下跑出 75 tok/sec 生成和 1200 prefill（q2 量化模型），代价是 KV cache 需用 q4 且系统仅剩约 5GB 内存可用；还请 deepseek4 帮忙加了 build flag 来分配更多内存。作者称 Basalt 作者曾主动联系解答问题，项目地址为 https://github.com/jesdga95/basalt。