GitHub · 3D 生成新仓库·· 14 天前精选AI 评分77
llamAmpere v0.5.4 发布:RTX 3090 专用 llama.cpp 分支,单卡塞下 Qwen3.8-27B 262,144 token 上下文
JakeATX/llamAmpere
来源与原文
GitHub · 3D 生成新仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/JakeATX/llamAmpere
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
JakeATX 发布面向 RTX 3090 / 3090 Ti(SM86)的 llama.cpp 分支 llamAmpere v0.5.4,运行带 MTP draft head 的 Qwen3.8-27B。v0.5 新增压缩 KV 缓存 SJ-KVaRN(4/4、3/3t、3/2t 配置),4/4 下比 v0.4 的 tq5_0/turbo4 缓存 KL 低 41%、缓存显存多 2%,262,144 token 上下文在 24 GB 单卡 4/4 配置下峰值 21,924 MiB;100K 深度任务基准上 tq5_0/turbo4 较 v0.4 提速 +8.41% ± 5.76%,SJ-KVaRN 4/4 为 +6.77% ± 2.68%。
推荐理由
原文给出了SJ-KVaRN压缩KV缓存的KL对比、显存占用和多种配置的实测tokens/s数据,读者可据此评估在单张RTX 3090上跑27B模型长上下文的可行性。
来源:GitHub · 3D 生成新仓库 · github.com