跳到正文
GitHub · 3D 生成新仓库·· 14 天前精选AI 评分77

llamAmpere v0.5.4 发布:RTX 3090 专用 llama.cpp 分支,单卡塞下 Qwen3.8-27B 262,144 token 上下文

JakeATX/llamAmpere

来源与原文

GitHub · 3D 生成新仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/JakeATX/llamAmpere

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

JakeATX 发布面向 RTX 3090 / 3090 Ti(SM86)的 llama.cpp 分支 llamAmpere v0.5.4,运行带 MTP draft head 的 Qwen3.8-27B。v0.5 新增压缩 KV 缓存 SJ-KVaRN(4/4、3/3t、3/2t 配置),4/4 下比 v0.4 的 tq5_0/turbo4 缓存 KL 低 41%、缓存显存多 2%,262,144 token 上下文在 24 GB 单卡 4/4 配置下峰值 21,924 MiB;100K 深度任务基准上 tq5_0/turbo4 较 v0.4 提速 +8.41% ± 5.76%,SJ-KVaRN 4/4 为 +6.77% ± 2.68%。

推荐理由

原文给出了SJ-KVaRN压缩KV缓存的KL对比、显存占用和多种配置的实测tokens/s数据,读者可据此评估在单张RTX 3090上跑27B模型长上下文的可行性。

来源:GitHub · 3D 生成新仓库 · github.com