Reddit · r/LocalLLaMA· /u/Brief-Tap-6616·· 2 小时前同新闻AI 评分66
LlamAmpere v0.6 发布：单张 3090 跑 27B 模型在 100K token 下达 110+ TPS
110+ TPS through 100K tokens with 27b on a single 3090, with 400k ctx
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Brief-Tap-6616
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xhpqhz/110_tps_through_100k_tokens_with_27b_on_a_single/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开发者发布 LlamAmpere v0.6，在单张 3090 上以 27B 模型在 100-105K token 区间取得平均 112 TPS，并支持超 400K 上下文（23.5GB 显存占用）。TPS 提升约 13%，prompt processing 提升约 20%，prefill 前 100K 平均从约 1080 升至约 1300 TPS；同时推出新量化格式 Ampere Integer+，与 EXL3 的 KLD 相近但速度明显更快，推荐模型在 KLD 上好约 10% 且小 1.2 GB。相关代码在 GitHub（github.com/JakeATX/llamAmpere），模型已上架 Hugging Face。
同一新闻，精选展示《jakeatx 发布 qwen3.8-27b-Swift1.5-Uncensored 的 ATX-AI4 量化文件》
来源：Reddit · r/LocalLLaMA · reddit.com