jakeatx 发布 Swift1.5 Uncensored ATX-AI4 量化文件并推出 llamAmpere v0.6
先了解这件事
jakeatx 在 Hugging Face 发布 qwen3.8-27b-Swift1.5-Uncensored-ATX-AI4 量化文件，采用 llamAmpere AI+ 格式，约 4.2 bits per weight、14.4 GB，保留 MTP draft head，不含 vision tower。该文件需 llamAmpere v0.6 及以上版本，不能在 mainline llama.cpp 中加载；该模型旧版 AI+ 文件已弃用，无法在 v0.6 中加载。 据发布者提供的实测数据，RTX 3090 Ti 上该文件 KL 散度比 IQ4_XS-M 低 10.4%，100K prompt 读取 1,337 tok/s（+8.9%）、写入 111.5 tok/s，峰值显存 17.3 GB；相比 llamAmpere v0.5 下的 IQ4_XS-M，v0.6 使用此文件写入快 13.5%、读取快 23%。配套发布的 llamAmpere v0.6 还支持经 SJKVaRN 实现超 400K 上下文（总占用 23.5 GB），发布者称后续将推出 2、3 bits 的更小量化。
AI 根据报道生成 · 44 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选LlamAmpere v0.6 发布：单张 3090 跑 27B 模型在 100K token 下达 110+ TPS
开发者发布 LlamAmpere v0.6，在单张 3090 上以 27B 模型在 100-105K token 区间取得平均 112 TPS，并支持超 400K 上下文（23.5GB 显存占用）。TPS 提升约 13%，prompt processing 提升约 20%，prefill 前 100K 平均从约 1080 升至约 1300 TPS；同时推出新量化格式 Ampere Integer+，与 EXL3 的 KLD 相近但速度明显更快，推荐模型在 KLD 上好约 10% 且小 1.2 GB。相关代码在 GitHub（github.com/JakeATX/llamAmpere），模型已上架 Hugging Face。
- Hugging Face · 新模型：uncensored精选jakeatx 发布 qwen3.8-27b-Swift1.5-Uncensored 的 ATX-AI4 量化文件
jakeatx 在 Hugging Face 发布 qwen3.8-27b-Swift1.5-Uncensored-ATX-AI4，为 llamAmpere AI+ 格式量化，约 4.2 bits per weight、14.4 GB，保留 MTP draft head，不含 vision tower，需 llamAmpere v0.6 及以上，不能在 mainline llama.cpp 加载。RTX 3090 Ti 实测显示 KL 散度比 IQ4_XS-M 低 10.4%，100K prompt 读取 1,337 tok/s（+8.9%），写入 111.5 tok/s，峰值显存 17.3 GB；相比 llamAmpere v0.5 的 IQ4_XS-M，v0.6 用此文件写入快 13.5%、读取快 23%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。