跳到正文
我的

模型与平台

千问 Qwen 最新动态

阿里千问系列的开源权重发布、量化版与社区衍生变体。

161 条精选近 30 天 112 条共收录 596 条

更新

精选归档 · 第 9 页

8月17日周一第 161–161 条
  1. HauhauCS 发布 Qwen3.8-27B Aggressive 无对齐 GGUF 量化版并附带 FastMTP 加速方案

    HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化系列,实测拒绝率 0/465,保留文本、推理、Agent 及图像视频能力。全套量化提供 K_P 自定义档位,附带的 FastMTP 32K 加速 sidecar 相比无 MTP 最高达 3.02x 文档 TG 和 1.93x 推理 TG,比内嵌 MTP 最高快 35.2%/21.1%,实测基于 RTX PRO 6000 Blackwell 96GB。需配套 llama.cpp 补丁,vision 需单独 BF16 projector,原生上下文 262,144 token,可扩展至 1,000,000。

    推荐理由:原文给出了0/465拒绝实测和完整量化档位的MTP加速对比数据,读者可据此判断去对齐程度和各档位实际推理速度。