Starlight 运行时消融版 Qwen3.8-Flash-Next 量化模型发布
先了解这件事
feverdoingwork 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 iq3_xxs_turbo 消融(abliterated)量化文件,文件 54.68 GiB,专供 Starlight 推理引擎使用,采用基础模型的 Qwen Community License 1.0 许可证。 该文件权重与普通版逐字节一致,仅多一个 10 KB 的 starlight.ablate_r 张量,由 Starlight 引擎在运行时从 144 个写入残差流的矩阵输出中移除拒绝方向。文件不支持 Transformers、llama.cpp、Ollama、LM Studio 等其他程序。 Starlight 项目在 RX 9070 XT 上实测:拒绝测试从普通版的 8/20 降到 20/20 全部回答,218 代能力评分 178 与普通版持平,解码速度为 120.1 对 122.0 tokens/s。
AI 根据报道生成 · 4 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hugging Face · 新模型:abliterated精选Qwen3.8-Flash-Next 的 Starlight 运行时 abliterated 量化文件发布,54.68 GiB 附拒绝率实测
feverdoingwork 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 iq3_xxs_turbo abliterated 版本,专供 Starlight 推理引擎使用,文件 54.68 GiB,权重与普通版逐字节一致,仅增加一个 10 KB 的 starlight.ablate_r 张量,由引擎在运行时从 144 个写入残差流的矩阵输出中移除拒绝方向。Starlight 项目在 RX 9070 XT 上实测,拒绝测试从普通版的 8/20 降到 0/20 通过(20/20 全回答),218 代能力评分 178 与普通版持平,解码速度 120.1 对 122.0 tokens/s。