跳到正文
GitHub · 去对齐工具与仓库·· 8 天前AI 评分36

FreeToken Windows 单卡版 freetoken-win-qwen3.8-flash-next:单张消费级 GPU 上跑 Qwen3.8-Flash-Next 长上下文 MoE

brz6699/freetoken-win-qwen3.8-flash-next

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/brz6699/freetoken-win-qwen3.8-flash-next

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

FreeToken(基于上游 main 58f4b9e、版本 0.1.3)发布面向 Windows 单卡 + 大内存的补丁分支,可在 RTX 5090 32 GB 等单 GPU 上通过 OpenAI/Anthropic 兼容 HTTP API 服务大型 MoE checkpoint。分支以 Qwen3.8-Flash-Next(qwen4_exp 架构)为参考,实现 turbo4 KV 压缩(约 516 字节/token、与 bf16 余弦 0.9887)、QSA 稀疏注意力扩展、BudgetSlider 运行时重平衡与多模态缓存复用,支持 1M-token KV 池;GLM-5.3-Flash 作为并行轨道适用同一套机制。

来源:GitHub · 去对齐工具与仓库 · github.com