GitHub · 去对齐工具与仓库·· 8 天前AI 评分36
FreeToken Windows 单卡版 freetoken-win-qwen3.8-flash-next:单张消费级 GPU 上跑 Qwen3.8-Flash-Next 长上下文 MoE
brz6699/freetoken-win-qwen3.8-flash-next
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/brz6699/freetoken-win-qwen3.8-flash-next
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
FreeToken(基于上游 main 58f4b9e、版本 0.1.3)发布面向 Windows 单卡 + 大内存的补丁分支,可在 RTX 5090 32 GB 等单 GPU 上通过 OpenAI/Anthropic 兼容 HTTP API 服务大型 MoE checkpoint。分支以 Qwen3.8-Flash-Next(qwen4_exp 架构)为参考,实现 turbo4 KV 压缩(约 516 字节/token、与 bf16 余弦 0.9887)、QSA 稀疏注意力扩展、BudgetSlider 运行时重平衡与多模态缓存复用,支持 1M-token KV 池;GLM-5.3-Flash 作为并行轨道适用同一套机制。
来源:GitHub · 去对齐工具与仓库 · github.com