GitHub · 灵魂体仓库·· 19 天前精选AI 评分72
Tylogi 开源 MFQ 量化与推理基础设施，Mac Studio 单机直跑 476 GB DeepSeek V4.1 Flash
Tylogi/MFQ
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Tylogi/MFQ
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Tylogi 在 GitHub 开源 MFQ（TyloQuant），一套结合 SQ/VQ 格式与细粒度混合精度校准的量化与 CUDA/Metal 推理基础设施，采用 Apache 2.0 许可。项目演示在 512 GB Apple M3 Ultra 上直接以 raw-HF Safetensors 运行 476 GB 的 DeepSeek V4.1 Flash，batch size 1、32,768 上下文下 TG 为 18.29 tok/s，启用高接受率 MTP 后达 33.46 tok/s（+83.0%）。
推荐理由
开源量化与推理工具，给出固定评测协议下与 Unsloth Dynamic 基线的 KLD 对比和 Apple silicon 实测吞吐，方法可复现。
来源：GitHub · 灵魂体仓库 · github.com