Reddit · r/LocalLLaMA· /u/returnity·· 8 天前精选AI 评分59
DeepSeek v4.1 Flash 1017 量化版发布,M5 Max 上解码可达 20tps
DeepSeek v4.1 Flash 1017 for Dwarfstar (ds4)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/returnity
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x8tr2c/deepseek_v41_flash_1017_for_dwarfstar_ds4/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 /u/returnity 为 DeepSeek v4.1 Flash 1017(ds4)制作并发布了量化版本,需其 PR 才能加载新的 vision tower。量化沿用 antirez 原版 DS4.1 Q2 配方:2-bit 路由专家加 8-bit 及以上精度处理其余部分,imatrix 基于 1017 构建,并保留原版 FP8 engram 表。模型 wired backbone 超过 150GB,可在 128GB 内存系统上从 SSD 流式加载,M5 Max 上解码速度最高 20tps;约 200GB 的 engram 表按需从 SSD 分页调入。该版本中约 40% 路由专家张量、30% engram 和约 50% vision tower 专家张量有改动。
推荐理由
作者给出了量化配方、模型体积与 M5 Max 上的解码速度等实测细节,本地部署用户可参考其 SSD 流式加载方案。
来源:Reddit · r/LocalLLaMA · reddit.com