跳到正文
Reddit · r/LocalLLaMA· /u/Ryyn_-·· 11 天前精选AI 评分68

单张32 GB显卡跑763B DeepSeek V4.1 Flash达50 tok/s,2-bit量化top-1一致率83.5%

763B DeepSeek V4.1 Flash on one 32 GB card: 50 tok/s, and what the 2-bit quant costs (top-1 agreement 83.5 %)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Ryyn_-

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xtbfnx/763b_deepseek_v41_flash_on_one_32_gb_card_50_toks/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者用一张 RTX PRO 4500(32 GB)、120 GB RAM 和自研 FLE 引擎,以 2-bit GGUF(ISTA DASLab GSQ-RCO IQ2_XXS,磁盘占用 232 GiB)本地运行 DeepSeek V4.1 Flash 1017,配合 DSpark draft model 五 token 提议实测 49.9 tok/s(不用 draft 为 37.2)。与原始权重相比,该量化的 KL 散度为 0.248、top-1 一致率 83.5%;速度受 DDR5 4800 内存带宽限制。作者还提到 125B Qwen3.8-Flash-Next 可在 16 GB 卡上以约 15 tok/s 运行。

推荐理由

作者同时给出2-bit量化对原始权重的KL散度和top-1一致率,速度与质量代价都有实测数据可参考。

来源:Reddit · r/LocalLLaMA · reddit.com