跳到正文
Reddit · r/LocalLLaMA· /u/Physical_Toe_2499·· 21 天前精选AI 评分67

YoungAi 引擎在单台 DGX Spark 上运行 DeepSeek V4.1 Flash:113.6 GB 基座加 40 MB 领域边车

DeepSeek V4.1 Flash on a single DGX Spark: 113.6 GB VQ base + 40 MB domain sidecars, 74–82% top-1 agreement vs original

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Physical_Toe_2499

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1wz06hj/deepseek_v41_flash_on_a_single_dgx_spark_1136_gb/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开发者 /u/Physical_Toe_2499 发布 YoungAi,一个原生 C/CUDA 推理引擎,将约 510 GB 的 DeepSeek V4.1 Flash 压缩为 113.6 GB VQ 基座 GGUF 加每个领域约 40 MB 的领域边车文件,在单台 NVIDIA DGX Spark(GB10,128 GB 统一内存)上运行。

推荐理由

作者给出了各领域 top-1 一致率、KL、PPL 和实测吞吐数据,还坦陈了后训练文件不泛化等局限,便于读者自行评估这套部署方案。

来源:Reddit · r/LocalLLaMA · reddit.com