Reddit · r/LocalLLaMA· /u/Physical_Toe_2499·· 21 天前精选AI 评分67
YoungAi 引擎在单台 DGX Spark 上运行 DeepSeek V4.1 Flash:113.6 GB 基座加 40 MB 领域边车
DeepSeek V4.1 Flash on a single DGX Spark: 113.6 GB VQ base + 40 MB domain sidecars, 74–82% top-1 agreement vs original
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Physical_Toe_2499
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wz06hj/deepseek_v41_flash_on_a_single_dgx_spark_1136_gb/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开发者 /u/Physical_Toe_2499 发布 YoungAi,一个原生 C/CUDA 推理引擎,将约 510 GB 的 DeepSeek V4.1 Flash 压缩为 113.6 GB VQ 基座 GGUF 加每个领域约 40 MB 的领域边车文件,在单台 NVIDIA DGX Spark(GB10,128 GB 统一内存)上运行。
推荐理由
作者给出了各领域 top-1 一致率、KL、PPL 和实测吞吐数据,还坦陈了后训练文件不泛化等局限,便于读者自行评估这套部署方案。
来源:Reddit · r/LocalLLaMA · reddit.com