跳到正文
Reddit · r/LocalLLaMA· /u/Vladowski·· 5 天前AI 评分29

在 2000 欧元 PC 上跑通 748B DeepSeek-V4.1-Flash

Tried running 748B DeepSeek-V4.1-Flash on a €2k PC

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Vladowski

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xburkx/tried_running_748b_deepseekv41flash_on_a_2k_pc/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位用户在不到 2000 欧元的二手 PC(RTX 3090 24GB、128GB DDR4、i9-9900X)上运行了 748B 参数的 DeepSeek-V4.1-Flash-1017,采用 1-bit 量化(Unsloth UD-IQ1_S GGUF,磁盘占用 233GB),通过 llama.cpp 实测速度 7.2 tok/s。110GB Engram 表留在 NVMe 上按需读取,上下文长度 16384;作者认为实用性有限,Qwen 模型在该配置下表现更好。

来源:Reddit · r/LocalLLaMA · reddit.com