跳到正文
我的
Reddit · r/LocalLLaMA· /u/GodComplecs·· 9 小时前AI 评分38

在单张 RTX 3090 上运行 DeepSeek V4.1:约 20 tokens/s

Running deepseek on one RTX 3090: 20tks

来源与原文

Reddit · r/LocalLLaMA

作者:/u/GodComplecs

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xoykiu/running_deepseek_on_one_rtx_3090_20tks/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

用户在单张 RTX 3090 上通过 Xolotl 运行高度量化的 DeepSeek V4.1,使用官方 DeepSeek 参数配置,通用问题约达 20 tokens/s,High 设置下回答质量与 DeepSeek 官网对比表现良好。此前更小的 V4 flash 仅约 8 tokens/s,该用户配有 80GB DDR4 内存和 NVMe。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。