Reddit · r/LocalLLaMA· /u/GodComplecs·· 9 小时前AI 评分38
在单张 RTX 3090 上运行 DeepSeek V4.1:约 20 tokens/s
Running deepseek on one RTX 3090: 20tks
来源与原文
Reddit · r/LocalLLaMA
作者:/u/GodComplecs
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xoykiu/running_deepseek_on_one_rtx_3090_20tks/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
用户在单张 RTX 3090 上通过 Xolotl 运行高度量化的 DeepSeek V4.1,使用官方 DeepSeek 参数配置,通用问题约达 20 tokens/s,High 设置下回答质量与 DeepSeek 官网对比表现良好。此前更小的 V4 flash 仅约 8 tokens/s,该用户配有 80GB DDR4 内存和 NVMe。
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。