跳到正文
我的
Reddit · r/LocalLLaMA· /u/NighthawkXL·· 20 小时前AI 评分18

花费 $1,100 购入 EVGA RTX 3090 FTW3 后求推荐本地模型与部署方案

Just picked up an EVGA RTX 3090 FTW3 for $1100. What to run?

来源与原文

Reddit · r/LocalLLaMA

作者:/u/NighthawkXL

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xkuaf2/just_picked_up_an_evga_rtx_3090_ftw3_for_1100/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位用户以 $1,100 购入二手 EVGA RTX 3090 FTW3(24GB),计划装入搭载 Ryzen 5 5600X 和 64GB 内存的 Ubuntu Server 26.04 LTS 服务器,作为局域网内的 API 后端。其现有单卡 RTX 4070(12GB)需同时跑 Ling-3.0-tiny、Omnivoice 和 Parakeet,上下文窗口吃紧。帖中就 24GB 显存下 32k-128k+ 上下文的本地编程模型选择、无头服务的模型切换方案,以及 FTW3 后部 GDDR6X 发热的 Linux 功耗与散热管理征求建议。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。