Reddit · r/LocalLLaMA· /u/Borkato·· 15 小时前AI 评分15
Reddit 用户求助：本地跑约 500B 模型 Q4 量化并达到约 20T/s 需要多少预算
Minimum amount of money for a local build to run 500Bish models at Q4 quant at decent speed (~20T/s)?
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Borkato
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xg05w1/minimum_amount_of_money_for_a_local_build_to_run/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit r/LocalLLaMA 用户询问本地组装最低预算方案，以 Q4 量化运行约 500B 参数模型并达到约 20T/s 速度。其现有配置为 2 张 3090 提供 48GB VRAM 加 48GB DDR4 内存，但主板最多支持 128GB 内存，正在考虑是否改用 EPYC 平台。
来源：Reddit · r/LocalLLaMA · reddit.com