跳到正文
更多
热点事件持续更新

2x16GB VRAM + 128GB RAM 本地部署:该跑哪些编码/智能体模型?

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

一位 LocalLLaMA 网友拥有 2x RTX 5080 和 128GB DDR5 内存,在本地运行三个模型:Qwen3.8-Flash-Next-Q5_K_XL(262k 上下文,decode 约 15tps)、Qwen3.8-27B-exl3-6bpw-H6(131k 上下文,decode 约 60-80tps)和 DeepSeek-V4-Flash-exl3-3.04bpw(1M 上下文,decode 约 15-20tps)。他在论坛发帖询问这几周错过了哪些更新、是否应改用 Strata,以及 llama.cpp 是否已过时。 目前该帖仅为求助提问,尚无权威结论或跟进报道。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月1日
  1. Reddit · r/LocalLLaMA
    2x16GB VRAM + 128GB RAM 本地部署:该跑哪些编码/智能体模型?

    一位 LocalLLaMA 网友拥有 2x RTX 5080 和 128GB DDR5 内存,目前在本地运行 Qwen3.8-Flash-Next-Q5_K_XL(262k 上下文,decode 约 15tps)、Qwen3.8-27B-exl3-6bpw-H6(131k 上下文,decode 约 60-80tps)和 DeepSeek-V4-Flash-exl3-3.04bpw(1M 上下文,decode 约 15-20tps)。他询问这几周错过了什么更新,是否该改用 Strata、llama.cpp 是否已过时,以及有哪些值得尝试的新模型。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。