跳到正文
热点事件持续更新

DeepSeek-V4.1-Flash-1017 Q2 量化在单张 RTX 3090 上跑出 41 tok/s

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Reddit 用户 /u/musicurgy 发布 delta-inference-engine,称可在 Windows 原生环境(无 WSL)下用单张 RTX 3090 加 192 GB 内存运行 nazeshinjite 制作的 DeepSeek-V4.1-Flash-1017 Q2 GGUF 量化模型,多提示词平均速度 41 tok/s。 据其发布说明,该引擎支持完整 1M 上下文,输出与 DeepSeek 官方 API 的 next-token 一致率为 90.2%(通用文本)和 92.4%(代码/数学)。上述数据均来自发布者自述,尚无独立验证。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Reddit · r/LocalLLaMA精选
    DeepSeek-V4.1-Flash-1017 Q2 量化在单张 RTX 3090 上跑出 41 tok/s

    /u/musicurgy 发布 delta-inference-engine,可在 Windows 原生环境(无 WSL)用单张 RTX 3090 加 192 GB 内存运行 nazeshinjite 的 DeepSeek-V4.1-Flash-1017 Q2 GGUF,多提示词平均 41 tok/s,输出与 DeepSeek 官方 API 的 next-token 一致率达 90.2%(通用文本)和 92.4%(代码/数学),支持完整 1M 上下文。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。