跳到正文
Reddit · r/LocalLLaMA· /u/bakawolf123·· 3 天前AI 评分38

本地 2-bit 量化 DeepSeek ds4.1-flash-1017 与云端 API 对比测试

comparing local 2-bit ds4.1-flash-1017 to cloud APIs

来源与原文

Reddit · r/LocalLLaMA

作者:/u/bakawolf123

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xdh4xs/comparing_local_2bit_ds41flash1017_to_cloud_apis/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位 Reddit r/LocalLLaMA 用户在本地以 2-bit 量化运行 ds4.1-flash-1017,与 opencode 通过 DeepSeek API 调用的 ds4.1 进行同一提示词对比,测试耗时约 1.5 小时,使用 450k 上下文(开启自动压缩)并以 headless chrome 替代 playwright 完成测试。测得的 KDL 差距较明显:original 到 oQ2e 为 0.4259 nats,original 到 oQ2.5e 为 0.2821,困惑度分别为 3.7315、4.1190 和 4.6333,2-bit 版本的 top-1 agreement 为 78.43%。

来源:Reddit · r/LocalLLaMA · reddit.com