跳到正文
GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分63

Whisper85 开源双卡笔记本本地大模型基准测试仓库,沉淀三版方法论修正经验

Whisper85/llm-benchmark-dual-gpu-laptop

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Whisper85/llm-benchmark-dual-gpu-laptop

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者在 i9-13900HX + RTX 5060 Ti 16GB + RTX 4060 Laptop 8GB、32GB 内存的笔记本上,用 Strata 0.1.41 引擎跑 Qwen3.8-Flash-Next Q2_0(62 GB MoE)做了四轮基准测试,并开源了全部脚本与数据。核心结论包括单次测量速度可摆动 8 倍、prompt cache 会把 prompt_n 从 1259 污染到 5、KV cache 复用后多轮 TTFT 从 137.8 秒降到约 0.4 秒、双卡长 prompt prefill 快 8.4 倍、KV cache 不磨损 SSD、q4_0 长文档 perplexity 高 8~12%。

推荐理由

作者推翻自己两版错误方法论后才得出可信数据,给出单次噪声8倍、cache污染等教训,对想做本地基准测试的人有直接可迁移价值。

来源:GitHub · 去对齐工具与仓库 · github.com