跳到正文
GitHub · 灵魂体仓库·· 19 天前AI 评分60

bench-of-us 仓库汇总 Qwen3.8 27B 等模型在多种 GPU 配置下的本地推理实测

jimoto-no-llm/bench-of-us

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/jimoto-no-llm/bench-of-us

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 仓库 jimoto-no-llm/bench-of-us 汇总了社区自 2026-09-20 至 10-08 的多组本地推理实测。覆盖 Tesla V100、T4、P40、P100、RTX 3090/5090、Radeon 等单卡与多卡拆分(layer/tensor split、NVLink、NCCL、vLLM TP=2、sglang+KTransformers)配置,测试对象包括 Qwen3.8 27B、Qwen3.8 Flash Next、Nemotron 3 Nano Omni 33B、Gemma 4 26B A4B QAT、DeepSeek V4.1-Flash 等,上下文从 8K 到 262k 乃至 1M。

来源:GitHub · 灵魂体仓库 · github.com