GitHub · 灵魂体仓库·· 19 天前AI 评分60
bench-of-us 仓库汇总 Qwen3.8 27B 等模型在多种 GPU 配置下的本地推理实测
jimoto-no-llm/bench-of-us
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jimoto-no-llm/bench-of-us
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 仓库 jimoto-no-llm/bench-of-us 汇总了社区自 2026-09-20 至 10-08 的多组本地推理实测。覆盖 Tesla V100、T4、P40、P100、RTX 3090/5090、Radeon 等单卡与多卡拆分(layer/tensor split、NVLink、NCCL、vLLM TP=2、sglang+KTransformers)配置,测试对象包括 Qwen3.8 27B、Qwen3.8 Flash Next、Nemotron 3 Nano Omni 33B、Gemma 4 26B A4B QAT、DeepSeek V4.1-Flash 等,上下文从 8K 到 262k 乃至 1M。
来源:GitHub · 灵魂体仓库 · github.com