Ollama 本地模型基准测试结果看板上线 GitHub
GitHub 上的 z440-ollama-benchmarking 项目发布面向本地运行 Ollama 模型的交互式基准测试结果看板。看板提供可排序、可筛选的模型对比表、基于 `ollama ps` 实测内存的 VRAM 可行性指示、生成速度与内存占用图表,以及质量分级热力图和指标术语表。通过主仓库运行 Publish-Website.ps1 -Push 即可重新生成 data.js 并推送最新结果。
新闻、仓库与研究,按时间排列。
GitHub 上的 z440-ollama-benchmarking 项目发布面向本地运行 Ollama 模型的交互式基准测试结果看板。看板提供可排序、可筛选的模型对比表、基于 `ollama ps` 实测内存的 VRAM 可行性指示、生成速度与内存占用图表,以及质量分级热力图和指标术语表。通过主仓库运行 Publish-Website.ps1 -Push 即可重新生成 data.js 并推送最新结果。
一位 Reddit r/LocalLLaMA 用户用 Ryzen 9 AI HX 370、W7800 48GB eGPU 和 LM Studio 0.4.25 测试 QWEN3-CODER-30B-A3B-INSTRUCT-UD-Q8_K_XL 生成图片放大 webapp。VS Code + Cline 走 LM Studio endpoint 时,Vulkan 和 ROCm 分别在 310 秒和 250 秒一次成功生成 56kb / 71kb 的可用 html+js;而走 Ollama endpoint 时,agent 堆出 290MB 的 node_modules 项目,"Browse files" 按钮和拖拽功能反复修复 57 分钟仍失败,重复测试 20 分钟后才可用。
作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度,请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位,如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%,而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口;作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信,超过 31B 稠密模型约 44 tok/s 的物理上限。
推荐理由:作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异,并指出引擎配置和内存预算比引擎本身影响更大。
该仓库以游戏线上服务 bug 报告为案例,用 Ollama 运行 qwen2.5:7b 做工单一级分诊,并以现职 QA 实务为基础设计评测体系持续验证其判断。v1.4 构成包含格式重请求、废弃确认、Critical 检查清单等由代码强制执行的步骤;在从未运行过的 25 件最终评测集上两次测量,幻觉、缺陷废弃、人工确认遗漏、格式违规均为 0 件,格式 STRICT 100%,Critical 漏判 2/10,平均响应 2.29 秒。仓库还提供回归门禁、幻觉自动检测、pytest 与 GitHub Actions CI,并记录了 v1.0 起 llama3.1:8b 因编造缺陷和设备信息落选的对比过程。
作者在 AMD Ryzen AI MAX+ 395(Radeon 8060S iGPU、128 GB LPDDR5X 统一内存)一台机器上汇总了 42 个模型的生成速度实测数据。
推荐理由:作者在同一台 AMD Strix Halo 机器上实测 42 个模型的生成速度,并给出各引擎配置和测量口径,便于横向比较本地部署方案。
作者实测 Orange Pi 5 Plus(RK3588、16GB)运行本地大模型的表现,发现把 Ollama 限制到 4 个 A76 大核可带来最高 +318% 提速,Qwen 2.5 1.5B 达 14.5 tok/s,而 Llama 3.1 8B 受 LPDDR4x 带宽限制仅 2.3 tok/s 且裸片温度达 85°C。
推荐理由:作者用同一块板子实测了线程数、NPU 与散热的取舍,给出了各档模型的 tok/s 和温度数据,可迁移到其他 RK3588 部署场景。
作者在双 RTX 5070 Ti 16GB + Ollama 的本地 agent 上,把日常模型从 Qwen3.8 27B UD-Q4_K_XL(55-70 tok/s)换成 Ornith 1.5 35B-A3B(Q4_K_M),自建两项测试(9 步长会话和 10 个编码任务)两者均 9/9、10/10,而生成速度约 180 tok/s,约为原来的 3 倍。