跳到正文
10月23日周五
  1. GitHub · 去对齐工具与仓库28

    Ollama 本地模型基准测试结果看板上线 GitHub

    GitHub 上的 z440-ollama-benchmarking 项目发布面向本地运行 Ollama 模型的交互式基准测试结果看板。看板提供可排序、可筛选的模型对比表、基于 `ollama ps` 实测内存的 VRAM 可行性指示、生成速度与内存占用图表,以及质量分级热力图和指标术语表。通过主仓库运行 Publish-Website.ps1 -Push 即可重新生成 data.js 并推送最新结果。

10月11日周日
  1. Reddit · r/LocalLLaMA27

    LocalLLaMA 网友实测 Qwen3-Coder-30B 不同 endpoint 下的编程表现

    一位 Reddit r/LocalLLaMA 用户用 Ryzen 9 AI HX 370、W7800 48GB eGPU 和 LM Studio 0.4.25 测试 QWEN3-CODER-30B-A3B-INSTRUCT-UD-Q8_K_XL 生成图片放大 webapp。VS Code + Cline 走 LM Studio endpoint 时,Vulkan 和 ROCm 分别在 310 秒和 250 秒一次成功生成 56kb / 71kb 的可用 html+js;而走 Ollama endpoint 时,agent 堆出 290MB 的 node_modules 项目,"Browse files" 按钮和拖拽功能反复修复 57 分钟仍失败,重复测试 20 分钟后才可用。

10月10日周六
  1. GitHub · 3D 生成新仓库59

    Tesla V100 32GB 上 Ollama 与 llama.cpp 本地模型速度实测

    作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度,请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位,如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%,而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口;作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信,超过 31B 稠密模型约 44 tok/s 的物理上限。

    推荐理由:作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异,并指出引擎配置和内存预算比引擎本身影响更大。

10月7日周三
  1. GitHub · 灵魂体仓库54

    llm-triage-eval 仓库用 qwen2.5:7b 构建本地 LLM 分诊评测体系

    该仓库以游戏线上服务 bug 报告为案例,用 Ollama 运行 qwen2.5:7b 做工单一级分诊,并以现职 QA 实务为基础设计评测体系持续验证其判断。v1.4 构成包含格式重请求、废弃确认、Critical 检查清单等由代码强制执行的步骤;在从未运行过的 25 件最终评测集上两次测量,幻觉、缺陷废弃、人工确认遗漏、格式违规均为 0 件,格式 STRICT 100%,Critical 漏判 2/10,平均响应 2.29 秒。仓库还提供回归门禁、幻觉自动检测、pytest 与 GitHub Actions CI,并记录了 v1.0 起 llama3.1:8b 因编造缺陷和设备信息落选的对比过程。

10月6日周二
  1. Reddit · r/LocalLLaMA64

    Orange Pi 5 Plus(RK3588)本地大模型实测:Ollama 吞吐、NPU 卸载与散热数据

    作者实测 Orange Pi 5 Plus(RK3588、16GB)运行本地大模型的表现,发现把 Ollama 限制到 4 个 A76 大核可带来最高 +318% 提速,Qwen 2.5 1.5B 达 14.5 tok/s,而 Llama 3.1 8B 受 LPDDR4x 带宽限制仅 2.3 tok/s 且裸片温度达 85°C。

    推荐理由:作者用同一块板子实测了线程数、NPU 与散热的取舍,给出了各档模型的 tok/s 和温度数据,可迁移到其他 RK3588 部署场景。

10月5日周一