Ollama 本地模型基准测试结果看板上线 GitHub
GitHub 上的 z440-ollama-benchmarking 项目发布面向本地运行 Ollama 模型的交互式基准测试结果看板。看板提供可排序、可筛选的模型对比表、基于 `ollama ps` 实测内存的 VRAM 可行性指示、生成速度与内存占用图表,以及质量分级热力图和指标术语表。通过主仓库运行 Publish-Website.ps1 -Push 即可重新生成 data.js 并推送最新结果。
新闻、仓库与研究,按时间排列。
GitHub 上的 z440-ollama-benchmarking 项目发布面向本地运行 Ollama 模型的交互式基准测试结果看板。看板提供可排序、可筛选的模型对比表、基于 `ollama ps` 实测内存的 VRAM 可行性指示、生成速度与内存占用图表,以及质量分级热力图和指标术语表。通过主仓库运行 Publish-Website.ps1 -Push 即可重新生成 data.js 并推送最新结果。
GitHub 仓库 thackerhelik/finetuningcourse 提供端到端的三阶段 LLM 后训练流程(Domain Adaptation → SFT → DPO),将 TinyLlama-1.1B 适配到药理学领域,并通过 Ollama 本地部署。仓库包含 data、experiments/metformin、notebooks 目录及 export_to_ollama.py 导出脚本,目前尚无 star 和 fork。
yfHHHE 发布 emoji-native-lm,基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调,对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息,由 Claude Opus 生成并回复,覆盖 1,915 种 emoji;666 条评测提示下经 wrapper 的回复 100% 合规,首轮采样合规率 98.9%,而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF(1.8 GB q8_0)及 Python wrapper 部署方案,代码采用 Apache 2.0 许可。
推荐理由:仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据,读者可以照此复现并借鉴其偏见修正做法。
he-yufeng 在 GitHub 发布开源 AI Agent 工具 ContractGuard,上传 PDF/DOCX 合同即可在 30 秒内输出红旗条款、警告、保护项和 A+ 到 F 的公平度评分及逐条修改建议。工具通过 Pydantic 模型保证结构化输出,支持 OpenRouter、OpenAI 及 Ollama 本地模型;在 LLM 之外并行运行辖区感知的确定性法条核对清单,覆盖中国劳动法与民法典及加州住宅租赁规则,无法判定时诚实返回 unknown。支持批量扫描、版本对比、JSON 导出和 Gradio Web UI,最长约 30000 token(约 60 页)。
推荐理由:开源合同审查 Agent 除了 LLM 分析还内置辖区感知的法条核对清单,并对缺失条款诚实返回 unknown,思路可直接借鉴。
GitHub 上开源的 Ollama-UI 是一个本地优先的轻量级 Ollama Web UI,采用 FastAPI 后端加原生 HTML/CSS/JavaScript 前端,无框架、无构建步骤。它支持模型选择、流式响应、对话历史、图片输入(最多 4 张)、消息队列、停止生成和新对话,通过 HTTP/SSE 连接本机 Ollama 实例。项目刻意不做云端部署,提示词和推理全部保留在本地,无需任何外部 LLM API。
MUSE-CODE-SPACE 发布 toolcall-rescue,一个零依赖的纯标准库 Python 包,用于在结构化 tool_calls 字段为空时,从 qwen2.5、Gemma、Kimi、MiniMax 等本地或小型模型以纯文本输出的消息内容中恢复工具调用,支持 Ollama、llama.cpp、vLLM、LM Studio 等 OpenAI 兼容端点。
推荐理由:这是一个可直接落地的本地小模型工具调用抢救库,安全模型讲得清楚,还交代了为何框架核心拒绝收编这一层的取舍。
开发者发布开源免费的 Windows 助手 Cephi,按 Ctrl+Alt+Space 即可语音或文字操控整台电脑,支持播放 Spotify 音乐、打开系统设置、划词翻译、截图提问和笔记管理。可接 Ollama 本地模型让数据不出本机,也可用自己的 Claude、Gemini 或 OpenAI 兼容 API 密钥,支持接入任意 MCP 服务器或用一个 JSON 文件添加自定义工具,MIT 协议开源。
推荐理由:开源 Windows 语音助手 Cephi,仓库把本地 Ollama、MCP 工具扩展和快捷键体系讲得相当完整,适合想自建本地 Agent 的人参考。
EsteefAi 在 Hugging Face 发布 ttindall 的 Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 镜像,文件与原版逐字节一致(SHA-256 相同),采用 apache-2.0 许可。镜像旨在保证 Philibert 安装可用,支持通过 Ollama 拉取 IQ4_XS 和 Q6_K_P 两种量化版本。
exprassist 是一个 GitHub 上的新工具,为合同工作流公式提供静态分析、自动修复(先经数百条样本验证结果一致)、语法树英文解释和本地 LLM 生成功能,生成由 Ollama 本地运行。全部用 TypeScript 实现,含 Pratt 手写解析器、类型检查器和求值器;修好的重复 LOOKUP 规则使 demo 表达式每次求值 lookup 从 0.68 降至 0.59。新改进反馈后,模型一次正确率从 16/20 升至 18/20,10 条新请求为 8/10。
作者发布 WhisprFlow,一个在本地运行的 Windows 和 macOS 语音听写工具,按热键说话后自动清理填充词、加标点并粘贴到光标处。默认用 Phonon-2 在设备上转写、Ollama qwen3:4b-instruct 本地润色,无需账号和订阅;11 秒听写端到端约 1.7 秒(i5-13500HX + RTX 4050 实测),支持 Qwen3-ASR 处理多语言,词典从用户听写中学习术语拼写,代码 MIT 许可,macOS 代码路径保留但未测试。
推荐理由:原文给出实测延迟、模型选型对比和架构细节,读者可以据此评估这套本地语音听写方案是否适合自己复现。
SharpAI 2.0 发布,这是一个 .NET 本地 AI 推理库,支持嵌入、文本补全和聊天补全,仅使用 GGUF 模型,基于 LlamaSharp 构建,可提供 Ollama 兼容和 OpenAI 兼容的 REST API。新版本默认按各模型 GGUF 内置聊天模板渲染请求,重建了 React 19 仪表盘,新增多租户认证与 RBAC(默认关闭)、四种数据库支持、Prometheus/OTLP 可观测性,以及 C#、JavaScript/TypeScript、Python SDK。所有推理均在本地完成,无需云端依赖。
Ollama 是可在本地或云端以完全隐私方式运行开源模型的工具,支持 macOS、Windows 和 Linux 安装,并提供官方 Docker 镜像。用户可通过 ollama launch 连接 Claude Code、Codex、Copilot CLI、DeepSeek Harness、Droid、OpenCode 等集成,也可运行 Gemma 4 等模型,用 REST API 或 Python、JavaScript SDK 进行调用,后端基于 llama.cpp。
GitHub 用户 Mustafa-Altay75 开源的 YazLab1 项目,是一个包含两个独立 AI 的 Unity 冒险游戏:一个用 NavMesh 寻路的骷髅同伴,以及一个通过本地 LLM(Ollama)对话的圣骑士守卫。
SreyaThota 的开源项目 PipelineMedic 旨在对 CI/CD 失败做 AI 辅助诊断与安全修复:解析失败日志、引用证据、检索相似历史故障并提出根因和补丁,特权操作需人工批准。Phase 1–2 已交付基于 Ollama 的日志诊断 API 与 GitHub Actions/Jenkins 解析、密钥脱敏;基于 46 条真实 GitHub Actions 日志测得 Last 15 lines 分块 Recall@1 为 0.413,v0.2.5 的 Neo4j 混合检索在 64 条 held-out 日志上 MRR 0.504,flat 检索仍是默认。
GitHub 开源了 rag-evaluation-testing-platform,一个零运行时依赖的 RAG 管线评测框架,固定数据集跑问答、对检索和生成分別打分,输出可 diff 的 JSON+CSV 报告。它内置 lexical/dense/hybrid 三种检索器、extractive 与 Ollama 生成器、以及经 65 条人工标注验证的 LLM-as-judge(llama3.2:3b 对 gemini-3.8-flash),评审器在 49 条留出项上 κ 达 0.95,词元规则为 0.90;21 个用例基线中 qwen3:1.7b 开启推理模式可将幻觉率从 0.25 降到 0,代价是延迟约 5 倍。
推荐理由:项目不只给代码,还用 65 条人工标注实测了 LLM 评审与词元规则的差异,读者可借此理解 RAG 评测该测什么。
开源项目 ChaosGuard 是一个自托管 AI 安全平台,可扫描任意 GitHub 仓库,提供 RECON、HUNTER、SIEGE、LIVE 四级递进扫描,耗时从约 1 秒到约 35 分钟不等。每项发现均附带自动生成的代码修复、统一 diff 和一键创建 PR。平台通过 Ollama 本地推理、ChromaDB 进行 RAG 代码理解,基于 Kafka 的架构可从单机扩展到 Kubernetes 集群,并提供混沌工程韧性分析与完整可观测性栈。
yago-mendoza 发布 apu-llm 仓库,让 GPU 共享系统内存的 APU 笔记本一条命令完成本地大模型安装、问答与基准测试,并通过内置 MCP 服务器让 Claude Code 把批量文本工作交给本地模型。在 Ryzen AI 7 PRO 450、64GB LPDDR5X 参考机上,Qwen3.6 35B-A3B(MoE,3B 激活)经 Ollama 跑在 iGPU 上写入 11.7 tok/s、读长输入 93 tok/s,加载占 20.6GB;Qwen3.8 27B 稠密模型更聪明但写入仅 2.6 tok/s。
推荐理由:作者在一台 64GB 无独显的 ThinkPad 上实测了 APU 跑 35B 模型的真实速度与智能水平,并给出按内存选型的对照表。
RA-King 在 GitHub 发布 IntelliJ IDEA 插件 llm-copilot-intellij 0.0.01,为任意 LLM 提供 ghost text 行内补全、编辑器内聊天面板和代码操作,支持包括本地 Ollama 在内的 13 个提供商,MIT 许可。补全具备结构感知与意图推断,后台构建全项目符号表和双向 import 图以提供真实声明签名,并含去重守卫、next edit 建议和错误分析功能;要求 IntelliJ IDEA 2026.1+,默认按 Ollama 本地部署配置。
推荐理由:README 详细写清了补全触发门槛、项目索引和去重逻辑,读者能据此评估这款可接任意 LLM 的 IntelliJ 插件是否值得试。
开源项目 emilie-clipet/ai-act-rag 构建了一个可回答欧盟 AI Act(Regulation (UE) 2024/1689)相关问题的聊天机器人,回答时始终标注来源文档与页码。技术栈采用 Python、Streamlit、sentence-transformers 本地 embeddings(all-MiniLM-L6-v2)、FAISS 索引,LLM 可选 Ollama 本地运行 llama3.2 或 Groq 云端免费额度,两种方式均免费且无需银行卡。
GitHub 上的 gannet 是一个 C# 深度研究工具,输入问题后由 planner、searcher、synthesiser、writer 四个智能体组成一个 workflow,完成规划、联网搜索、来源可信度评分并生成每条论断都带引用的报告。它提供 Blazor web UI,模型可选云端 API 或通过 Ollama 本地运行,支持自托管。项目于 10 月 21 日启动,目前仅搭建了 solution、CI 和仓库文件,尚无可运行内容;它是 Tarun Sai Goddu 的 Python 项目 deep-research-agent(基于 LangGraph 和 LangChain)的 C# 重写版,采用 MIT 许可证。
GitHub 开源项目 date-buffet-llm 是一个无需后端的相亲匹配测试应用,基于 React + Vite + TypeScript,用 localStorage 和 50 名 seed 固定的虚拟人物运行,可切换 Supabase 实现真实用户匹配。推荐卡片内置"AI 설명 보기"功能,调用本地 Ollama 的 qwen2.5:3b 用 2-3 句解释匹配理由并推荐开场消息,单条生成 12-25 秒,通过 JSON schema 强制输出、temperature 0.2 和抄袭/事实检测保证质量。项目附带公平性测试(npm run simulate),TOP 10 基准下年龄、性别、地区指标均通过,TOP 5 地区指标未达标。
OpenExpert 是一个 MIT 协议开源的 AI 运营仪表盘,完全在本地运行,数据存于单个 SQLite 文件,无需云端、账号或数据库服务器。它提供严格数据隔离的 Experts、可调用工具的聊天、需人工审批的 AI 操作及完整审计回溯,支持 Ollama(默认)、Google Gemini、Claude 或任意 OpenAI 兼容端点,并可集成 Google Drive、本地文件夹和 Notion。
MAGI-Systems-AI 发布开源项目 OpenTenet,一个纯 markdown 工作区,让 AI 编码助手在会话启动时读取硬规则宪法、六阶段算法和验证准则,解决无状态、幻觉路径和虚报完成的问题。它兼容 Claude Code、Gemini CLI、Cursor、Codex、Aider 和 Copilot Chat,pre-commit 钩子扫描 16 种凭据模式,为 Claude Code 生成约 13k 精简上下文、为 Codex 和 Aider 生成约 57k 完整上下文,并支持 Ollama + Aider 离线本地模型。项目附本地 Web 控制台和可选团队模式,MIT 协议。
推荐理由:开源工作区把验证规则写进文件而非模型,给出六阶段算法与探针表,跨六种 AI CLI 可复用,方法可直接迁移。
一位用户在本地 SillyTavern 服务器搭配 Ollama 运行时遇到问题:模型输出中不断混入多余字符串,导致机器人自行说话并代入用户角色。用户发现原本的 Text completion 模式被自动切换成了 chat completion,但不想改动现有设置,只想解决这一字符串问题。
HALO Console v0.8.1 Public Preview 发布,这是一个基于 Next.js 和 TypeScript 的本地优先 AI 工作台,通过浏览器界面与本地 Ollama 模型对话。v0.8 预览提供本地流式聊天、Quick/Daily/Heavy 三级模型路由(如 qwen3:4b 到 qwen3:30b-a3b)、浏览器本地保存会话、本地文档上传与检索(支持 .txt/.md/.log/.pdf)以及手动策划的 Learning Layer 笔记。默认绑定 127.0.0.1,无需云端 API。
开源项目 Halcyon 可将"雨中京都黄昏庭院"等文字描述转为无限播放、接缝不重复的环境音景。语言模型把描述拆分为雨声、风声、钢琴等独立图层并自动混音,用户可实时调节各图层的音量、EQ、声像与距离,删除或按"更少嘶声、更远"等备注重渲染图层,还能上传歌曲片段引导音乐风格、导出最长五分钟 WAV。它以单个 Docker 容器部署,支持 Google Gemini、Ollama、OpenAI 兼容 API 及 Claude Code / Codex CLI 作为语言模型,首个注册账号为管理员。
GitHub 开源项目 JobFitCheck 用 Playwright 抓取 LinkedIn 职位(每次最多 50 条),再通过本地 Ollama(llama3.1:8b)按候选人简历打 0–100 匹配分并在 Next.js 仪表盘中排序管理。工具还会自动生成英文求职信,评分含技术栈匹配 40%、级别 25%、地点 20%、领域相关 15%。全部数据本地运行,技术栈为 NestJS + PostgreSQL 16 + Redis 7 + BullMQ,遵循 MIT 许可。
开源项目 chatbot-rag 基于 documents/ 目录中的 PDF、TXT、MD 及无扩展名文本文件实现 RAG 问答,使用 sentence-transformers 嵌入做语义检索,回答时标注文件名与 PDF 页码等来源。它支持 Ollama(本地)、Anthropic Claude 与 OpenAI 三种可互换的 LLM provider,默认模型为 llama3.1:8b,UI 基于 Gradio,并附 Linux 部署指南(nohup、tmux、systemd 及 Docker Compose)。
Ava-AgentOne 发布 ollama-intel,一个预配置 Docker 容器,通过 IPEX-LLM 的 SYCL 后端把全部模型层卸载到 Intel 核显(Meteor Lake、Arrow Lake、Arc)上运行 Ollama,无需独立显卡,兼容 Open WebUI 等 Ollama 客户端,主打 Unraid 与迷你主机用户。在 Core Ultra 7 155H 配 64GB 内存上实测,4B 模型约 15+ tok/s,7-8B 约 8-12 tok/s,14B+ 约 4-6 tok/s;镜像每周经 GitHub Actions 重建,NPU 推理暂不支持。
GitHub 项目 agent-on-a-budget 构建了一个客服 AI Agent,用 LLM 标注 1,080 条消息训练小 ML 模型,并按置信度把消息路由到最便宜的助手:ML 模型答简单问题、本地 Ollama 上的 3B 模型答政策问题、云端 LLM 处理退款等工具调用、高额退款转人工。基于 OpenAI gpt-5.4-mini 的 60 条消息实测显示,分层路由比只用云端专家便宜 1.9 倍、快 1.6 倍,55% 消息零成本处理,标注全部消息仅花 $0.07。项目支持 Mac、Windows 和 Linux,内置离线测试、答案缓存重放机制,并提供逐章 Notebook 和 Streamlit 演示应用。
推荐理由:给出实测的成本、延迟和准确率分层路由数据,读者可以参考这套便宜模型处理简单消息、云端大模型兜底的省成本思路。
GitHub 新仓库 Java-RAG 用纯 Java 实现从 Document 到 Answer + Evidence 的完整 RAG 数据流,面向学习 RAG 内部机制或嵌入现有 Java 系统的开发者,无需 Spring Boot 等强制框架。仓库内置 React 三栏可视化 playground,默认模式完全本地运行、无需 API key 或模型下载,可通过 Ollama profile 换用本地大语言模型,兼容 Java 8,并包含 Redis、Elasticsearch、MinIO、MySQL 等基础组件。
GitHub 仓库 Schaefer42740/llama-terminal-completion 发布 LlamaTerm,一个用 Go 编写的终端 AI 助手,单二进制启动小于 100ms,可用 lt ask 提问、lt cmd 生成 shell 命令。支持 Ollama、LM Studio、llama.cpp、OpenAI、Azure OpenAI,内置多步工具循环的 lt agent、RAG 索引、命名角色与会话、MCP 服务器接入、结构化 JSON 输出和视觉输入,工具调用带确认、危险命令检测与审计日志。
GitHub 开源项目 Beginner-Friendly-Ai-Vtuber 面向新手和非程序员,提供易搭建的 AI VTuber 方案。其使用 Whisper(base.en)做英文语音识别、Ollama(llama3.2)生成回复、Chatterbox Turbo TTS 实现零样本声音克隆,并集成 VTube Studio 控制、Twitch 聊天互动和 OBS 实时字幕。项目基于 Python 3.10.11,主要支持 CPU 用户,无需 AMD 或 NVIDIA GPU 也可运行。
laffy-999 发布 Open Grammar 插件,在 Obsidian 1.14.4 和 Logseq 0.10.15 内用本地 Ollama 模型提供英语和德语拼写语法建议,不依赖云模型和外部检查服务,仅接受 loopback 地址并拒绝云端模型。默认模型为 qwen3.5:4b,在 63 段合成基准中修复 32/39 处错误且保留全部 24 个对照段落,约需 3 GiB GPU 显存或可回退 CPU 运行;正文还给出十余个候选模型的对比数据和保护链接、代码等笔记语法不被改动的实现细节。
推荐理由:README 附带 12 个候选模型在 63 段合成样本上的实测对比和筛选逻辑,读者可以照着按内存与语言需求选型复现。
arXiv 论文 2610.26595 研究越狱攻击成功率(ASR)对比高度依赖响应生成与判定方式,用 3 个开放权重模型、8 种攻击和 3 种评测流程做实证。低资源语言攻击在关键词匹配下平均 ASR 达 96.0%,改用按 StrongRELECT 说明的 Qwen3 评测器则仅 2.7%;同一请求在 Ollama 默认温度 0.8 下采样 100 次,关键词匹配下 ASR 为 100% 而 Qwen3 评测器为 50%。作者建议明确成功定义、对齐响应预算、验证评测器,并报告重复交互下的累积失败率。
推荐理由:论文用具体数据说明越狱成功率如何随评测方法剧烈变化,对任何人引用 ASR 榜单前都是可迁移的核查思路。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来,以 Apache 2.0 协议开源,支持文本、JSON 与图像输入,可一次读取输入并同时对所有问题的答案打分,兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index,在 Jev benchmark 套件多数项目上超过 Jev,例如 BFCL case exact 98.47 对 95.75;43 个评测的延迟中位数为 209.3ms(Clef-flash 为 38.8ms)。
推荐理由:官方发布了多模态决策模型 Clef 的完整基准与延迟数据,读者可以直接对比它和 Jev 等模型在各场景的实际表现。
开发者开源了个人 AI 助手 Maja,完全在本地笔记本运行,无云端和 API key,基于 Ollama 运行 Llama 3.1,支持语音交互(faster-whisper 语音识别、Piper 神经语音)、"Hey Maja" 免唤醒词唤醒、笔记与待办管理、提醒、基于 RAG(nomic-embed-text + ChromaDB)的文档问答,以及 Qwen2.5-VL 摄像头视觉识别。唤醒词测试 36 次命中 34 次,项目仍在开发中,长期目标是做成桌面小型实体机器人。
GitHub 开源项目 GIBSON 发布 0.10.0 alpha 版,是一个装扮成 1997 demoscene 风格的真实终端,基于 node-pty 和 xterm.js 6,支持 PowerShell、cmd、bash、zsh 及 WSL,提供标签页、最多四分屏、广播输入等实用功能。内置的 NYX 角色可通过 Ollama、Anthropic 或任意 OpenAI 兼容 API 驱动(Ollama 已实测),并随终端活动切换 28 种线框世界;Windows 为已测试平台,macOS 和 Linux 构建由 CI 生成并冒烟测试,采用 MIT 许可证。
推荐理由:把真实终端做成 1997 demoscene 风格外壳,还内置 NETWATCH、进程可视化和可接本地模型的 NYX,兼具趣味与实用。
Haithim Nasher 主导开发的 HSAAI v4.0.0 正式发布,这是一个私有、自主可控、可自托管的企业级 AI 平台,集成 Enterprise RAG、本地 LLM 推理、AI Agent、多智能体编排与 AI 治理,基于 Ollama + qwen2.5:7b-instruct 验证。当前受控评测中检索精确率、召回率、引用与提示词注入防护均达 100%,必要事实召回为 86.61%,后端覆盖率达 80.43%,32/32 发布验证通过,SHA-256 校验值已公布。真实外部 Kubernetes 集群验收仍在进行中,属部署环境相关的运维职责。
GitHub 开源项目 enterprise-knowledge-intelligence-system 是一套生产导向的 RAG 应用,结合 PDF 摄取、文本分块、语义向量搜索与 BM25 混合检索、cross-encoder 重排,并用本地 Ollama 模型(qwen2.5:3b)生成带来源引用的答案。系统基于 Python 构建,采用 FastAPI 后端和 Streamlit 界面,向量库使用 Qdrant,嵌入由 Sentence Transformers 生成。项目包含自动化测试(46 个测试通过)和 RAG 评估流程,评估覆盖答案匹配、引用有效性和拒答等行为。