模型与平台
Ollama 的发布与更新：本地跑模型的方式、模型库与推理栈变化。
36 条精选近 30 天 29 条共收录 128 条
muguang1224 发布了用 Ollama 本地模型驱动的 QQ 聊天机器人项目 qq-ollama-bot，通过 NapCat 收发消息，不需要云端 API，支持 Windows / Linux / macOS。它用 qwen3.5-4b 聊天、qwen2.5vl:3b 看图，加 YOLO 做目标检测，具备情绪系统、长期记忆、人设进化、语音回复（edge-tts / GPT-SoVITS 声音克隆）、主动聊天和 QQ 空间发说说等功能；并用 Prompt 层加代码正则两层拦截，阻止模型编造「刚刷到视频」等假经历。README 附完整安装步骤、风控与账号安全提示，以及图片缩放实测，原图送模型需 46-200 秒，缩到 256px 后降到 4.4 秒。
推荐理由：README 讲清了情绪系统、长期记忆和两层防编造的构造方法，还给出图片缩放和显存的实测数据，做法可迁移。
Ollama 0.40.11 起支持文本转语音，首个语音模型是 Gradium 的 Phonon 系列，目前可用 macOS，Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上，Ollama 借助 MLX 加速，吞吐比次快的 Gradium ptts 运行时快 35%，词错率与 Hugging Face Transformers 参考实现持平；Phonon 采用 Apache 2.0 许可，40M 版本为 CC BY-NC 4.0 限非商用，支持英语、法语、德语、西班牙语、葡萄牙语，并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。
推荐理由：官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据，读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。
作者发布了面向本地 LLM 的语义缓存反向代理 semantic-cache-proxy，将提示词嵌入索引进 Redis Stack 的 HNSW 向量索引，相同或语义改写的查询命中缓存后延迟低于 15ms，绕过本地 GPU/CPU 推理瓶颈。系统用 SHA-256 对 system prompt 和参数做哈希分区，相似度阈值 ≥ 0.88 判定命中，兼容 OpenAI /v1/chat/completions 接口，并通过 X-Cache-Lookup 等响应头和 Streamlit 仪表盘提供实时遥测。项目 100% 本地运行、无需付费 API key，依赖 nomic-embed-text 嵌入模型，仓库附部署步骤与延迟基准脚本。
推荐理由：给出完整的架构流程、缓存阈值和部署命令，想把本地 LLM 推理换成语义缓存的读者可以直接照着搭建。
开发者发布开源免费的 Windows 助手 Cephi，按 Ctrl+Alt+Space 即可语音或文字操控整台电脑，支持播放 Spotify 音乐、打开系统设置、划词翻译、截图提问和笔记管理。可接 Ollama 本地模型让数据不出本机，也可用自己的 Claude、Gemini 或 OpenAI 兼容 API 密钥，支持接入任意 MCP 服务器或用一个 JSON 文件添加自定义工具，MIT 协议开源。
推荐理由：开源 Windows 语音助手 Cephi，仓库把本地 Ollama、MCP 工具扩展和快捷键体系讲得相当完整，适合想自建本地 Agent 的人参考。
作者发布 WhisprFlow，一个在本地运行的 Windows 和 macOS 语音听写工具，按热键说话后自动清理填充词、加标点并粘贴到光标处。默认用 Phonon-2 在设备上转写、Ollama qwen3:4b-instruct 本地润色，无需账号和订阅；11 秒听写端到端约 1.7 秒（i5-13500HX + RTX 4050 实测），支持 Qwen3-ASR 处理多语言，词典从用户听写中学习术语拼写，代码 MIT 许可，macOS 代码路径保留但未测试。
推荐理由：原文给出实测延迟、模型选型对比和架构细节，读者可以据此评估这套本地语音听写方案是否适合自己复现。
RA-King 在 GitHub 发布 IntelliJ IDEA 插件 llm-copilot-intellij 0.0.01，为任意 LLM 提供 ghost text 行内补全、编辑器内聊天面板和代码操作，支持包括本地 Ollama 在内的 13 个提供商，MIT 许可。补全具备结构感知与意图推断，后台构建全项目符号表和双向 import 图以提供真实声明签名，并含去重守卫、next edit 建议和错误分析功能；要求 IntelliJ IDEA 2026.1+，默认按 Ollama 本地部署配置。
推荐理由：README 详细写清了补全触发门槛、项目索引和去重逻辑，读者能据此评估这款可接任意 LLM 的 IntelliJ 插件是否值得试。
laffy-999 发布 Open Grammar 插件，在 Obsidian 1.14.4 和 Logseq 0.10.15 内用本地 Ollama 模型提供英语和德语拼写语法建议，不依赖云模型和外部检查服务，仅接受 loopback 地址并拒绝云端模型。默认模型为 qwen3.5:4b，在 63 段合成基准中修复 32/39 处错误且保留全部 24 个对照段落，约需 3 GiB GPU 显存或可回退 CPU 运行；正文还给出十余个候选模型的对比数据和保护链接、代码等笔记语法不被改动的实现细节。
推荐理由：README 附带 12 个候选模型在 63 段合成样本上的实测对比和筛选逻辑，读者可以照着按内存与语言需求选型复现。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来，以 Apache 2.0 协议开源，支持文本、JSON 与图像输入，可一次读取输入并同时对所有问题的答案打分，兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index，在 Jev benchmark 套件多数项目上超过 Jev，例如 BFCL case exact 98.47 对 95.75；43 个评测的延迟中位数为 209.3ms（Clef-flash 为 38.8ms）。
推荐理由：官方发布了多模态决策模型 Clef 的完整基准与延迟数据，读者可以直接对比它和 Jev 等模型在各场景的实际表现。
Fox 是一个面向并发负载的本地 LLM 服务器，可作为 Ollama 的直接替代，MIT OR Apache-2.0 双许可，改端口即可兼容现有 Ollama 与 OpenAI 客户端。它包装 llama.cpp，核心优化是并发请求间的共享前缀 KV cache 复用：新请求匹配最长共享前缀跳过 prefill，还能从正在解码的序列复制共享前缀，这是其他 llama.cpp 服务器做不到的。在 Radeon 890M Vulkan 测试中，16 客户端共享系统提示词时 TTFT p50 为 1402 ms 对 llama-server 的 8064 ms，但短独立提示词的单轮请求吞吐约为基线的 96%，反而慢约 4%。
推荐理由：README给出了共享前缀并发场景下与llama-server的对比数据和复现脚本，也坦承短独立请求反而慢约4%，可自行判断适用场景。
Reflection 首个开放权重模型 Beam 于10月16日发布，Ollama 作为 day-zero 合作伙伴限时免费提供，Beam 端点全程零数据保留（ZDR）。Beam 是 MoE 模型，总参数约501B、每 token 激活23B，上下文窗口100万 token，采用 Apache 2.0 许可，面向软件工程、推理和长程 Agent 任务，可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。
推荐理由：官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表，读者可直接比较 Beam 在各编码基准上的位置。
作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度，请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位，如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%，而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口；作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信，超过 31B 稠密模型约 44 tok/s 的物理上限。
推荐理由：作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异，并指出引擎配置和内存预算比引擎本身影响更大。
minyiyang 在 GitHub 发布 ollama-translator，一个完全基于本地 Ollama 模型的图书与字幕翻译流水线，支持 EPUB、Word、PDF、Markdown 等格式输入输出，无需云 API 或 LangGraph 等 agent 框架。流水线把译名漂移、标记丢失、数量改动等长文翻译失败拆成独立检查点阶段，涵盖术语表提取与审批、审计修复、断点续跑和浏览器仪表盘，en-zh 语言对经过调优，并支持法语、日语、韩语等多语言配置。
推荐理由：一个把长篇翻译拆成可检查点、可回滚阶段的本地流水线，设计思路对任何多步 LLM 任务都有借鉴价值。
该 Ollama 分支为 NVIDIA 旧款与现役 GPU（Maxwell 到 Blackwell）提供运行时和 Docker 构建，已验证基础为 Ollama v0.40.0（llama.cpp b11351），GitHub Actions 已产出基于 v0.40.1 的镜像 cuda12-maxwell-0.40.1。
推荐理由：README 附上逐机型实测吞吐、调优参数与兼容性边界，便于读者评估旧显卡跑大模型的具体可行配置。
tammert 在 GitHub 发布 defibrillator，一个用 Go stdlib 写的单文件反向代理，部署在客户端与闲置关机的 Ollama GPU 机器之间：有请求时发送 Wake-on-LAN 唤醒机器并转发（SSE 流式转发保持），超过 IDLE_TIMEOUT（默认 30m）无请求则通过 ssh 执行 systemctl poweroff 关机。并发请求共享同一次唤醒，全部配置走环境变量，另提供约 2 MB 的 Docker 镜像，仓库附 test.sh 覆盖 17 项断言的测试矩阵，MIT 许可。
推荐理由：这是一个单文件无依赖的反向代理工具，读者可以按 README 直接配置环境变量，让闲置 GPU 机器通过 Wake-on-LAN 自动开关机。
作者 /u/Slight_Analysis_5414 在 RTX PRO 6000 上用 vLLM 0.29.1rc1 nightly + Qwen2.5-1.5B-Instruct 与 Ollama 0.40.1 + qwen2.5:7b（Q4_K_M）各跑 96 次，共 192 次 live 测试，验证其确定性执行守卫 CLIM Agent Guard。结果为 80/80 未授权操作被拦截、16/16 合法删除被执行并验证，无守卫时伪造授权等场景 32/32 全部执行。守卫不读提示词、不用第二个 LLM 评审，只对照宿主状态检查工具调用的授权、目标和重复提交。
推荐理由：作者用 192 次本地实测给出确定性行为守卫的前后对照数据，还记录了 vLLM 与 Ollama 在 tool_choice 上的行为差异，可作工程参考。
作者发布了 local-llm-gateway 仓库，用 Docker 把本机已下载的 qwen2.5:7b-instruct-q4_K_M 和 qwen2.5-coder:14b 两个 Ollama 模型暴露为 OpenAI 兼容 API（http://localhost:11434/v1）和聊天 UI，聊天历史存于 Postgres。两个模型合计约需 21GB VRAM，16GB 显卡只能一次加载一个，切换需约 60-90 秒；默认开启 OLLAMA_FLASH_ATTENTION=1 和 OLLAMA_KEEP_ALIVE=-1 以避免停顿 5 分钟后的重复加载。
推荐理由：作者把本机已有的 Ollama 模型封装成 Docker 化本地 API 和聊天界面，并写清了模型切换和慢响应的真实原因。
Het-Joshi 在 GitHub 发布开源终端 Agent lotus，可在本地通过 Ollama 驱动 4–8B 小模型操作文件、shell、网页和真实浏览器，纯 Python 无依赖，数据不出本机。它用约 250-token 系统提示词和按需加载工具适配小模型，能容错小模型写坏的 JSON 工具调用、检测并切断推理循环，支持子 Agent 并行、Tor 浏览、钓鱼检测、截图视觉模型切换、定时 recipe 和 MCP 扩展，MIT 协议开源。
推荐理由：这是一个面向 4 到 8B 本地小模型的终端智能体工具，为小模型调整了提示词、工具调用容错和循环检测，可迁移到本地 Agent 部署。
ChiefGyk3D 在 GitHub 开源 FrankenLLM 工具集，让每块 NVIDIA GPU 各运行独立 Ollama 实例（如端口 11434、11435），互不干扰地服务不同模型。提供交互式安装向导、systemd 服务、开机自动预热、GPU 健康监测自修复、Open WebUI 集成与 RAG 数据集抓取脚本，面向 Ubuntu Server 24.04，支持本地或 SSH 远程部署，并按 8GB 到 32GB+ 显存给出推荐模型组合。
推荐理由：作者开源了一套多 GPU 部署脚本，按显存大小给出具体模型搭配和常见故障的排查方法，可迁移到自建机器。
goashem 在 GitHub 开源了 LLMCommit，一个替代 git commit 的工具，读取暂存改动后交给 LLM 生成提交信息。默认先试本地 Ollama（qwen3:8b），失败后按 OpenAI、Claude、Gemini 顺序回退；支持多语言、conventional commits、--review 审阅和 .llmcommit. 配置，发送前会对私钥和 API key 等常见密钥模式做脱敏，项目代码主要由 AI 编程助手编写。
推荐理由：这个单文件提交工具默认优先本地 Ollama 并对密钥做脱敏，想给 git commit 接上大模型的读者可以参考它的多后端回退设计。
ThMadHatter 在 GitHub 发布 llm-powersaver-proxy，一个运行在常开 LXC Debian 上的异步反向代理，可检测 Ollama/LiteLLM 端点状态并通过 Proxmox API 自动启动 VM/CT，支持 end-to-end 流式转发和可选 Wake-on-LAN。README 给出 LXC 创建、最小权限 Proxmox token 配置、安装验证、Nginx/Cloudflare 反向代理及 WOL 使用等完整步骤，并提醒勿暴露 8080 端口、为多 worker 需分布式锁。
推荐理由：原文给出从 LXC 创建、Proxmox 最小权限 token 到 Nginx/Cloudflare 流式排查的完整步骤，方法可直接照搬复现。