模型与平台
Ollama 的发布与更新：本地跑模型的方式、模型库与推理栈变化。
36 条精选近 30 天 29 条共收录 128 条
开发者 yakovkhalinsky 在 GitHub 发布 Grove，一个纯 Python 标准库编写的本地森林生态模拟，语言模型作为 World Soul 约每分钟决定风暴、干旱等事件，并撰写编年史和为新生儿命名。默认模型为 glm-5.3-flash:cloud，经自有 Ollama 调用且无需 API key，--tier local 可完全离线固定到 llama3.2:3b（CPU 上约 1.9 tok/s）。世界状态存于单个 SQLite 文件，LLM 只做 schema 校验的有界任务、从不写世界状态，grove web 提供离线等距仪表盘，tools/balance.py 要求 8 个种子世界各 19 年内所有物种存活才能合入。
推荐理由：作者把 LLM 限定为只做有界决策、引擎持全部状态，这种确定性模拟与模型分工设计可借鉴到其他本地 AI 项目。
DaveEuson 发布 RigMatch，一款本地工具，通过 Ollama 在用户真实硬件上基准测试本地模型，按速度、答案质量和硬件契合度给出 0-100 Match Score 和等级，并选出 Top Match。应用提供面向新手的五步引导向导和含自定义测试套件、日志的 Advanced Mode，支持 Windows、macOS、Linux 和 Jetson，全程本地运行、无账号无遥测。许可为 source-available 而非开源，允许使用但不授权复制、修改或再分发；0.4.2 及之前的 macOS 版本未签名，首启可能需手动清除隔离并本地重签。
推荐理由：把选本地模型包装成相亲游戏，按你自己的硬件实测速度、质量和匹配度并给出 0-100 分，比看通用榜单更贴合实际。
作者在 GitHub 发布了 Oberton（前身为 Local Dictation），一款 Windows 全本地 AI 听写工具，按热键说话后经 faster-whisper 转写、Ollama 本地模型（默认 qwen2.5:3b）清理文本并插入任意应用，默认 Keep everything offline，无账号或遥测。可选 Claude 等 Cloud 模型需自带 API key；NVIDIA GPU 下 large-v3-turbo 转写 20 秒语音约 1-2.5 秒，CPU 约 8 秒（Ryzen 7 5800HS 实测），另含 Ctrl+Shift+Space 本地朗读功能，支持 Kokoro v1.0、Piper 和 Windows 语音，MIT 协议开源。
推荐理由：这是一个默认全离线的 Windows 听写开源工具，给出了模型组合、显存占用与实测延迟，便于本地部署参考。
作者实测 Orange Pi 5 Plus（RK3588、16GB）运行本地大模型的表现，发现把 Ollama 限制到 4 个 A76 大核可带来最高 +318% 提速，Qwen 2.5 1.5B 达 14.5 tok/s，而 Llama 3.1 8B 受 LPDDR4x 带宽限制仅 2.3 tok/s 且裸片温度达 85°C。
推荐理由：作者用同一块板子实测了线程数、NPU 与散热的取舍，给出了各档模型的 tok/s 和温度数据，可迁移到其他 RK3588 部署场景。
hwdsl2 发布 docker-ollama 镜像，用于以 Docker 运行 Ollama 本地大语言模型服务器，提供 OpenAI 兼容的 /v1 API 子集和原生 Ollama API。
推荐理由：这个 Docker 镜像默认用 Caddy 强制 Bearer token 认证并自动生成 API key，README 还给出磁盘与内存需求表，便于自行评估部署成本。
FreeBSE-Osaka 在 GitHub 开源了 mp_cod，一个让单个本地 LLM 以多个专业家人格独立生成见解、经相互反驳与调和后形成结论的 CoD 编排工具。
推荐理由：原文附带了完整命令示例与实机耗时、内存数据，读者可以照着在本地复现这套多人格辩论编排流程。
作者发布开源中间件 OntoPrune（MIT 协议，https://github.com/vigmarcarlo/OntoPrune），通过把源码转为内存知识图谱、用 SPARQL 提取所编辑函数的 1-hop 闭包并渲染成类型化 Python stub，压缩上下文并校验生成代码。
推荐理由：作者给出完整基准数据，展示用神经符号上下文剪枝在本地 CPU 上把 TTFT 从 22.4 秒降到 3.3 秒的可复现做法。
作者开源了 HA_Automation_Pi 项目，将 Raspberry Pi 5 变成完全本地运行的 Home Assistant 智能家居 AI，断网时灯光、门锁、温控和语音播报仍可工作。
推荐理由：作者给出了在树莓派 5 上跑本地 LLM 智能家居的完整架构与实测数据，包括 18 实体下 70-85% 的工具调用可靠性和备选模型切换方案。
Ollama 0.35 新增基于 TypeSafe Jev API 的决策模型支持，通过 /v1/systemone 端点在本地一次请求回答多个命名问题，适用于工单分诊、模型路由和内容审核等快速决策场景。
推荐理由：官方给出了本地决策模型的延迟数据、三个可用模型和 API 用法，读者可以直接照着在本地跑起来。
Ollama 宣布 Pro、Max、Team 订阅改为透明按 token 计费，每月附带用量池：Pro $20/月含 $60 用量，Max $100/月含 $300，Team $500/月含 $1000 共享用量、不限席位数。
推荐理由：官方公布了各档订阅价与含额明细，并解释了从 GPU 时长计费转向按 token 计费的原因，老用户可留在原计划。
Ollama 宣布支持将 Claude Desktop 配置为经 Ollama 的第三方网关。在 Ollama 中开启 Claude 即可自动配置，可选用 Ollama 内本地或云端模型，关闭后恢复原设置；默认关闭遥测并执行零数据保留政策，也可在设置中配置本地模型。
推荐理由：官方说明了 Claude Desktop 接入 Ollama 的配置步骤、数据保留政策和本地模型用法，便于按需切换云端与本地模型。
NVIDIA Nemotron 3.5 Lightning 现已可在 Ollama 上下载并完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 架构，面向长时运行的 Agent 任务，支持最高 1M token 上下文，通过 MTP、DFlash 或 DSpark 投机解码实现最高 4x 于同类开放模型的吞吐，任务完成时间快 30%。
推荐理由：原文给出了 MoE 架构、1M 上下文和 4x 吞吐等具体配置与对比数据，读者可据此评估其本地 Agent 部署价值。
Meta Superintelligence Labs 首个发布的开放模型 Muse Glimmer 现已登陆 Ollama。该模型为 30B 多模态模型，专为本地运行的 Agent 工作负载构建，支持 128K+ 上下文，采用 Apache 2.0 许可证。
推荐理由：官方说明了在 Ollama 上运行该模型的具体命令、MLX 引擎的 DFlash 加速倍数和图像输入用法，可直接照做。
Ollama 宣布获得 8800 万美元融资，投资方包括 Benchmark 的 Peter Fenton、Theory Ventures 的 Tomasz Tunguz、8VC 的 Alex Kolicich、Docker 创始人 Solomon Hykes 及 Y Combinator 等。
推荐理由：官方融资公告披露了投资方名单、金额和 Ollama 的用户规模数据，可了解这家开源模型平台下一步的混合推理方向。
Ollama 0.31 通过多 token 预测（MTP）让 Gemma 4 在 Apple Silicon 上生成速度平均提升近 90%，基于 Aider Polyglot 基准在 M5 Max 上实测。
推荐理由：原文讲清了 MTP 投机解码的三个实现环节和 Aider polyglot 实测数据，并指出新内核可被其他模型复用。
Ollama 更新其 MLX 引擎，称在 Apple Silicon 上实现迄今最高性能，支持 NVIDIA 的 NVFP4 量化格式：在 Gemma 4 12B 上相对 q4_K_M 大约将 4-bit 量化的质量损失减半，输出速度在 8,300-token 输入下快约 20%。
推荐理由：官方给出了 NVFP4 相对 q4_K_M 的困惑度对比和快照缓存对 Agent 工作流的处理方式，数据与方法都可直接参考。