方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
作者发布了 huihui-ai/Huihui-MiniCPM-V-4.6-abliterated 的 8-bit MLX 量化版 YCF-AI/MiniCPM-V-4.6-Huihui-abliterated-8bit-MLX，体积仅 2.3 GB，M1 Ultra 上解码约 140–180 tok/s。相比旧 mlx-community 8bit 版，换用去审查权重是为全栈一致去审查；Heretic 去审查版因空间描述退化被弃用。关键改动是把图像 token 的 downsample_mode 从 16x 改为 4x，使 30 行大页 OCR 达到 120/120 零漏行、35 项视觉套件 35/35，且速度无可测损失。
推荐理由：原文给出换用 Huihui 去审查版而保持 OCR 精度和速度的实测对照，还解释了 4x 下采样为何修复大页 OCR。
grendel116 在 GitHub 发布 LM-Sanctuary，一个 100% 本地运行的工作区，集角色扮演、编码和 AI 语音通话于一体，本地模型通过 llama-cpp-python 加载 GGUF、在进程内用 SDXL SafeTensors 与 LoRA 生成图像。AI 可读写文件、跑 Shell 命令、执行 SearXNG/DuckDuckGo/Brave/Tavily 联合搜索并管理任务，默认需人工批准，可切换 Auto Mode；README 警告这些工具会给 AI 完全控制权，建议只给信任的模型并可用沙箱运行。
推荐理由：原文完整列出了本地文件、Shell、搜索和图像生成等工具的权限设计与安全警告，读者可以据此评估在自己机器上跑这类工作区的风险。
Rind 是一个轻量级开源本地 AI 编码 Agent，提供持久化专家工作区、可脚本化会话，以及覆盖终端、桌面、浏览器和消息客户端的共享运行时。它通过 rind run 和 rind send 支持脚本调用和向活动会话注入指令，内置 OpenAI、Anthropic、Google、DeepSeek 等适配器，采用 Node.js 接口层与 Python worker 分离的架构，以 MIT 协议开源。
推荐理由：原文详细说明了多智能体团队、可脚本化会话和接口与执行分离的设计，读者可以了解本地编码 Agent 的可复用架构做法。
aralde 在 GitHub 发布 OperatorLM，一个本地 OpenAI 兼容代理，单二进制即可在多个 OpenAI、OpenRouter、Groq、Gemini、Anthropic 等上游间做多账号别名与故障转移。API 密钥存于系统钥匙串而非磁盘，默认监听 127.0.0.1:11434 与 Ollama 相同端口，内置 llama.cpp 可本地运行 GGUF 聊天、视觉、嵌入模型及 Whisper STT 和 Piper TTS，另原生支持 /v1/messages Anthropic 兼容端点和实验性的 ChatGPT Plus/Pro OAuth 后端。
推荐理由：单二进制本地代理可同时管理多账号故障转移、密钥入系统钥匙串与本地 GGUF 推理，读者能对照配置示例评估是否替代 Ollama。
rsperko 在 GitHub 发布开源工具 KeyScribe（GPLv3），为 macOS 提供本地优先的语音听写，按住 Fn（Globe）键说话即可把文字插入当前应用，纯听写模式完全在设备上运行、无遥测。可选 BYOK 改写模式通过自配的 OpenAI 兼容 provider 润色文本，支持按触发键、应用或口头后缀路由模式，语音模型覆盖 Parakeet、Whisper、Apple Speech 和 Qwen3-ASR，要求 macOS 15+ 与 Apple silicon。
推荐理由：一款语音输入全程留在本地的 macOS 工具，隐私边界写得很细，适合关注本地语音转写方案的人参考。
Actrone 发布 actrone-memory 的 TypeScript 版本，为 JS/TS AI 智能体提供两层持久记忆：L1 短期会话回合加 L2 长期语义召回，MIT 协议开源。默认 InMemoryStore 加本地词法 embedder 零依赖可用，可注入 Redis、Postgres/pgvector、Qdrant 适配器，安装 fastembed 后切换到本地 bge-small-en-v1.5（约 130 MB）按语义召回，并提供 10 个经 CI 类型检查的框架适配器（Vercel AI SDK、LangChain.js、LangGraph.js、Claude Agent SDK 等）。
推荐理由：原文用一致性测试和明确的隐私边界讲清了这套开源记忆库的适用范围，读者可据此权衡本地与托管方案。
Gufo 是一个专为 AMD Strix Halo（Ryzen AI MAX+ 395，Radeon 8060S，最高 128 GiB 统一内存）构建的本地推理引擎，在 GitHub 开源，MIT 许可。支持文本、语音、图像等多模态模型：Qwen3.8 27B Q4 预填充 656.33 tok/s、单用户解码最高 70.56 tok/s（DFlash2 8 并发 123.00 tok/s），Qwen3.8 Flash-Next MTP 下 8 并发 157.22 tok/s，另有 Qwen3-ASR 1.7B 15.27× 实时、Qwen3-TTS 1.7B 首音频 201 ms 等。项目提供 Podman 部署与源码构建指南，OpenAI 兼容 API 支持文本、图像、函数工具、结构化输出与流式。
推荐理由：原文给出针对 AMD Strix Halo 128 GiB 统一内存优化的本地推理引擎及其多模态模型实测吞吐数据，读者可据此评估该硬件方案。
jdorner 在 GitHub 开源了 Palim，一个运行在本地、通过 OpenAI 兼容端点（如 llama.cpp、llama-swap、vLLM）驱动 LLM 的个人 AI Agent。它让智能体在 just-bash 虚拟文件系统沙盒内通过 shell 命令操作环境，仅挂载 AGENT_WORK_DIR 目录，内置 13 个扩展（调度、webhook、Telegram、工作流、wiki、MCP 桥接等），密钥对智能体不可见并由 SQLite 加密金库管理。项目用 Bun + TypeScript 构建，已在 20B-35B 参数模型（Qwen 3.6、Gemma 4、gpt-oss）上测试，采用 MIT 许可证。
推荐理由：原文完整说明了 Palim 用沙盒 shell 替代自定义工具函数的设计，并给出扩展清单、密钥隔离和本地 LLM 实测范围。
ProductPope 在 GitHub 发布 diagram-4-llm，一个本地优先的 LLM 聊天客户端，把对话组织成可在画布上查看的分支图，目前处于 phase 1 开发中。用户可在任意消息处分叉、切换版本、发送前检查模型实际收到的上下文，数据全部存于浏览器；支持 Anthropic API 和任意 OpenAI 兼容端点，包括 Ollama 和 LM Studio 等本地服务器。项目文档明确说明由 AI 编码工具在人工维护者监督下开发，授权 agent 在 CI 通过后自行合并 PR，规则公开于 CLAUDE.md。
推荐理由：原文讲清了把对话组织成图并用引用精确控制上下文的机制，对受小上下文窗口困扰的本地模型用户有直接参考价值。
开发者 Xilleet 在 GitHub 发布游戏翻译覆盖层工具 ScreenTale v0.7 beta，可将未翻译视觉小说、JRPG 和抽卡游戏的画面文本就地替换为译文。工具内置 Windows OCR（10–25 毫秒）与 RapidOCR 支持竖排日文，本地翻译基于 llama.cpp 运行 GGUF 模型（Hy-MT2 1.8B、Qwen 2.5 7B、Sakura 4B），自动检测 CUDA/Vulkan/CPU 并下载运行时；通过 HTTRANSPARENT 透传层工作、不注入进程内存以规避反作弊，并支持 12 种语言互译与 STREAMER 防录制模式。
推荐理由：原文详述了这款游戏画面翻译覆盖层的实现方案，包括 OCR 选型、llama.cpp 本地翻译运行时管理和不注入进程内存的反作弊设计。
ne0juan 在 GitHub 开源了 ai-paper-daily，一个全自动中文 AI 资讯站，每天北京时间 08:00 / 13:00 / 19:00 抓取、筛选、翻译并存档内容，在线阅读地址为 https://dailyaibot.com。项目用 GitHub Actions 定时运行、Cloudflare Pages 免费托管，大模型默认走 DeepSeek deepseek-chat，每天成本约几毛钱；内容含今日风向、资讯与观点、热门项目、架构评测和论文等栏目，论文 PDF 与文章存档托管站内。用户可 fork 仓库并配置 CLOUDFLARE_API_TOKEN 与 LLM_API_KEY 自行部署，代码以 MIT 协议开源。
推荐理由：原文给出了完整的数据源、打分规则和部署配置，读者可以直接 fork 复刻一个自己的中文 AI 资讯站。
magnusfroste 在 GitHub 发布 FlowWink，一个自托管的 Business Operating System，含 66 个模块和 600+ 通过 MCP 暴露的智能体技能。内置本地智能体 FlowPilot（默认每 6 小时心跳运行），也可换用 OpenClaw、Claude Desktop 等外部操作者或纯人工 SaaS 模式；支持 MIT 许可免费自托管，可经 fork 加 Vercel 与 Supabase 零 CLI 部署。
推荐理由：原文详细拆解了如何用 MCP 把整套 SaaS 模块的能力暴露为智能体技能，并给出无需 CLI 的自托管部署路径，做法可迁移。
GitHub 项目 rlei-odes/lcf（Lancy Content Flow）发布，这是一个开源自托管方案，用本地 LLM 辅助填写 8D/4D 问题解决报告、产品规格、偏差通知等结构化文档。内容只在接受后才存在，质量门禁通过或记录人工覆盖原因后才能导出 docx；支持 Ollama、vLLM、LM Studio、llama.cpp 等任何 OpenAI 兼容端点，数据不出本地网络，20B 级 instruct 模型即可流畅使用。
推荐理由：开源项目把 LLM 限制在确定性框架内做结构化文档起草，人工接受和质量门禁的设计思路对类似工作流有参考价值。
GitHub 项目 devlikebear/tars 宣布恢复开发，最新 tagged 版本为 v0.52.0。TARS 是用 Go 编写的本地 AI Agent 运行时，单个二进制打包浏览器控制台、API server、CLI、后台任务、记忆与扩展系统，支持 subagent 编排、SQLite Work Ledger、heavy/standard/light 三档模型路由、cron 调度、Telegram 通道、Skill Hub 扩展与 computer_use，并提供与 OpenClaw、Hermes Agent 的对比表。项目采用 MIT 许可，可通过 Homebrew、curl 脚本或 PowerShell 安装。
推荐理由：README 给出了本地 Agent 运行时的完整架构与同类项目对比表，读者可以借此评估本地可控 Agent 方案的取舍。
thisisspartan 在 GitHub 发布 llama-log-observability，一个解析 llama-server 日志的实时仪表盘，用单个零依赖的 www.js 文件以纯 Node.js 实现。面板可视化 KV cache 来源与 VRAM/Host RAM 分布、上下文 checkpoint、MTP/n-gram 投机解码接受率与请求历史，并读取 /slots 和 /metrics 端点交叉核对，不改动 llama.cpp 本身。作者给出完整示例：在 RTX 5060 Ti 16GB 上以 q4_0 KV cache 加 host-RAM checkpoint 运行 Qwen3.8-27B MTP GGUF（IQ3_S 量化），跑通 124000 上下文。项目以 MIT 协议开源。
推荐理由：一个零依赖的单文件 Node.js 面板，把 llama-server 日志变成 KV 缓存、checkpoint 和投机解码的实时可视化，可直接复用。
nexc-engine 在 GitHub 开源，是一个自托管的可视化 LLM 图工程平台：用户在类 Obsidian 画布上用 [[wikilinks]] 画目标草图，LLM 将其细化为结构化计划，再按 DAG 调度执行，每个节点由 LLM 调用、Python 运行时中生成的角色 agent 或 texc-symphony 编码 agent 处理，产出 docx、代码等可下载交付物。
推荐理由：README 给出了从画布草图到 DAG 执行的完整架构、部署命令和与 n8n、CrewAI 等工具的逐项对比，方便读者评估是否适用。
Emryswu 在 GitHub 开源 ResumeLens，一个基于本地向量检索加大模型生成的简历与职位 JD 匹配系统，后端用 Spring Boot，向量部分用本地 ONNX 运行 Alibaba-NLP/gte-multilingual-base-int8（768 维），精析走关键词重排加语义阈值门控的 RAG。项目附可解释的 chunk 级证据链报告和手写 tool-calling AI 助手，写操作需用户确认；阈值 0.72 来自 18 组配对、198 次检索的阈值扫描实验，作者说明了该结论只适用当前模型与分块配置且无独立 holdout，并给出 RAG 与全文直投的消融对比（块级证据 F1 0.957 对 0.468）。
推荐理由：作者不只给出代码，还附上阈值 0.72 的扫描校准数据和 RAG 消融对比，方法对做检索工程的人可直接迁移。
开发者 stevyhacker 在 GitHub 开源了 macOS 应用 LokalBot，可在 Apple Silicon Mac（macOS 15+）本地录制麦克风和会议应用音频，无需会议机器人加入，提供转录、摘要、日程回顾、听写与自动补全，默认无账号、无遥测。内置 llama.cpp 运行时，默认模型含 Qwen3-ASR 1.7B、Qwen3.5 4B 等，约 6.8 GB 模型文件，支持 Ollama、OpenAI 兼容服务器和 Apple Intelligence，屏幕文字与截图默认 opt-in 且 14 天过期， GPLv3 协议，可通过 Homebrew 安装。
推荐理由：README 附带了与 Granola、Otter、Screenpipe 等产品的逐项对比表和隐私架构说明，方便读者判断本地会议记录方案的差异。
bilibili Index LLM Team 发布 Index-Translate 多语言翻译模型家族，基于 Qwen3.5，文本模型覆盖 150 种语言，提供 2B、9B 和 35B-A3B（preview）权重，已在 Hugging Face 和 ModelScope 开放。
推荐理由：原文给出了各尺寸模型的评测数字、量化版本和免费API入口，读者可以直接对比选型并上手部署。
GitHub 项目 Arslan 发布，一个本地优先的个人 AI orchestrator，在你自己的机器上用你自己的 LLM API key 运行。每次请求由 host agent 拆分任务、在内核沙箱里运行生成的代码并返回答案。spawn 的提示词会从运行历史自动修订，但需在至少 10 对留存历史任务上盲评取得至少 60% 胜率且各维度不劣于现任版本，生成可读 diff 后由用户点击 Promote 才生效。
推荐理由：项目把自进化人格拆成可审查的流程，用留存任务对打加人工 Promote 把改动挡在生效前，方法本身可以借鉴。