方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
modal-projects 发布开源库 modal-dojo，用于在 Modal 上快速开展生产级 LLM 训练。可通过 uv pip install 安装，用 modal-dojo skills install 为本地 Agent 安装技能包，示例展示了以自定义奖励函数对 Qwen3.5-4B 在 GSM8K 数据上做 RL 训练。库支持 DeepSeek、GLM、Gemma、Kimi、Qwen3 至 Qwen3.8 等多系列模型，要求 Python 3.12。
推荐理由：这个开源库把 Modal 上的生产级 LLM 训练封装成可安装的技能包，Agent 可直接调用，附多模型支持清单和可复现代码示例。
FPGArtktic 发布 shuttle-stack v1.0.0，一个部署在本机的 MCP 推理层：两个 rootless Podman 下的 llama-server 实例（Qwen3-8B Q4_K_M 和 Qwen3-1.7B Q8_0）加一个 MCP 代理，Agent 传文件路径让本地模型读取并只返回带引文出处的答案。实测把读 install.sh 的 12844 token 上下文开销降到 468 token，节省 97%；容器网络无出站路由并用两探针审计，20 个评测用例在 long 服务器上 20/20、fast 上 18/20。九个里程碑已完成六个，需 Arch Linux 或 Ubuntu 24.04+、约 12.5 GB 磁盘，GPU 可选。
推荐理由：项目用实测数字说明本地模型替 Agent 读长文件能省多少上下文，安装、隔离和评测方法都可复现。
DevCop95 在 GitHub 发布 cYHBer Console，一个零依赖的本地 ChatGPT 风格 Web 界面，通过 Ollama 支持 abliterated（无审查）模型、实时流式输出与 Agent 工具调用，默认模型为 richardyoung/qwen2.5-3b-instruct-abliterated。工具含 web_fetch、web_search、文件读写、PowerShell 命令执行及 DNS、端口扫描等红队侦察助手，文件操作限制在项目目录内，web_fetch 阻断 IPv4/IPv6 SSRF 目标，侦察工具限单一目标并封顶端口与并发；项目内置 74 项测试，采用 MIT 许可证，声明仅限授权红队、研究与教育用途。
推荐理由：项目只用原生 Node 模块零依赖运行，并给出了目录沙箱、SSRF 阻断等安全设计细节，适合想本地部署带工具调用的去审查模型界面的读者参考。
atretador 在 GitHub 开源 Unswarm，一个用于跨多台机器管理 LLM 推理基础设施的自托管控制面，可注册远程 agent、编排 llama.cpp 和 vLLM 等 Docker 容器，并通过 /v1/chat/completions 提供 OpenAI 兼容代理。调度器按需加载和卸载模型，让有限 VRAM（如 24 GB）看起来可服务 10 个模型，支持独占与共置模型分组、会话亲和（默认 45 秒驻留窗口）防止工具调用间的模型反复切换，并附带基准测试、用量分析、成本跟踪、路由配置和 Go 编写的 CLI。
推荐理由：README 详细给出了共享 VRAM 调度、会话亲和和切换开销的取舍说明，读者可据此判断它是否适合自己的多模型自托管场景。
HybridAIOne 开源了 HybridClaw，一个可自托管的智能体运行时，内置 79 个业务技能，涵盖 CRM、营销、财务、云运维等，并以 Qwen/Qwen3.6-27B-FP8 作为小模型验证基线。凭据存放在加密运行时存储中，通过 SecretRef 在执行时解析，使密钥不进入模型上下文；本地代理、托管代理与可信对等实例之间通过端到端加密 A2A 信封协作。最新版本为 v0.39.2，支持 Apple silicon 上 MLX 本地模型、Docker 沙箱、OpenAI 兼容 API 和 Discord、Slack、Teams 等多种通道。
推荐理由：官方 README 详细说明了小模型跑业务技能的结构化方法和凭据隔离设计，读者可以了解一个可自托管的智能体运行时怎么搭。
tammert 在 GitHub 发布 defibrillator，一个用 Go stdlib 写的单文件反向代理，部署在客户端与闲置关机的 Ollama GPU 机器之间：有请求时发送 Wake-on-LAN 唤醒机器并转发（SSE 流式转发保持），超过 IDLE_TIMEOUT（默认 30m）无请求则通过 ssh 执行 systemctl poweroff 关机。并发请求共享同一次唤醒，全部配置走环境变量，另提供约 2 MB 的 Docker 镜像，仓库附 test.sh 覆盖 17 项断言的测试矩阵，MIT 许可。
推荐理由：这是一个单文件无依赖的反向代理工具，读者可以按 README 直接配置环境变量，让闲置 GPU 机器通过 Wake-on-LAN 自动开关机。
fabiomn97 开源了 sloan-brain 项目，将其在 MIT Sloan 的所有课件、阅读、案例、作业、笔记等私有资料建成一个可问答的个人知识库，部署在 www.brain.fabio.cool，用一次性邮件验证码登录，不依赖 MIT 账号，毕业后仍可使用。流程上由 Canvas 抓取脚本下载原始文件，转换为带 front matter 的 Markdown 语料存入 git，GitHub Actions 同步到 Cloudflare D1 全文索引并由 Worker 提供服务；提问时小模型扩展检索词，全文搜索定位段落，Llama 3.3 70B 生成带 [1]、[2] 引用的短答案，点击引用可查看原文并高亮。
推荐理由：作者把个人知识库完整跑在 Cloudflare 免费额度上，仓库给出了架构、成本上限和重建流程，可直接迁移复用。
MIOSA 发布了开源 Agent 工具 OSA（Optimal System Agent），基于 Signal Theory 对输入做信号分类并按权重把任务路由到合适的模型，一条命令安装、本地运行、支持任意模型。引擎为 Elixir/OTP，界面为 Rust ratatui TUI，内置 82 个工具、27 家提供商与 fallback 链、跨会话记忆与 SICA 技能学习，支持 ask/auto-edit/plan/overdrive 等权限模式和 MCP 客户端/服务端，推荐入门组合为 Ollama Cloud 的 glm-5.2:cloud（100 万 token 上下文）。
推荐理由：README 详细写清了安装方式、本地架构、权限模式与内存分层，读者可以据此评估这个本地 Agent 是否适合自己部署。
ashevchuk 在 GitHub 开源 personal-wiki，一个以本地 markdown 文件为唯一数据源的个人知识库，附带全文搜索、WYSIWYG 编辑器、wiki-links 反链和 MCP server，可让 Claude 等客户端搜索、读取乃至写入笔记。项目编译为单个静态 C++ 二进制，无需数据库服务器，可在 Raspberry Pi 等单板机上运行；写入权限默认关闭并记录审计日志，SQLite 仅作可重建的搜索索引，语义搜索为可选功能（本地 llama.cpp 或 OpenAI 兼容 API）。
推荐理由：原文以 markdown 文件为唯一数据源并内置 MCP server，给出了完整的安全模型与 ARM 单板机部署细节，方法可直接迁移到自托管笔记场景。
开发者在 GitHub 发布了开源 macOS 工具 Lexa，一个 Grammarly 替代品，选中任意应用中的文字按 ⌥⌘G 即可获得语法纠错并高亮改动。支持 Correct、Make Clear、语气调整和 15 种语言翻译，可接入 OpenRouter、Groq、Gemini、Mistral 等 7 个免费 API 提供商、Ollama/LM Studio 本地模型，以及 ChatGPT/Claude 订阅 CLI；API key 存于 macOS Keychain，需 macOS 26 或更高版本，MIT 许可。
推荐理由：原文完整列出支持的免费 API 提供商、本地模型和订阅 CLI 三类接入方式，macOS 用户可直接照装使用。
RettWilson22 开源了 Back of the Book，对 PDF、PPTX、Markdown、纯文本课程资料提问并生成带精确页码引用的答案，还支持从资料或任意主题生成三档难度的选择题测验。检索默认用 BM25 加 embeddings 融合再加 cross-encoder 重排，在 OpenStax Principles of Data Science（561 页、1,479 个 passage、75 题）上 Recall@1 达 76.0%，MRR@10 达 0.834；题目集在任何检索运行前已提交。答案可来自 Groq 免费档、Claude 或无需 API key 的离线引用模式，项目含 118 个测试并提供 Streamlit 在线演示。
推荐理由：作者把检索评测问题集先提交再跑分，并公开四种检索模式的对比数据，方法对自建 RAG 系统的人有参考价值。
drone540 发布了 llama-swap-unified-native，一个在 Ubuntu 等 Debian 系 Linux 上从源码构建自托管 AI 栈的安装脚本，以 llama-swap 作为模型路由与管理器。可选组件包括 llama.cpp、ik_llama.cpp、stable-diffusion.cpp、whisper.cpp、Kokoro-FastAPI、CrispASR、acestep.cpp 和 audio.cpp，每个组件可交互选择 CUDA、Vulkan、HIP/ROCm、Metal、SYCL 或 CPU 后端，配置保存在 /opt/ai-stack/stack.conf 并支持 --reconfigure 重配、--release 下载预编译二进制及 --uninstall 卸载。
推荐理由：这是一个可直接复用的 Ubuntu 自建 AI 栈安装脚本，交互式选择组件与计算后端，适合想在本地一键部署多模型服务的读者。
meltedkeyboard 在 GitHub 发布 Reverie，一款基于 Expo 构建的 iOS/Android 角色扮演聊天客户端，通过 OpenAI 兼容 API 直连本地模型服务器，数据全部留在设备上。支持角色模板、流式回复变体与 Refine 微调、推理模型思考过程显示、多角色房间与导演模式、Character Card V1/V2/V3 导入导出、照片附件、备份 zip 导出与跨设备文件夹同步，另提供实验性 Electron 桌面版；仓库含 Android .apk 与未签名 .ipa 构建流程。
推荐理由：这是一款面向本地模型的开源角色扮演聊天客户端，支持多角色房间、角色卡导入导出和数据全程留在本机，功能设计比较完整。
GitHub 项目 nathaninline/ajean 发布 AJEAN，一个单文件、无依赖的开源程序，把带 GPU 或纯 CPU 的电脑变成完整本地 AI 助手，模型运行由其自动安装更新的 llama.cpp 承担，支持 Linux、Windows 和 macOS。它提供聊天界面、项目级记忆、终端与文件操作、网页读取、浏览器控制、MCP 服务器接入和定时任务，对话可加密存储，远程访问经 ajean.link 中继端到端加密（付费 4.80 EUR/月），其余功能开源免费。模型配置以 preset 管理，可指向本地 llama.cpp、OpenAI 兼容 API 或 Modal 租用的 GPU。
推荐理由：原文详细列出了这个单文件本地助手的安装方式、四种聊天模式和内存加密机制，想在自己机器上跑完整 AI 助手的读者可以对照评估是否够用。
kisubkim 发布 AIBridge，让封闭内网的本地 AI（Open WebUI）不直接联网，通过开发 PC 上的 FastAPI 网关经 SSH -R 隧道获取网页搜索（SearXNG）和网页正文。网关仅绑定 127.0.0.1 并以 API Key 认证，内置 SSRF 与 DNS rebinding 防护、域名黑白名单和限流，仓库含安装脚本、操作手册 doc/HANDS-ON.md 与 MIT 许可。
推荐理由：面向封闭内网环境的 Open WebUI 联网检索方案，给出 SSH 隧道网关的完整搭建步骤与 SSRF 防护细节。
JiaY-77 在 GitHub 开源 Palimpsest，一个本地优先的嵌入式长期记忆系统，将语义向量检索、加权知识图谱与 FTS5 全文检索三合入同一个本地 TriviumDB，为 AI 助手提供跨会话记忆底座。系统通过 REVISED_BY 版本链实现旧记忆标记 outdated 但可追溯、写入前按 10 条正则规则做敏感扫描、Leiden 社区发现、时间衰减加权与高频记忆自动升级；提供 MCP、FastAPI REST（:8090）和 CLI 三套接入共用同一核心，并为 Hermes 提供双插件（Memory Provider + Context Engine）。支持 Obsidian 知识库语义索引和小说设定库入库，附部署体检、备份脚本与离线检索质量评测框架。
推荐理由：原文完整给出了记忆系统的冲突版本链、混合检索与敏感扫描设计，读者可以照此在自己的 agent 上复刻一套本地长期记忆。
Epistates在GitHub发布PMetal，一个用Rust编写的Apple Silicon机器学习SDK、框架和应用套件，覆盖Metal GPU内核、ANE集成、训练API、终端TUI和Tauri+Svelte桌面GUI。支持LoRA/QLoRA、DPO/KTO/GRPO等偏好与推理训练、知识蒸馏、模型合并、GGUF量化、OpenAI兼容服务，并支持通过Thunderbolt组网的多Mac分布式训练，M1至M5全系完全支持，MIT或Apache-2.0许可。
推荐理由：仓库README覆盖从Metal内核到TUI、CLI和多Mac集群训练的完整链路，想研究Apple Silicon本地训练推理工具结构的读者可以按需查阅。
FynnXland 在 GitHub 发布开源本地语音听写工具 Fleech，按住 F9 说话后由 Whisper 和 Ollama 上的 gemma3:4b 在本地完成转写与文本清理，音频不出本机。工具支持德语和英语听写、语音指令、按应用配置的档案、口述公式转 LaTeX 和历史记录，MIT 协议开源，界面目前为德语、英文界面在计划中。
推荐理由：原文讲清了本地语音听写的完整链路与质量控制机制，读者可以据此评估是否在自己电脑上复用这套方案。
pyrlyn 在 GitHub 开源本地优先 AI CLI runa，支持下载前用 runa fit 预估 GGUF 模型在本机的内存占用和速度，可通过 ggml / llama.cpp 本地运行或调用 OpenAI 与 Anthropic。单二进制提供 OpenAI 兼容的 runa serve、交互式 runa chat、音频视频处理（含 whisper.cpp ASR）、MCP 工具循环和自适应内存管理，提供 macOS arm64、Linux x86_64、Windows x86_64 安装包及 Metal / Vulkan / CUDA 构建，无遥测，采用 GPLv3 等多许可。项目处于活跃开发中，正在招募测试志愿者。
推荐理由：本地优先 AI CLI runa 开源，下载前可预估 GGUF 在本机的内存和速度，同一套控制打通本地与云端。
eugene-plexus/gateway 提供一个 OpenAI 兼容端点，统一路由本地与云端后端，支持副本负载均衡、按 modelSlots 分层级联、空闲卸载和按需唤醒。路由表从各 driver 的 /v1/info 自动推导而非手工配置；M6 至 M8 通过单 GPU 双 llama.cpp 副本和跨机实测，控制平面自身开销约 116 ms 每请求（子进程后端为 6 ms）。仓库列出未解决问题包括卸载后短路由窗口和 116 ms 开销未查明，代码以 Apache 2.0 许可开源。
推荐理由：仓库详细公开了路由分层设计和控制平面实测开销与未解决问题，读者可以据此评估这套多后端网关的成熟度。