方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
JiaY-77 在 GitHub 开源 Palimpsest，一个本地优先的嵌入式长期记忆系统，将语义向量检索、加权知识图谱与 FTS5 全文检索三合入同一个本地 TriviumDB，为 AI 助手提供跨会话记忆底座。系统通过 REVISED_BY 版本链实现旧记忆标记 outdated 但可追溯、写入前按 10 条正则规则做敏感扫描、Leiden 社区发现、时间衰减加权与高频记忆自动升级；提供 MCP、FastAPI REST（:8090）和 CLI 三套接入共用同一核心，并为 Hermes 提供双插件（Memory Provider + Context Engine）。支持 Obsidian 知识库语义索引和小说设定库入库，附部署体检、备份脚本与离线检索质量评测框架。
推荐理由：原文完整给出了记忆系统的冲突版本链、混合检索与敏感扫描设计，读者可以照此在自己的 agent 上复刻一套本地长期记忆。
Epistates在GitHub发布PMetal，一个用Rust编写的Apple Silicon机器学习SDK、框架和应用套件，覆盖Metal GPU内核、ANE集成、训练API、终端TUI和Tauri+Svelte桌面GUI。支持LoRA/QLoRA、DPO/KTO/GRPO等偏好与推理训练、知识蒸馏、模型合并、GGUF量化、OpenAI兼容服务，并支持通过Thunderbolt组网的多Mac分布式训练，M1至M5全系完全支持，MIT或Apache-2.0许可。
推荐理由：仓库README覆盖从Metal内核到TUI、CLI和多Mac集群训练的完整链路，想研究Apple Silicon本地训练推理工具结构的读者可以按需查阅。
FynnXland 在 GitHub 发布开源本地语音听写工具 Fleech，按住 F9 说话后由 Whisper 和 Ollama 上的 gemma3:4b 在本地完成转写与文本清理，音频不出本机。工具支持德语和英语听写、语音指令、按应用配置的档案、口述公式转 LaTeX 和历史记录，MIT 协议开源，界面目前为德语、英文界面在计划中。
推荐理由：原文讲清了本地语音听写的完整链路与质量控制机制，读者可以据此评估是否在自己电脑上复用这套方案。
pyrlyn 在 GitHub 开源本地优先 AI CLI runa，支持下载前用 runa fit 预估 GGUF 模型在本机的内存占用和速度，可通过 ggml / llama.cpp 本地运行或调用 OpenAI 与 Anthropic。单二进制提供 OpenAI 兼容的 runa serve、交互式 runa chat、音频视频处理（含 whisper.cpp ASR）、MCP 工具循环和自适应内存管理，提供 macOS arm64、Linux x86_64、Windows x86_64 安装包及 Metal / Vulkan / CUDA 构建，无遥测，采用 GPLv3 等多许可。项目处于活跃开发中，正在招募测试志愿者。
推荐理由：本地优先 AI CLI runa 开源，下载前可预估 GGUF 在本机的内存和速度，同一套控制打通本地与云端。
eugene-plexus/gateway 提供一个 OpenAI 兼容端点，统一路由本地与云端后端，支持副本负载均衡、按 modelSlots 分层级联、空闲卸载和按需唤醒。路由表从各 driver 的 /v1/info 自动推导而非手工配置；M6 至 M8 通过单 GPU 双 llama.cpp 副本和跨机实测，控制平面自身开销约 116 ms 每请求（子进程后端为 6 ms）。仓库列出未解决问题包括卸载后短路由窗口和 116 ms 开销未查明，代码以 Apache 2.0 许可开源。
推荐理由：仓库详细公开了路由分层设计和控制平面实测开销与未解决问题，读者可以据此评估这套多后端网关的成熟度。
CustomsColab 在 GitHub 发布 freellm，一个自愈式免费 LLM 路由器，把 Groq、Cerebras、Gemini、OpenRouter :free、Mistral、NVIDIA NIM、Together、Fireworks、Token Harbor 等免费额度聚合为一个调用。GitHub Actions 每 6 小时刷新公共模型注册表 registry/models.，路由器按任务类型、质量与速度评分选模型；各网关的当日配额状态记录在本地 .freellm_state. 账本中，支持 429 限速、模型冷却、网关标记与失败切换，按 00:00 UTC 重置。作者提醒免费路由可能记录或训练提示词，不建议发送机密数据，且目前不支持流式与异步工具。
推荐理由：原文讲清了一个免费 LLM 路由器的注册表刷新、配额账本和失败切换机制，读者可以直接照步骤搭建复用。
Hugging Face 的 Aritra 介绍了一种无需配置、无需 API key、无需设置的直接聊天方式，可对话托管在 Hugging Face Inference Providers 上的模型，只需执行 `ssh chat.hf.co`。团队邀请用户反馈意见。
推荐理由：来自 Hugging Face 团队的零配置接入方式，用一条 ssh 命令直接与托管模型聊天，省去配置和 API key。
Castmates 应用开发者分享在 iPhone 上全本地运行 3B 角色扮演微调模型（Impish Llama 3B，基于 Llama 3.2 3B 加 rank 16 LoRA，Q4_K_M 量化约 2.0 GB）的实测笔记，用 llama.cpp Metal 全层 offload，无需服务器可离线使用。关键结论：历史裁剪预算调至约 0.68 x n_ctx 后长对话事实召回从 25% 升到 75%，逐字历史明显优于有损摘要；BM25 检索会重注入过期事实，过滤窗口内仍含新版本的命中后下降 18.8pp；A18 芯片早期实测约 6 tok/s，4 GB 手机为最低门槛且限 4096 上下文。
推荐理由：作者用固定种子的对照实验给出小模型保持角色的可复用结论，历史裁剪比例和检索过滤做法可直接迁移。
davetha 在 Hugging Face 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated（基于 Qwen/Qwen3.8-27B 的去拒绝版本）的 4-bit AutoRound 量化构建，采用 INT4 主体加 baked lm_head/MTP 和 INT8 embedding，面向单张 Intel Arc Pro B70（32 GB）在 vLLM XPU 下运行。
推荐理由：作者给出了量化方法、perplexity 对比和 B70 上的实测速度数据，读者可以评估这个 4-bit 去对齐版本的质量与可用性。
FiredMosquito831 发布了开源项目 My Claude Code（MCC），这是一个本地运行的 LLM 代理、模型路由器和控制平面，支持 Claude Code、Codex、OpenCode、Gemini CLI、Cline、Aider 等 15 个 CLI 代理及多款桌面应用指向同一地址。它在 57 家模型供应商之前提供分层路由与回退链、推理控制、凭据轮换与健康跟踪、视觉适配器、覆盖 14 家搜索供应商的 web-search 工具代理、逐请求成本记录和完整请求日志，无遥测、密钥保存在用户自己的 .env 中。
推荐理由：一个本地多供应商 LLM 代理和模型路由器，把众多 AI 编码代理指向同一地址统一管理，读者可以了解其分层路由、回退链和凭据轮换的做法。
GitHub 用户 ppradyoth 发布开源工具 knowyourai，通过只读文件头和元数据核查本地或 Hugging Face 模型是否与声明一致，用 uvx knowyourai scan 即可扫描 Hugging Face 缓存、Ollama 和 LM Studio 中的模型，不运行模型、离线默认、无遥测。工具检查格式不符、pickle 权重、聊天模板按消息内容分支等规则，支持 ai.lock 锁定已批准版本并在 CI 中校验变更。作者实测 Hugging Face 下载量最高的 200 个 GGUF 仓库，其中 61 个（48%）的聊天模板与声明的 base 模型不同。项目处于 alpha 阶段，仓库地址为 https://github.com/ppradyoth/knowyourai。
推荐理由：工具只读文件头不运行模型，还给出了对下载量前 200 的 GGUF 仓库的模板差异实测，方法可复用。
PetroProg 在 GitHub 开源了 AI-news，一个 100% 自托管的个人 AI 新闻聚合系统，从 RSS 和 Telegram 频道抓取内容，经去重清洗后由本地 LLM 打重要性分（1.0–10.0）并生成摘要，每天 08:00 和 20:00 推送到私人 Telegram bot 和网页面板。架构上采用低功耗 homelab 服务器（空闲低于 10W）加 Wake-on-LAN 远程唤醒搭载 RTX 3060 的工作站，用 Ollama 跑 qwen2.5:7b 完成推理，每篇文章分析约 15–20 秒；技术栈包括 Docker Compose、PostgreSQL 16、FastAPI、Telethon、aiogram 3.x 和 Tailscale，MIT 协议开源。
推荐理由：作者完整公开了从抓取、去重到本地模型分析和远程 GPU 唤醒的全套实现，部署细节可直接复用。
SoaOaoS 在 GitHub 开源了个人 AI 助手 Mav，可在自己机器上运行自己的模型，提供 ChatGPT 风格聊天、记忆（存于 Postgres）、自动运行 routines、网页与价格监控、每日简报和草稿后台任务。支持 Anthropic、OpenAI、Ollama、OpenRouter 或任何 OpenAI 兼容 API；可通过一行安装脚本或 Docker Compose 部署（镜像支持 amd64 和 arm64，适配 Raspberry Pi 4/5），云托管版 MyMav 为 9 €/月、CloudMav 为 19 €/月。Telegram 版已移除，改为带推送通知的 web 应用，旧版 memory. 会自动导入 Postgres。
推荐理由：原文完整列出了 routines、记忆、监控提醒等功能的实现细节和 Docker 与脚本两种部署路径，读者可以据此评估自托管助手的可行性。
panuhen 开源了 re:call，一个共享 Markdown 知识库，人写笔记并用 [[wikilinks]] 连接，Claude、Copilot 等助手通过 MCP 以登录用户身份读写同一批笔记，权限与该用户一致。服务端只含一个 Postgres 库和笔记变更时的一次 embedding 调用，不在服务器上跑语言模型，推理留给用户已付费的助手；提供约 40 个 MCP 工具、版本历史、graph 视图、笔记 owner 和 review_every 复审机制，支持 Entra ID 或 Google 登录，embedding 可用 Azure OpenAI 或 Ollama 等本地端点，可 Docker 本地部署或部署到 Azure Container Apps。
推荐理由：给出了让 AI 助手以用户身份读写团队共享笔记的完整架构与部署细节，权限模型和故意不上模型的设计思路可以参考。
Vstorm 发布开源（Apache-2.0）自托管 AI Agent 平台 AgenticOS，团队可在浏览器中配置、发布和管理 Agent，并统一控制访问、预算与审批。支持 27 家模型提供商（含 Ollama、vLLM 本地模型），可发布到 Slack、Mattermost、Telegram、网页组件和 API，基于 Pydantic AI、FastAPI 和 PostgreSQL with pgvector 构建，单台 4 vCPU、8 GB RAM 主机即可运行。项目同时明确列出当前不支持的特性，如无原生 MFA/SAML/SCIM、无 Kubernetes manifests、不支持 SharePoint ACL 逐用户镜像。
推荐理由：原文完整给出了部署要求、能力清单和明确列出的功能边界，读者可据此评估这个自托管 Agent 平台是否适合自己团队。
Eric-huang799 在 GitHub 开源了 Duplex，一个基于 Electron 的桌面浏览器，让人类与 AI 共用同一标签页和实时会话：人看渲染页面，AI 通过 24 个 MCP 工具读 DOM 和页面源码。内置 agent 支持 DeepSeek、Kimi、Qwen、GLM、Ollama 等 OpenAI 兼容 API，可镜像 opencode、Codex、Claude Code 会话到侧面板，提供 F2 / Ctrl+Shift+K 紧急停止键和页面标注功能。v0.2.6 新增全快捷键自定义、书签管理器和流程内查找栏；作者提醒 AI 驱动真实浏览器会话涉及登录态和 cookie，误操作可能触及真实账户数据。项目采用 MIT 许可证。
推荐理由：原文给出了 Duplex 与 browser-use、Playwright MCP 等方案的对比表和安全边界说明，读者可以评估这种人机共用浏览器会话的取舍。
作者发布 anneal-memory，一个零依赖的 Python Agent 记忆库，提供库、CLI 和 MCP 三种接入方式，核心机制包括引用验证的 pattern 升级、sha-256 哈希链审计日志、灾难性收缩门和单写者合并门。文中引述持久用户记忆使谄媚度提升 16% 至 45%（Gemini 2.5 Pro 为 45%）、生产部署 32 天内 10134 条记忆中仅 224 条可用等数据，并说明 Hebbian 关联层经 15774 次召回实测从未改变结果后已在 0.9.26 移除召回读取，Windows 写锁与编码等限制也已诚实标注。
推荐理由：作者实测了自己长期记忆库的召回数据，并用具体数字说明各机制的实效与失效之处，属于可迁移的工程参考。
himanshu2005-tech 在 GitHub 开源 Agentic-Knowledge-Graph，一个 Windows 优先的证据感知 RAG 系统，用混合检索、置信度路由、Groq 上的 openai/gpt-oss-120b 扩展知识图谱并留存来源，最终由本地 Qwen 系 3B 模型仅基于筛选证据生成答案。系统含 FastAPI 后端、React 控制台、文件与 Neo4j 双存储、Prometheus 监控和人工反馈记录。30 题基准显示云模型 96.7%、原始本地 3B 模型 60.0%、加知识图谱后 63.3%，作者注明该评分为确定性答案匹配而非人工事实性评分。
推荐理由：项目给出30题对比数据，本地3B模型加知识图谱后准确率从60.0%升到63.3%，可作小模型RAG改进的参考做法。
liv114514 在 GitHub 发布 projectmem（pmem），一个单 js 文件、零依赖的项目记忆编译器，让 AI 编程 agent 跨会话记住项目决策、进度和坑。记忆从 git + 会话 + 文档确定性编译，登记文件一变即精确标旧，每条带 commit 证据收据，断言可挂 CI，另有密钥脱敏、SHA-256 哈希链和注入检测；支持 MCP 接入 Claude Code / Cursor 等，与 agentmemory、claude-mem 的对比表附于 README。
推荐理由：项目把记忆做成 git 驱动的编译产物并给出与 agentmemory 等方案的逐项对比，读者可据此评估是否替换现有记忆工具。
NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local，是用 Model Optimizer 量化感知蒸馏（QAD 1.0，nvidia-modelopt v0.47.0）制作的 Qwen3.8-Flash-Next FP4 量化版，checkpoint 约 96 GiB。模型总参数 125B、激活 6B，另有 51B n-gram embedding 和 4B MTP，原生上下文 262K 可扩展至 1M tokens；精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%，ToolEvalBench 从 89.4% 降至 88.7%。
推荐理由：官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案，量化细节可参考。