Surogate 开源：C++/CUDA 一体化 LLM 训练与推理工具链
Invergent 在 GitHub 开源 Surogate，一套原生 C++/CUDA 的 LLM 训练与推理工具链，覆盖预训练、LoRA/QLoRA、GRPO、DPO、蒸馏和 HTTP 推理服务。
推荐理由：原文给出训练与推理两条基准的具体数字和对比对象，读者可以按自己的 GPU 和并发场景核对这套 C++/CUDA 工具链是否值得试。
方向
本地部署与推理 最新动态
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
更新
精选归档 · 第 68 页
GitHub · 灵魂体仓库精选AI 评分7272 GitHub · 去对齐工具与仓库精选AI 评分6262 
Rflow 开源：基于 NVIDIA Parakeet 的本地语音听写工具
karthi-ai-engineer 发布开源工具 Rflow（MIT 许可），在 Windows 本地用 NVIDIA Parakeet 离线做语音转文字，语音不出电脑、无账号无遥测。
推荐理由：原文给出了各配置的月成本、隐私数据流向和作者自测的识别错误率变化，可据此评估这款本地语音输入工具是否值得装。
GitHub · 去对齐工具与仓库精选AI 评分5757 claudit 开源：Claude Code 用量自托管可视化面板
Nitjsefnie 发布 claudit，一个自托管 Web 应用，用于可视化 Claude Code 会话用量，同时支持解析 Codex rollouts 和 Kimi CLI 的 kimi-code 与 legacy 两种格式。
推荐理由：原文详细说明了从 R2 而非本地会话目录摄取转写的原因，可避免会话被清理后长期统计缩水。
GitHub · 去对齐工具与仓库精选AI 评分6868 EuLLM 发布本地推理引擎：单二进制文件兼容 Ollama 与 OpenAI API
意大利 I3K Technologies 发布开源本地推理引擎 EuLLM（AGPL-3.0），以单个 Rust 二进制提供 Ollama 和 OpenAI 兼容 API，无遥测、无外部 API，并内置面向 EU AI Act 的本地审计日志。
推荐理由：原文给出了各硬件上的具体吞吐和延迟数字，读者可以据此评估这个本地推理引擎是否适合自己的部署场景。
GitHub · 灵魂体仓库精选AI 评分6363 
wiki-spreading-rag：基于个人 wiki 链接图的本地 RAG 最小实现
nangman98 在 GitHub 发布 wiki-spreading-rag，一个完全本地的最小 RAG 方案，用 BM25 作种子在个人研究 wiki 的 [[wikilink]] 链接图上做图扩散检索（personalized PageRank 式），约 0.05 秒返回各笔记的相关行，无需微调或强化学习。
推荐理由：作者用 542 节点的真实 vault 实测了检索与 8B 本地模型的耗时、错误类型和 Recall 对比，并给出检查器与局限清单。
GitHub · 去对齐工具与仓库精选AI 评分5858 Oh My CPA 发布：CLIProxyAPI 的 Web 管理控制台
WizisCool 在 GitHub 发布 Oh My CPA（OMC），一个面向 CLIProxyAPI（CPA）的 Web 管理控制台，用于管理网关的 providers、凭证与配置，并记录 CPA 本身不存储的每条请求用量与成本。
推荐理由：原文给出三种部署场景的完整 Compose 配置和验证命令，读者可按自身 CPA 部署方式直接选用。
Hugging Face · 新模型：uncensored精选AI 评分5252 Swift-1.5-Qwen3.8-27B Uncensored 版 AWQ Int4 量化权重发布，面向 Intel Arc / vLLM XPU
greglechin 发布 ajgazin/Swift-1.5-Qwen3.8-27B-Uncensored-MTP 的 AWQ W4A16 非对称 g128 量化版（19 GB）。
推荐理由：作者用 GPQA-Diamond 逐题对比证明该 AWQ 配方不像此前 GPTQ 那样拉长推理长度，分数差异均在噪声内。
GitHub · 灵魂体仓库精选AI 评分6565 
CoderAI 开源：多后端本地模型编排器，提供 OpenAI 兼容 API
nextime 在 GitHub 发布 CoderAI，一个多模态、多后端的本地模型编排器，提供 OpenAI 兼容 API，支持 NVIDIA CUDA、AMD 与 Intel Vulkan 后端。
推荐理由：README 详列了多后端编排、集群分发与按秒租用 GPU 的升级路径，读者可以据此评估本地多模态推理栈的搭建方案。
GitHub · 灵魂体仓库精选AI 评分6363 iyulab 开源 ironhive-host 通用 Agent 宿主工具
iyulab 在 GitHub 开源 ironhive-host，一个通用 Agent 宿主工具，将同一 agent 核心（计划、执行、工具调用）以 CLI、可嵌入 .NET SDK 和 stdio/HTTP/SSE 服务器三种形式提供。
推荐理由：同一个 agent 核心同时提供 CLI、.NET SDK 和服务器三种接入面，默认支持本地推理与上下文压缩，适合评估自托管 agent 基座。
Reddit · r/LocalLLaMA精选AI 评分7171 
LocalMind 让浏览器标签页在 24 GB Mac 上跑 Gemma 4 26B-A4B 与 37 GB Qwen3.6 MoE，专家权重从磁盘流式读取
作者发布 LocalMind 更新：一个纯静态网页，通过 WebGPU 在浏览器 GPU 上运行模型，无服务器、无账号、无需安装，新增从磁盘流式读取 MoE 专家权重的引擎，使标签页能跑超过本机内存的模型。
推荐理由：作者用同一 GGUF 与 llama.cpp 逐 token 对照，给出了浏览器跑 MoE 的输出一致性与速度差距数据，可复现可检验。
GitHub · 去对齐工具与仓库精选AI 评分6262 基于 QLoRA 微调 Qwen2.5-7B-Instruct 处理 CUAD 合同条款分类与问答的开源项目
作者开源了一个用 QLoRA 在 CUAD（510 份商业合同、35 类条款）上微调 Qwen2.5-7B-Instruct 的项目，覆盖条款分类和有依据的条款问答两项任务，LoRA 适配器（165 MB）已上传 Hugging Face（PimoLee5/qwen2.5-7b-cuad-qlora）。
推荐理由：原文给出基座、3-shot 与微调三组对照的完整指标，并人工审计幻觉标记，可看清微调带来的召回与校准收益及其代价。
GitHub · 去对齐工具与仓库精选AI 评分6565 llm-cache-tap：本地查看 LLM 提示词缓存命中的代理工具
julio-ct96 在 GitHub 发布 llm-cache-tap，一个架在本地客户端（opencode、Claude Code、脚本等）与供应商 API 之间的代理。
推荐理由：原文完整交代了代理的部署方式、证书信任配置和隐私边界，读者可以直接照着在本地跑起来排查缓存未命中。
GitHub · 去对齐工具与仓库精选AI 评分7070 RestoreKV 开源：在激进 KV 缓存驱逐下恢复全缓存行为，登顶 KVPress 榜单
釜山大学等机构开源 RestoreKV，在 query-agnostic KV 缓存驱逐后用少量 restore tokens 经一次 LoRA 适配生成恢复缓存，仅训练 0.4% 参数，无需任务特定微调。
推荐理由：原文给出 RestoreKV 的训练细节与多组预算匹配评测数字，读者可据此判断该方法在激进 KV 缓存压缩下的实际收益。
GitHub · 去对齐工具与仓库精选AI 评分6464 JenderalRouter 开源：自托管多用户 LLM 网关，兼容 OpenAI 与 Anthropic API
mohammadirham37 在 GitHub 发布 JenderalRouter，一个自托管多用户 LLM 网关，提供兼容 OpenAI（/v1/chat/completions）与 Anthropic（/v1/messages，可直接接 Claude Code）的单一 API 端点和管理 dashboard。
推荐理由：原文给出完整的部署命令、多用户配额与 combo fallback 机制细节，读者可以直接照着在 Ubuntu VPS 上自建多 provider LLM 网关。
GitHub · 去对齐工具与仓库精选AI 评分5555 Efficient Thinking：用3.45M参数小模型拆解棋类AI的实力来源
作者Louay Alsakka发布三阶段研究，用3.45M参数（14 MB）卷积网络在两台Apple Silicon机器（MLX）上拆解棋力来源：单次前向传播约2150 Elo，加MCTS搜索后同一权重达约2800级且零额外参数。
推荐理由：原文明确区分了稳健的相对结论与带系统误差的绝对Elo，读者可以据此判断哪些数字可信、哪些只是效率指标。
Reddit · r/LocalLLaMA精选AI 评分6464 
llama.cpp Metal 优化 PR：few-row MMA matmul 与批量拷贝加速推测解码
ggml-org/llama.cpp 收到编号 #29869 的 Pull Request，为 Metal 后端加入 few-row MMA matmul 与批量拷贝以加速推测解码。
推荐理由：原文给出了同一环境下 PR 前后 DFlash2 推测解码的 decode tok/s 对照，读者可以据此评估该 Metal 优化在不同任务下的实际收益。
Reddit · r/LocalLLaMA精选AI 评分5959 在 llama.cpp 上超频 DDR5 提升 MoE 模型 prefill 与 decode 速度
作者在 AMD 7950X（4x 双通道 DDR5-5600，128GB）上把内存从 3600MHz 超到 4800MHz，带宽提升 36%，在 Intel B70（32GB）的 llama.cpp 定制 SYCL 后端上跑放不进显存的 MoE 模型获得小幅提升：PP 约增 10%、TG 约增 5%，且上下文越深收益越大，pp2048 @ d8192 提升 14.0%。
推荐理由：作者给出了 DDR5 超频前后各档上下文的 PP/TG 实测数据，读者可据此估算自己 MoE 本地部署能从内存超频拿到多少收益。
GitHub · 灵魂体仓库精选AI 评分6262 开源 AI Agent 工具 Pennant 发布，支持 Mac 本地运行与 iPhone 伴侣应用
Pennant 在 GitHub 开源，是一款运行在 Mac 上的免费 AI Agent，配有 iPhone 伴侣应用，可用自然语言分派任务，如整理收件箱、写帖子和改代码，支持定时任务和目标追踪。
推荐理由：开源 Mac 端 AI Agent，发布、删除和花钱前强制弹出审批卡片，并给出成本账本与本地隐私设计，适合关注 Agent 可控性的人参考。
GitHub · 灵魂体仓库精选AI 评分5757 PoLang（破浪相册）开源：AI Agent 驱动的端侧智能相册应用
littleseven 在 GitHub 开源了 PoLang（破浪相册），一个 AI Agent 驱动的 Android 智能相册应用，MIT 协议、免费无广告，已上架 Google Play。
推荐理由：开源的 Agent 驱动相册应用，README 给出了与 Queryable、PicQuery 的逐项能力对比和完整模块架构，可作端侧 AI 应用工程参考。
GitHub · 灵魂体仓库精选AI 评分7474 oMLX：面向 Mac 优化的本地 LLM 推理引擎开源
jundot 在 GitHub 开源了面向 Apple Silicon 优化的本地 LLM 推理引擎 oMLX，支持连续批处理与热内存加冷 SSD 的分层 KV 缓存，上下文中途变化时历史缓存仍可跨请求复用，并可通过菜单栏应用管理。
推荐理由：作者给出了自建推理引擎的分层 KV 缓存设计与实测数据，GLM-5.2 自定义内核下 prefill 提速约 30 倍，可作本地部署参考。