openmycel/expo-llama：在 iPhone 上本地运行 GGUF 模型的 Expo 原生模块
OpenMycel 发布 expo-llama，一个基于 Swift 和 llama.cpp 的 Expo 原生模块，可在 iPhone 上完全离线加载 GGUF 模型并逐 token 流式生成。
推荐理由：原文给出完整的 API、会话缓存机制和架构决策说明，开发者可直接评估在 iOS 上离线跑 GGUF 模型的可行性。
方向
本地部署与推理 最新动态
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
更新
精选归档 · 第 65 页
GitHub · 去对齐工具与仓库精选AI 评分6464 GitHub · 去对齐工具与仓库精选AI 评分5959 admino 开源：可自托管的隐私优先个人 AI 代理
ljakupi 在 GitHub 开源 admino，一个可自托管的隐私与安全优先个人 AI 代理，可代读邮件、日历和 Drive 文件，所有操作经模型不可见的隔离权限引擎把关，读操作自由执行、写操作需人工批准、破坏性操作直接拒绝。
推荐理由：自托管个人 AI 代理，权限引擎对模型不可见且默认拒绝写操作，适合关注数据自主与操作安全的读者参考。
GitHub · 去对齐工具与仓库精选AI 评分6161 LLM_Hub_Local_LLM_Hosting：本地大模型部署系列讲稿与实时索引
BrendanJamesLynskey 在 GitHub 发布本地 LLM 部署系列讲稿，含 11 篇已上线内容，覆盖 Ollama、vLLM、llama.cpp。
推荐理由：作者把 Ollama、vLLM、llama.cpp 等本地部署方案整理成带交互工具的系列讲稿，覆盖量化、多卡并行与生产模式，可按需查阅。
Hugging Face · 新模型：uncensored精选AI 评分6060 
gemma-4-E2B-it 去对齐版 GGUF 量化发布，拒绝率从 98/100 降至 4/100
独立贡献者 princepppp 发布了 google/gemma-4-E2B-it 的去对齐版本 gemma-4-E2B-it-ultra-uncensored-heretic 的 GGUF 量化，使用 Heretic v1.2.0 的 Arbitrary-Rank Ablation 方法，消融 attn.o_proj 组件（层 17-24）。
推荐理由：作者给出了拒绝率、KL 散度和 MMLU 前后对比，可据此判断这个去对齐版本去掉了多少、损失了多少。
GitHub · 灵魂体仓库精选AI 评分6262 Myth Forge 开源：本地生成主题化万智牌 Commander 套牌并模拟测强
开源项目 Myth Forge 发布，可输入设定生成 100 张的万智牌 Commander 套牌，为每张牌本地生成新名字、风味文字和 AI 插画并合成可打印 proxy，全程本地运行、无需账号或 API key。
推荐理由：开源的万智牌 Commander 套牌生成器，从主题化、本地出图到强度模拟全流程覆盖，硬件门槛和构建耗时都写得很具体。
GitHub · 灵魂体仓库精选AI 评分6767 LocaLM 开源：集聊天、编码 Agent、媒体生成与 RAG 于一体的本地工具
Matlan1 在 GitHub 开源了 LocaLM，一个将聊天、自主编码 Agent、图像/音乐/视频生成和 RAG 集成在一起的本地工具，默认完全离线，云端服务需主动开启。
推荐理由：原文详细说明了离线优先的架构、插件体系和 GPU 后端选择逻辑，读者可以据此评估这个本地一体化工具是否适合自己的部署场景。
GitHub · 去对齐工具与仓库精选AI 评分6565 yusiwen 开源纯 Rust 本地 LLM 推理引擎 minfer
作者发布纯 Rust 从零实现的本地 LLM 推理引擎 minfer，无 ML 框架依赖，支持 GGUF v3 加载、声明式计算图、浏览器交互可视化及 Metal/CUDA 后端。
推荐理由：作者给出与 llama.cpp 同窗口对照的实测数据，包括 7B Q4_K_M prefill 1.080× 和各上下文长度的 decode 对比，可据此评估这个纯 Rust 引擎的性能。
GitHub · 去对齐工具与仓库精选AI 评分6161 推荐理由：作者详细说明了离线强制、模型适配和已知限制的具体实现，读者可以据此评估这个全本地助手是否适合自己的硬件与系统。
GitHub · 去对齐工具与仓库精选AI 评分5858 
Wish 开源本地 AI Agent 框架 wish-core
WindustH 发布 Wish，一个运行在本机的极简 AI Agent harness，单 Rust 程序内置数据库，提供 Web 应用与 HTTP API。工具和 skills 按需从 shell 加载，新增 MCP 服务器不会扩大模型上下文或重置 prompt cache；支持 npm、yay、brew 安装，预设覆盖主流模型提供商与本地模型，MIT 协议开源。
推荐理由：原文讲清了按需加载 MCP 和 skills 以免撑大上下文、重置 prompt cache 的设计思路，对自建本地 Agent 有可借鉴之处。
GitHub · 去对齐工具与仓库精选AI 评分6262 dzaragoza 开源 LLM-benchmark：本地小模型选型与基准测试工具
dzaragoza 发布 LLM-benchmark 仓库，配套独立研究 Small Models, Big Claims（DOI: 10.5281/zenodo.22855666），测量在集成 GPU 上经 llama.cpp Vulkan 后端从系统内存运行的小型 instruct 模型。
推荐理由：作者把整套基准流程做成一条命令加两个离线选型页，读者可复用其量化阶梯与读速门槛方法来挑选本地小模型。
GitHub · 灵魂体仓库精选AI 评分5656 talkdude 1.4 发布：免账号离线 AI 聊天伴侣应用
开源应用 talkdude 发布 1.4 版，提供 Android、Windows 和 Linux 平台的免费私有 AI 聊天伴侣，无需账号、无聊天限制、可离线运行。
推荐理由：原文详细列出了内置模型、内存占用、记忆机制和隐私架构，读者可据此评估这款离线 AI 伴侣是否适合自己设备。
Reddit · r/LocalLLaMA精选AI 评分7171 
Reddit 用户开源 Sentinel：用代码护栏而非提示词构建本地第二大脑
Reddit 用户 /u/dimensionof0 开源了 the-sentinel（MIT 协议），一个在代码层而非提示词层设置护栏的本地 LLM 知识库系统，防止模型自引输出导致知识库被污染。
推荐理由：作者用实测数据对比了提示词与代码护栏的效果，并给出 6 GB 显存下的具体运行方案，方法可直接迁移到类似知识库项目。
GitHub · 去对齐工具与仓库精选AI 评分6969 LocalHarness 开源：为本地 LLM 提供带权限门的 Agent 框架
ahwurm 发布开源 Agent 框架 LocalHarness（v0.16.5，pre-1.0），通过 OpenAI 兼容 API 连接 vLLM、llama.cpp、Ollama 或 LM Studio 已在本地运行的模型，为其提供 YAML 定义的 Agent、工具和每次工具调用前的权限门。
推荐理由：原文给出了插件开关、权限门和各运行时的实测支持情况，读者可以据此判断它是否适配自己已有的本地模型服务。
Hugging Face · 新模型：uncensored精选AI 评分6666 HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版
HauhauCS 在 Hugging Face 发布 Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF，实测拒绝率 0/465，主打直接回答、无拒绝行为和最少前导语。
推荐理由：原文给出 0/465 拒绝率实测和各量化的 FastMTP 加速数据，读者可据此判断这个 Aggressive 去对齐版本的实际表现。
GitHub · 灵魂体仓库精选AI 评分5858 gohort 开源多智能体框架：单二进制部署，模型永不接触凭据
作者发布 gohort，一个单 Go 二进制的多智能体框架，多个专用智能体互相委派，支持 Claude Desktop 通过 MCP 将智能体作为端点接入。核心设计包括凭据服务端注入、模型从不接触密钥、bwrap 沙箱隔离、round 预算与 loop-guard 等循环治理机制，本地 Qwen 与前沿模型跑在同一 harness 上且无模型特定分支；默认 worker 层跑在本地 GPU（Ollama / llama.cpp），敏感阶段可升级到托管模型，附 Apache 2.0 许可与快速安装流程。
推荐理由：原文把可靠性和密钥隔离讲到了架构层面，还给出可验证的对照条件，适合想理解多智能体分层设计的读者。
GitHub · 灵魂体仓库精选AI 评分5959 
openclaw-facebook-marketplace：用自然语言驱动 Agent 自动搜索并联系 Facebook Marketplace 卖家
matthewmiglio 在 GitHub 发布 openclaw-facebook-marketplace，一个通过自然语言提示与 Facebook Marketplace 交互的自主 Agent，可按指令搜索、评估商品并向卖家发消息。
推荐理由：开源的 Facebook Marketplace 自动化 Agent，本地用 Ollama 跑 Mistral 和 Moondream，也可切换 Claude，架构和部署步骤在原文写得很完整。
GitHub · 灵魂体仓库精选AI 评分6161 
8gent Code 开源本地自主编码 Agent 发布
8GI Foundation 开源了 8gent Code，一个可完全本地运行的自主编码 Agent，无需 API key、无用量上限、无云端依赖，通过 npm 或独立二进制安装。
推荐理由：README 给出了本地优先的完整架构、11 提供商路由和 15 项执行分级基准成绩，可据此评估这个本地编码 Agent 的实际能力。
GitHub · 去对齐工具与仓库精选AI 评分6969 strix-halo-llm 仓库发布 128 GiB AMD Strix Halo 本地 LLM 部署配方与基准
pepuscz 在 GitHub 发布 strix-halo-llm 仓库，提供面向 128 GiB AMD Ryzen AI Max+ 395 / Radeon 8060S（Strix Halo）主机的合格本地 LLM 部署方案、基准测试和固定的 Ansible 配方。
推荐理由：仓库给出 Qwen 与 DeepSeek 在 128 GiB Strix Halo 上的实测对比和固定 Ansible 配方，四槽位方案带来 1.96 倍检索提速，可直接复用。
GitHub · 去对齐工具与仓库精选AI 评分7777 
SparkInfer 发布面向 Blackwell GPU 的 C++/CUDA 推理运行时
gittensor-ai-lab 在 GitHub 开源 SparkInfer，一个面向 Blackwell GPU 的原生 C++/CUDA MoE/LLM 解码运行时，2.5 MB 二进制、无 Python 栈，一条 docker 命令即可起 OpenAI 兼容端点。
推荐理由：原文给出同一 GPU 上与 llama.cpp 和 vLLM 的逐项对比数据，读者可以据此判断这个 Blackwell 原生推理引擎的实际加速幅度。
GitHub · 去对齐工具与仓库精选AI 评分5959 
开源 D&D 3.5 AI 游戏主持人项目：本地 LLM 叙事、服务器管规则
alainlizotte 开源了一个开发中的多人网页应用，用本地 LLM（默认 Gemma 4 或 Qwen 3.5，经 llama.cpp 或 Ollama）担任 D&D 3.5 的游戏主持人（MJ）。
推荐理由：原文详细说明了服务器决定机制、76 个 Python tools 和 745 个测试，读者可以据此评估本地 LLM 跑规则严格的桌面 RPG 的可行性。
