ashu1800 开源 LLM Gateway 本地网关桌面应用
ashu1800 发布 llm-desktop（LLM Gateway），基于 Tauri 2 + Rust + React 18 的本地 LLM API 网关，Windows 优先并兼容 macOS/Linux。
推荐理由：仓库完整记录了三协议互转、熔断 failover 与计费统计的实现细节和拍板决策，可作本地 LLM 网关的工程参考。
方向
本地部署与推理 最新动态
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,567 条精选近 30 天 1,557 条共收录 5,742 条
更新
精选归档 · 第 5 页
GitHub · 去对齐工具与仓库精选AI 评分5959 GitHub · 灵魂体仓库精选AI 评分5555 AIIA v0.6.0 开源：给 Claude Code 与 Cursor 加双向持久记忆的本地中间层
作者开源 AIIA（AI Information Architecture）v0.6.0，一个本地优先的双向记忆中间层，把你的决策、模式、故事和会话历史送进 Claude Code、Cursor 等工具的上下文，并通过 MCP 把工具的观察、决策和调试经验写回你的记录。底座包含 9 类带质量评分和衰减机制的类型化记忆、三级本地 LLM 栈（本地模型优先，Anthropic / Google 兜底）、后台任务、MCP server 和 aiia CLI，还有 Brain API（localhost:8100）与 Command Center（localhost:8200）两个界面及带人工审核的 Agent Studio。
推荐理由：开源的记忆中间层，双向同步你的决策与 AI 工具的观察，给出的架构细节可直接用于搭建本地持久记忆。
Reddit · r/SillyTavernAI精选AI 评分6060 
SillyTavern 分支 Kotatsu 0.8 发布 Android 版
Kotatsu 0.8 发布，这个 SillyTavern 的分支首次推出 Android 应用，可用 .apk 在手机上完整运行。新版本带来 Natsumikan 默认主题、开启 sprites 后的视觉小说式点按翻页界面、重新设计的 Card Studio（可从一张图在自己 ComfyUI 上生成整套角色立绘），以及消息分叉后的故事线地图。API keys 和本地网络模型可直接使用，Kimi K3.1 Pro 开箱即用，Claude Code 和 ChatGPT 计划仍需电脑配对；作者表示下一步是新的记忆系统与总结器，且不打算加入跑团、骰子类功能。
推荐理由：作者是项目维护者本人，逐项列出 Android 版、视觉小说界面和角色立绘生成等实际更新，还预告了下一步记忆系统计划。
GitHub · 去对齐工具与仓库精选AI 评分6161 meshkore 开源自托管语音优先个人 AI Agent Zaelar
meshkore 在 GitHub 发布 Zaelar，一个自托管的语音优先个人 AI Agent，本地 LiveKit 语音链路由 FlashBrain 在一秒内应答，耗时任务交给基于 Claude Code CLI 的 Brain Worker 后台执行。记忆为单个本地 SQLite 文件（向量、FTS5、图与遗忘机制），每轮蒸馏并夜间整合；支持 Google、Telegram、WhatsApp、Spotify 等连接器，默认模型为 DeepSeek、OpenAI、Deepgram、Inworld 等，需 Python 3.11+ 和约 3 GB 磁盘，采用 Sustainable Use License 1.0，个人使用免费但不可商用。
推荐理由：README 完整公开了双脑架构、SQLite 记忆方案、默认模型表和端口布局，想自托管语音 Agent 的读者可以直接照着部署。
GitHub · 灵魂体仓库精选AI 评分5858 
Local Quench 发布：在你已有的 GPU 上运行本地 LLM 的 AI 编码智能体
Local Quench 发布，这是一款面向本地 LLM 的 AI 编码智能体，支持 LM Studio、llama.cpp、Ollama 和 vLLM，代码不出本机，提供 Windows、Linux 和 Android 版本。它针对本地模型常见失误（宣布步骤后停止、改测试直到通过等）设计了 harness 纠偏规则，且每条规则可单独关闭并测量；内置 QuenchBench 基准，还可通过 quenchbench.py 一条命令跑 SWE-bench Verified、Terminal-Bench 2.0、Aider Polyglot 等评测。8 GB VRAM 即可起步，应用自带模型顾问推荐适配显存的模型和量化方案。源码不开放，仓库提供发布包、issue 跟踪和基准脚本。
推荐理由：为本地模型设计了针对常见失误的 harness 纠偏机制，且每条规则都可单独关闭并用 QuenchBench 实测，方法可迁移到自己的本地部署。
GitHub · 灵魂体仓库精选AI 评分6666 skuld：按模型架构估算推理所需显存的 LLM 内存计算器
michaeldtimpe 在 GitHub 开源了 LLM 内存计算器 skuld（在线版 skuld.zoleb.com），输入模型名即可估算推理所需的 VRAM 或统一内存。它按注意力类型和 MoE 拓扑分支计算 KV cache，而非套用单一公式，例如 DeepSeek 的 MLA 在 32k 上下文 BF16 下 KV 约 2 GiB，朴素计算会高估到约 107 GiB；另处理 GQA、MoE 总参/激活参数、Qwen 3.5/3.6 混合注意力和 Gemma 滑动窗口。
推荐理由：作者解释了为何按注意力类型和 MoE 拓扑分支计算，并给出 MLA 场景下 2 GiB 对 107 GiB 的对照数据，方法可直接复用。
GitHub · 灵魂体仓库精选AI 评分7979 
PolyStrata 开源：在普通 PC 上本地运行十个大模型
VecSzn 发布 PolyStrata，一个基于 Strata 的本地推理工具，在普通 PC 的显卡、内存和处理器之间分摊计算，可运行 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Flint、Qwen3.6-35B-A3B 等十个模型。Qwen3.8-Flash-Next 在 RTX 5070 上以 IQ3_S 量化写入 53 tokens/s，DeepSeek V4 Flash 91 GB 文件在 RTX 5090 工作站写入 56 tokens/s；在 8 GB 显存笔记本上，PolyStrata 读取提示词比 llama.cpp b11540 快 2.7 到 3.5 倍。
推荐理由：仓库给出了各模型在不同量化档位下的读写速度实测，并与 llama.cpp 在同一台笔记本上做了直接对比。
Hugging Face · 新模型：uncensored精选AI 评分7878 AtomicChat 发布 NVIDIA Nemotron 3.5 Bolt E4B 无拒绝 GGUF 与 3.5 MB LoRA
AtomicChat 把 NVIDIA Nemotron 3.5 Bolt E4B（基于 Gemma-4-E4B-it）的拒绝行为从权重中移除，提供烘焙 GGUF 量化版和 3.5 MB rank-1 LoRA。按 Arditi et al. 2024 的拒绝方向方法处理 Gemma 4 每块三次写入及其 RMSNorm 共 126 个矩阵。JailbreakBench 拒绝率从 93.8% 降到 1.2%，俄语红队提示从 76% 降到 0%，XSTest 从 9.2% 降到 0.4%，开启思考后 30 题中 29 个拒绝降为 0；MMLU 从 68.50% 到 67.85%（McNemar p=0.21），工具调用 20/20、30k 长文检索 3/3 不受影响。
推荐理由：原文给出完整的拒绝方向定位方法与前后对照数据，拒绝率从93.8%降到1.2%，MMLU与工具调用影响均有实测。
GitHub · 灵魂体仓库精选AI 评分6666 Castor 开源：通过 MCP 把 Claude、Gemini 等云端编排器搭配 Ollama、vLLM 本地模型执行
ApatheticMioz 发布 Castor，一个 Rust 编写的 MCP 服务器，通过 npx 一条命令注册到 Claude Code、Claude Desktop、Antigravity IDE 等客户端，把 AST 改写、文件操作和测试循环交给本地模型（Ollama、vLLM、LM Studio 等 OpenAI 兼容端点）执行，省去云端 token 开销。
推荐理由：原文给出完整的架构说明、安装命令和 5 层沙箱设计，读者可以直接照着把云端编排和本地执行模型跑起来。
Reddit · r/LocalLLaMA精选AI 评分5858 Reddit 用户取证量化模型推理链幻觉：海盗分金谜题、虚构注入与幽灵系统提示词
Reddit 用户 /u/Consumerbot37427 报告其本地 Qwen3.8-Flash-Next MoE 的 Q4/Q8 混合量化版本在 Opencode 长任务中，推理链出现三类凭空编造内容：海盗分金谜题出现 7 次、虚构的 Windows/PyQt6 会话恢复注入在同一轮内被模型自导自演地防御 5 次、以及一段幽灵邮箱预批准系统提示词，而这些文本均不存在于实际输入中。作者用 SQLite 持久化历史做取证，提出判别方法：在全部历史中检索可疑文本的首次出现位置，若首现于助手输出即为模型虚构，若首现于工具或抓取内容才是真实注入；并给出一段可直接粘贴的排查提示词供其他用户检查自己的 opencode 历史。
推荐理由：作者用持久化 SQLite 历史做取证，给出区分量化幻觉与真实注入的可复用判别方法，附完整排查提示词。
Reddit · r/LocalLLaMA精选AI 评分6363 Nvidia 新解锁补丁实测：中国版 RTX 3080 20GB prefill 提速最高 28.6%
Reddit 用户 /u/No-Refrigerator-1672 在 2x RTX 3080 20GB（PCIe 3.0 x16、240W 功耗限制）上实测 Zaggita 发布的 GPU 性能解锁补丁，该补丁修复 Nvidia 对消费卡 AI 相关硬件指令的算力限制。用 vLLM 0.32.0 跑 cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4（fp8 KV cache、MTP 开启）测试，prefill 吞吐提升 20.8% 到 28.6%（提示越长提升越大），TTFT 下降 17.2% 到 22.3%，decode 步速基本不变；MTP 实际接受率约 2，实际生成速度约 45 tok/s。
推荐理由：作者在双 RTX 3080 20GB 上实测 Zaggita 的解锁补丁，给出了从 8k 到 262k 提示长度的 prefill 提速数据和解码不变的结论。
AIHOT · 精选精选AI 评分5656 月之暗面 Kimi K3.1 Pro 上线 OpenRouter，1M 上下文多模态开源权重模型
OpenRouter 宣布月之暗面的 Kimi K3.1 Pro 上线，定位为基于 Kimi K3 后训练、面向长程编码和智能体任务的 1M 上下文多模态开源权重模型。定价为 $2/M input tokens、$10/M output tokens，可在 OpenRouter 直接试用。
推荐理由：正文给出了定价、上下文长度和定位说明，想试用长上下文编码与智能体场景的读者可以直接在 OpenRouter 上体验。
GitHub · 3D 生成新仓库精选AI 评分7676 Kaiacord 开源自托管 Discord 伴侣机器人，单张 12GB GPU 本地运行持久人格
作者发布 Kaiacord，一个自托管的 Discord 伴侣机器人 Kaia，主打有持续内在生命感：情绪、关系、信念和情景记忆持久化到磁盘，可在重启后延续，每晚 03:00 至 05:00 复盘当天对话并更新长期记忆。技术栈为 Ollama 运行 gemma3:12b 负责对话与视觉，nomic-embed-text-cpu 在 CPU 上跑检索嵌入，BM25 与向量检索经 Reciprocal Rank Fusion 合并，并有一条后处理守卫管线清除提示词回显、伪造引用和谄媚语气；另含 Python 计算数值的持久化 RPG Aethelgard、本地 DJ 音乐、RTL-SDR 短波监听等功能。仓库采用 MIT 许可，地址 https://github.com/Ekco-S64QTN6/Kaiacord。
推荐理由：原文完整给出了情绪、信念、情景记忆的持久化设计与检索融合、生成守卫的实现细节，可作搭建有持续内在状态的自托管伴侣机器人的参考。
Hugging Face · 新模型：uncensored精选AI 评分6464 flint-uncensored GGUF 量化版发布，拒绝率从 98/100 降至 5/100
Octopusman388 发布 electroglyph/flint-uncensored 的 GGUF Q4_K_M 量化版（22.5 GiB），该模型是对 RecursiveSI/flint（39.8B-A2.5B MoE 编码模型）的 Heretic 去对齐版本，仓库仅做转换与量化，无额外训练，Apache 2.0 许可。实测拒绝率 5/100（原版 98/100）；已知问题是在边界/敏感提示下推理可能失控，10k+ 字符无答案，presence_penalty 1.5 无效，用 --reasoning-budget 4096 加提示语可缓解，4/4 单轮及多轮 agent 运行均正常终止。
推荐理由：作者实测了拒绝率前后对比和推理循环问题，并给出可复现的 reasoning budget 缓解参数与解码速度数据。
GitHub · 去对齐工具与仓库精选AI 评分6565 
llm-systems-manager 开源发布：自托管面板监控与调优本地 LLM
llmsyscore 在 GitHub 开源了 llm-systems-manager，一个自托管面板，用于监控、控制、基准测试和调优运行本地 LLM 的机器，采用 AGPLv3 许可证。支持 llama.cpp、vLLM、LM Studio 和 stable-diffusion.cpp，兼容 NVIDIA、AMD（ROCm 与 Vulkan）和 Apple Silicon GPU，支持 Linux 与 macOS，不支持 Windows。
推荐理由：原文完整列出了安装方式和监控、基准、自动调参等功能清单，可用于评估这套自托管面板是否覆盖本地推理运维需求。
GitHub · 灵魂体仓库精选AI 评分6767 Off Grid AI 开源 OGAM 离线本地 AI 助手套件，Pro 版支持自定义人格与语音
Off Grid AI 在 GitHub 开源 OGAM，一套完全在手机和 Mac 本地运行的离线 AI 套件，涵盖文本生成、图像生成、视觉识别、语音转写、工具调用和文档分析。可选 Pro 订阅（$119 买断或 $7.99/月）增加 Kokoro 端侧语音回话、可自定义 system prompt 与持久记忆的人格、需人工批准的操作草拟，以及手机与 Mac 之间无中继的 Personal Mesh 同步。
推荐理由：自述为完全离线本地的 AI 助手套件，人格系统给出了系统提示词、语音与持久记忆的具体构造方式，可作本地部署参考。
GitHub · 灵魂体仓库精选AI 评分6161 fuba-browser 发布 3.6.0：面向 LLM 智能体的 Docker 浏览器自动化工具
fuba 在 GitHub 发布 fuba-browser，这是一个运行在 Docker 中的 Chromium 浏览器自动化工具，通过 REST API 和 CLI（fbb）供 Claude Code 等 LLM 智能体控制浏览器，主打解决 Chrome DevTools MCP 的 token 消耗问题。工具提供 Snapshot/Ref 无障碍树元素定位、Web VNC 远程访问、认证状态保存加载、网络检查与下载捕获 API，可选 NVIDIA/AMD GPU 硬件加速，最新镜像为 ghcr.io/fuba/fuba-browser:3.6.0，MIT 许可，API 设计受 vercel-labs/agent-browser 启发。
推荐理由：面向 LLM 智能体的 Docker 浏览器自动化工具，REST API 配合 Snapshot/Ref 定位，主打降低 Chrome DevTools MCP 的 token 消耗。
GitHub · 灵魂体仓库精选AI 评分6262 usage-engineer 开源：测量并削减编码智能体浪费的 token
作者开源了本地 CLI 工具 ue，用于测量并减少 Codex CLI、Claude Code 和 OpenCode 等编码智能体浪费的 token，如重复粘贴长日志、重试相同失败命令和过时项目地图。工具为零依赖单 Python 文件、无网络调用，也可作为 Agent Skill 安装；内置 ue bench 冻结基准用例和 ue compare 配对比较，并附 2026-10-21 的一次实测，显示上下文包在 3 个用例上多耗约 30% token（+273,353），作者注明每格仅 1 个样本属噪声级，仅演示方法而非结论。
推荐理由：作者用自带的双组基准实测了上下文包方案，结果显示其反而多耗 30% token，这种不粉饰的测量方法本身有参考价值。
arXiv · cs.AI精选AI 评分5454 TopKLoRA 可解释稀疏微调方法支持忠实回路发现
作者提出 TopKLoRA，一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体，仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中，识别并消融了实现后门所必需且充分的回路，稀疏回路比稠密 LoRA 基线小至多一个数量级，可在不牺牲指令跟随性能的情况下手术式移除恶意能力，并开放了代码。
推荐理由：论文给出可解释稀疏微调方法，并在多个模型上定位并消融后门回路，稀疏回路比稠密 LoRA 小约一个数量级。
Hugging Face · 新模型：abliterated精选AI 评分5858 IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 无对齐版 NVFP4A16 量化权重
IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版，体积从 bf16 的 65.8 GB 降到 22.1 GB，KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化：专家用 FP4 权重加 bf16 激活，Mamba2 投影用 FP8，注意力保持 bf16，并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过，MTP 投机解码接受率 63%；24 GB 显存较紧张，建议 32 GB 以上。
推荐理由：作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比，可据此选择合适的构建。