nano-llm-proxy 发布：单二进制文件加 SQLite 的自托管 LLM 网关
GitHub 项目 nano-llm-proxy 发布了一个纯 Go 编写的单二进制 LLM 网关，约 24 MB，运行仅需一个 SQLite 文件，无需 Docker、Postgres 或容器运行时。
推荐理由：README 不只列功能，还给出与 LiteLLM、Bifrost 等网关的逐项对比和明确的适用边界，方便读者判断它是否适合自己。
方向
本地部署与推理 最新动态
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
更新
精选归档 · 第 48 页
GitHub · 去对齐工具与仓库精选AI 评分6666 GitHub · 去对齐工具与仓库精选AI 评分6565 
Lucenor 开源 mnesis：用确定性引擎做无损上下文管理
Lucenor 在 GitHub 开源了 mnesis，一个 Python 实现的 LCM（无损上下文管理）架构，把记忆管理从模型转移到确定性引擎层，应对长上下文中准确率下降 30-40% 的 context rot 问题。引擎采用三级压缩升级（LLM 结构化摘要、激进压缩、确定性截断）、工具输出向后扫描剪枝（默认保护最近 40K token）、大文件外部引用（默认超 10K token 转 FileRefPart）和不可变 SQLite 追加日志。在 OOLONG 长上下文基准上，基于 Claude Opus 4.6 的对比显示原始模型超过 32K token 后分数崩塌，LCM 管理的上下文在 8K 到 1M token 各长度上均有提升。
推荐理由：原文给出了三级压缩机制、工具输出剪枝和在 OOLONG 上的对比图表，读者可以借此评估用引擎层管理长上下文的可迁移做法。
Reddit · r/LocalLLaMA精选AI 评分6565 
stereohype 用 Halogen 0.17.1 让 Strix Halo NPU 承担编码智能体的检索与筛查任务
作者在 r/LocalLLaMA 分享了把闲置的 Strix Halo XDNA2 NPU 通过 Halogen 0.17.1 接入自建编码智能体的方案，NPU 只负责语义检索、去重、受限决策和注入筛查等定向工作。实测 codebase_search 在无关键词问题上 15/20 优于 grep 的 9/20，搜索延迟从约 4s 降到 0.1s，关键词贫乏任务平均 13.6 分钟对比 18.7 分钟；3.5 小时连续会话完成 119 轮、五次提交并经视觉验证发现三个真实 bug，NPU 调用中sidecar压缩每次约省 80-95 秒。作者强调 GPU 负责推理生成，NPU 只负责指引，并按实测裁掉了评分弱的工具。
推荐理由：作者对 Strix Halo NPU 在编码智能体中的每项用途都给出了实测数据和裁剪依据，方法可以迁移到自己的本地部署评测。
GitHub · 去对齐工具与仓库精选AI 评分6767 jeffgrover/b70-setup：Intel Arc Pro B70 上 llama.cpp SYCL 本地推理仓库
作者在 Minisforum Venus 迷你主机加 Intel Arc Pro B70 32GB eGPU 上，用 llama.cpp SYCL/XMX 加 llama-swap 搭建单端口 OpenAI 兼容端点，供 opencode 和 pi 调用。仓库列出 14 个量化模型的 VRAM 占用与吞吐实测，10 月 7 日新增 Swift 1.5 Qwen3.8-27B，2048-token 微批提升 8K prompt 摄入约 10%，新概率 MTP 模式在 f16 生成上提升 9.5%、q8 上提升 4.7%；另附 LocalAI 对照、Qwen/Agents 调优前后配对测量及故障排查说明。
推荐理由：原文给出 Intel Arc Pro B70 上 llama.cpp SYCL 部署的完整配参、VRAM 实测与多模型调优数据，可复现到同类 eGPU 本地推理环境。
GitHub · 去对齐工具与仓库精选AI 评分6565 自托管 LLM 网关 llmtrak 开源：虚拟密钥、成本核算与路由，附带与 LiteLLM 的性能对比
GitHub 项目 rustrak/llmtrak 发布了一个 Rust 编写的轻量自托管 LLM 网关，可将任何 OpenAI SDK 指向它，通过团队虚拟密钥统计每人花费，支持 OpenAI、Anthropic、Azure、Gemini、Groq、Mistral、DeepSeek、OpenRouter、Ollama 等 API 方言互译，提供带权重、重试、冷却与回退的路由，密钥哈希存储，预算按日/周/月重置，内置 Management API 与每日价格表计费。
推荐理由：原文附上了与 LiteLLM 同条件容器的延迟和内存实测对比，读者可以据此评估这个自托管网关的实际开销。
Hugging Face · 趋势模型精选AI 评分7272 
Reflection 开源 Beam 1.0 501B MoE 模型，支持 1M 上下文
Reflection 发布开放权重模型 Beam 1.0，采用 MoE 架构，总参数 501.3B、激活 23.4B，支持 1M 上下文，以 Apache 2.0 许可提供 BF16、FP8、NVFP4 三种精度。官方称其推理 token 用量约省 3 倍，SWEBench Verified 达 81.6%，AIME 2026 达 97.7%，不禁止蒸馏和微调。
推荐理由：官方模型卡给出完整基准表和三种量化版本数据，读者可以据此对比 Beam 与其他开放权重模型在编码和推理任务上的表现。
GitHub · 去对齐工具与仓库精选AI 评分5656 InvGen 开源：用 LLM 生成 C 程序循环不变式、CBMC 与 Frama-C 验证
InvGen 是一个开源工具，用 LLM 为 C 程序生成循环不变式，再由符号工具验证：LLM 可走 Claude Code CLI（订阅登录，无需 API token）或经 Ollama 跑本地模型如 qwen3:8b，候选不变式由 CBMC 做 BMC 过滤并执行 Houdini 归纳子集筛选，最终由 Frama-C/WP 完成正确性证明。每次失败的检查会转成带具体状态的反例句子追加进提示词，仓库还提供 compare.py 在相同 K/m 参数下对比不同模型，附带 Code2Inv 全集 133 个线性与 7 个非线性程序（其中 9 个断言有错，可被 BMC 查出），代码约 1300 行。
推荐理由：仓库讲清了 LLM 生成与符号工具验证的完整分工和反馈循环，读者可以照着复现这套循环不变式求解流程。
GitHub · 去对齐工具与仓库精选AI 评分5555 I3K RAG Engine 0.1.x 用 Rust 重写为单二进制自托管 RAG 系统
I3K Technologies 发布 I3K RAG Engine 0.1.x，将原 Python 多容器方案用 Rust 重写为单个二进制，首次运行下载并按 sha256 校验约 12 GB 组件，之后完全离线运行，数据不出本地服务器。系统支持 PDF、Office、邮件、图片（OCR）等多格式文档，用 BAAI/bge-m3 嵌入加 Qdrant 检索，内置 JWT 认证、每日备份和性能基准工具；1.x Python 版保留在 python-legacy 分支，无自动迁移路径，项目以 AGPL-3.0 授权并提供商业许可。
推荐理由：原文完整给出了自托管 RAG 引擎的部署方式、组件架构和安全设计，读者可以据此评估它是否适合本地私有文档场景。
Hugging Face · 新模型：abliterated精选AI 评分7070 Muse-Glimmer-30B Heretic Abliterated BF16 v2 发布，拒绝率降至6.5%
kmnstudio101 发布 Muse-Glimmer-30B-Heretic-Abliterated-BF16 v2，使用 Heretic 工具经 500 次 Optuna 试验完成消融，拒绝率从 v1 的 29% 降至 6.5%，KL 散度为 0.076。消融流程包括跨 52 层计算拒绝方向、LoRA 适配器投影去除拒绝方向并合并回基础权重。BF16 版本约需 55 GB 显存，另有 Q4_K_M 约 16 GB、Q6_K 约 22 GB、Q8_0 约 28 GB 的 GGUF 量化版本，许可证为 Apache 2.0，基础模型为 Meta Muse Glimmer 30B。
推荐理由：原文给出 v1 到 v2 的拒绝率与 KL 散度对比数据和完整消融流程，读者可据此评估这个去对齐版本的效果与质量代价。
Hugging Face · 新模型：abliterated精选AI 评分7676 Muse-Glimmer-30B-Abliterated 发布，移除约87%安全拒绝并放出GGUF量化
kmnstudio101 发布 meta-models/Muse-Glimmer-30B 的去消融版本，用 KL 约束（λ_KL=1.0）的 BoN 引导 LoRA SFT 将安全拒绝率从 100 降到 13/100，LoRA 仅占参数量 0.10%，随后折叠进基础权重。提供 bf16 两个 safetensors 分片（56 GB）及 Q8_0（28 GB）和 Q4_K_M（16 GB）GGUF 量化，各量化变体的 KL 均值分别为 0.1018 与 0.1444；基准评测按作者要求跳过，能力保留未重测。
推荐理由：作者公布了完整的KL指标、拒绝率与训练配置，并说明能力未重测，读者可以据此自行评估损失程度。
GitHub · 灵魂体仓库精选AI 评分6666 Spark v0.9.0 发布：本地优先、带审批门控的 AI 编码 Agent
Spark 是一个本地优先的 AI 编码 Agent，pip 一键安装，所有写盘和 shell 命令都经过审批门控（suggest/auto-edit/full-auto 三种模式），受保护路径和工作目录外写入不受任何模式覆盖。v0.9.0 支持多文件编辑（apply_patch）、持久 PTY 终端、子 Agent、会话分叉、MCP、基于 mem0 + ChromaDB 的可选语义记忆，并内置 DeepSeek / Qwen / ZhipuGLM / Kimi / Doubao / Ollama 等中文模型预设，对工具和文件结果按不可信数据标记中英文提示词注入模式。
推荐理由：原文详细列出了审批门控的三种模式、受保护路径规则和v0.9.0的功能清单，读者可以直接评估这个本地优先编码Agent是否值得部署。
GitHub · 灵魂体仓库精选AI 评分6363 OrsikTop 发布：Linux 终端中监控本地 llama.cpp 推理与 GPU 遥测的 Rust TUI 工具
OrsikTop 是一个用 Rust 编写的终端仪表盘，可在 Linux x86_64 上监控本地 llama.cpp 推理指标、GPU 遥测（NVIDIA/AMD/Intel）以及系统负载和进程，无需浏览器、守护进程、数据库或账号。它通过 --metrics 读取 llama.cpp 的上下文占用、prefill/decode 吞吐、请求与槽位状态等，支持自动发现本地 llama-server 进程，当前版本为 0.2.8，提供独立安装器和 Cargo 两种安装方式，采用 Apache 2.0 许可证。
推荐理由：一个面向 llama.cpp 本地推理的终端监控工具，详细说明了指标读取方式和三大 GPU 厂商的适配做法，便于直接部署使用。
GitHub · 灵魂体仓库精选AI 评分5656 corpus-ingest-core：将播客音频转为带时间戳证据的可搜索知识库
norton77930 在 GitHub 发布 corpus-ingest-core，可将播客 RSS 或 X / YouTube 视频用本地 faster-whisper 转写，产出带时间戳的字幕、摘要、提及索引和 SQLite 跨集检索，并通过 MCP 服务器（stdio 和 127.0.0.1:8767/mcp）暴露 35 个已审查工具给 Codex / Claude 等 AI 智能体。设计上区分确定性路径与可复现的规则提取、opt-in 的 LLM 语义摘要两条互不替代的路径，LLM 产物需经确定性审查门；所有写操作默认 confirm=false，外发文本需精确确认字符串，项目提供 7 个 Skills 和 synthetic 示例语料，MIT 许可，尚未实现 web UI、调度、嵌入和向量检索。
推荐理由：原文详细说明了确定性提取与 LLM 摘要两条路径的分离设计和 MCP 工具安全边界，读者可以借此了解播客音频转为可引用知识库的可复用架构。
GitHub · 去对齐工具与仓库精选AI 评分6161 
nixvarghese01 开源 local-ai-platform：单笔记本零 GPU 零成本跑通本地 AI Agent 平台
作者开源了 local-ai-platform 仓库（MIT 协议），在 Windows 11 笔记本的 WSL2 里用 k3s 运行一套自托管 MCP Agent 平台，使用 Ollama 跑 3B 模型，全程无 GPU、零云支出。技术栈含 LiteLLM、LangGraph、Qdrant、MLflow、Dagster、BentoML、n8n、ArgoCD 等，提供 10 个端到端工作流、Authelia 单点登录、热管理与 8 周构建计划；实测核心态占用约 3.4 GB 内存，RAG 问答 3–11 秒，垃圾短信分类模型测试 F1 0.976，并记录了 RAG 先检索后回答等关键决策与遗留风险。
推荐理由：作者完整公开了在无 GPU 笔记本上跑通含 RAG、MLOps 和 GitOps 的本地 Agent 平台的配置与实测数据，方法可直接迁移。
GitHub · 去对齐工具与仓库精选AI 评分6464 ceedot-rock/omni-slated-mem-core v0.2.0：无需 LLM 调用的本地记忆系统
ceedot-rock 在 GitHub 发布 omni-slated-mem-core v0.2.0，这是参加 Agent Memory Challenge Cycle 2 文本赛道的零 LLM 本地记忆系统，全程无语言模型调用，完全确定性且可精确复现。检索采用 BM25 与 BAAI/bge-small-en-v1.5 嵌入的混合召回加 RRF 融合，再用 ms-marco-MiniLM-L-6-v2 交叉编码器重排并做相关性门控；v0.2.0 在 v0.1.0 检索引擎上增加记忆管理层，包括矛盾/取代追踪、时间表达解析、门控两跳检索与会话合并，矛盾检测在 22 对合成样本上达到 precision 1.000、recall 1.000。
推荐理由：原文完整给出检索管线、阈值校准数据和并发设计，做本地 Agent 记忆系统时可以直接参考其方法与取舍。
GitHub · 灵魂体仓库精选AI 评分6464 WebSlice 发布：多设备浏览器标签页分片跑 Qwen 3.8 27B
WebSlice 发布，可将大语言模型切分到同一房间内多台设备的浏览器标签页，通过 WebRTC 传递 10 KB 激活向量协同推理，无需安装或服务器。支持 Qwen 3.8 27B（15 GB Q4_0 权重），演示在 MacBook 加 iPhone 上以 10.7 tok/s 生成 400 tokens；GB10 上 plain 解码 9.0 tok/s、推测解码 16.1 tok/s，同文件同 GPU 的原生 llama.cpp 为 8.0 tok/s。默认启用 Groq Cloud 模式会把提示词和对话历史发送到 Groq，需手动关闭才走本地 WebGPU 推理。
推荐理由：原文给出 WebGPU 内核设计、与 llama.cpp 同机对照的实测数据，读者可以据此评估浏览器分片推理的实际水平。
GitHub · 灵魂体仓库精选AI 评分6464 exl3-rdna4-recipe：在AMD RX 9070 XT上本地运行Qwen3.8-27B（EXL3 3.0 bpw）的部署方案
该仓库提供在AMD RX 9070 XT（16 GB）上以ExLlamaV3加TabbyAPI运行Qwen3.8-27B EXL3 3.0 bpw的完整脚本，作为OpenAI兼容本地服务器，支持128k上下文、工具调用和图像输入。配合RDNA4补丁和3.0 bpw DFlash2草稿模型做投机解码，短上下文代码生成约130 tok/s，128k下约100 tok/s，对话约55-65 tok/s，WMMA GEMV使草稿验证开销从1.55x降到约1.16x，DeltaNet replay节省约1 GB显存。项目独立，代码由Claude Opus 5.5编写并经GPT-6.1 Sol审阅。
推荐理由：README给出了RDNA4上跑Qwen3.8-27B的完整补丁、基准数字和一键脚本，方法可直接复用到同款AMD显卡。
GitHub · 灵魂体仓库精选AI 评分5656 local-llm-benchmarks：V100 与 RTX 3060 本地 llama.cpp 模型实测
作者发布了本地 llama.cpp 模型基准测试套件，测试环境为 Tesla V100 32GB 加 RTX 3060 12GB 双 GPU，llama.cpp v9836（upstream-dflash 分支），统一 8K 上下文并开启 flash attention。结果显示 V100 上 MTP 推测解码带来明显收益，Qwopus3.6-27B-Coder-Compat 在 MTP n=3 下达 40.3 tok/s，比无推测快 29%；而 35B MoE 模型在 RTX 3060 上 MTP 反而拖慢速度（25.5 降至 16.9 tok/s），建议该卡用 no-spec 并开启 --cpu-moe。
推荐理由：作者在双 GPU 本地系统实测了 MTP 推测解码的适用边界，27B 密集模型受益而 35B MoE 反而变慢，结论可直接迁移到类似硬件选型。
GitHub · 灵魂体仓库精选AI 评分7272 Timiku 发布 vLLM /v1/decisions 类型化决策端点提案与参考实现
Timiku 在 GitHub 发布了为 vLLM 提出 /v1/decisions 类型化决策端点的参考实现，基于 vLLM v0.30.0 的 overlay 补丁，将单次 forward pass 读取选项 logit 概率的决策后端统一到一个 API 下。内置 logit、encoder、canvas 三个可插拔后端，并提供兼容 TypeSafe Jev API 的 /v1/systemone 投影端点；该端点拟提交至 vLLM 上游。
推荐理由：原文给出了在 vLLM 上直接读取选项 logit 概率的完整实现与实测数据，读者可以复用这套部署方法而不必额外模型或服务。
GitHub · 灵魂体仓库精选AI 评分6666 DanyAPI 开源：把多家免费网页版模型桥接成 OpenAI 兼容 API
DanyAPI 是一个基于 Python + FastAPI 的 OpenAI 兼容 HTTP 网关，不走付费 API，而是对接 DeepSeek、Qwen、GigaChat 免费额度以及 Yandex Alice、Duck.ai、Mistral Le Chat、Google AI Studio 等免费网页客户端的内部接口。提供 /v1/chat/completions、/v1/embeddings、Anthropic Messages、图像生成等端点，支持 Docker 一键部署、BYOK 模式和服务端 MCP 工具循环。
推荐理由：README对每个免费上游的协议、限制和失败实测都写得很具体，部署前值得一读再决定启用哪些 provider。