跳到正文

方向

本地部署与推理 最新动态

把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。

1,573 条精选近 30 天 1,563 条共收录 5,762 条

更新

精选归档 · 第 72 页

10月6日周二第 1421–1440 条
  1. GitHub · 去对齐工具与仓库67

    Local-LLM-Launcher-GUI 发布：基于 vLLM 与 llama.cpp 的本地模型浏览器控制面板

    jimdawdy-hub 发布 Local-LLM-Launcher-GUI，一个基于 vLLM 和 llama.cpp 的浏览器本地控制面板，用于在自有硬件上下载和运行大语言模型。

    推荐理由：作者基于 vllm-cli 做出带内存预估和红绿灯提示的本地模型启动面板，对不想反复试错参数的本地部署用户有直接参考。

  2. GitHub · 灵魂体仓库60

    deadboyccc 开源 book2md：把 PDF 书籍按页转成 Markdown 和 PNG 供 LLM 阅读

    deadboyccc 发布 book2md 工具，基于 Docling 和 uv 在本地把 PDF 书籍逐页转换为 Markdown 文本加整页 PNG 渲染图，全程不上传文件。

    推荐理由：作者开源了一个把 PDF 书籍按页转成 Markdown 加 PNG 的本地工具，并给出参数、OCR 选项和与 LLM 配合的具体用法。

  3. GitHub · 灵魂体仓库65

    Reika：面向小本地模型的 coding agent CLI 开源

    alexwkleung 开源了 Reika，一个面向本地与托管模型的 coding agent CLI，专为 8B–35B、Q2–Q4 量化、16–32k 上下文窗口的小本地模型设计，兼容 llama.cpp、MLX、vLLM 或云端 API。

    推荐理由：作者用实测数据说明 harness 层面对小模型的实际作用边界，比如上下文重写与追加的成本差异，方法可迁移到本地部署场景。

  4. GitHub · 灵魂体仓库58

    Open Max：单二进制 Rust 终端编码 Agent 框架开源

    Max17190 在 GitHub 开源了 Open Max，一个用于终端编码的自扩展 Rust Agent 框架，以单个二进制运行，支持本地（Ollama、LM Studio、vLLM、llama.cpp）、云端网关（OpenRouter 等）或私有代理端点。

    推荐理由：作者给出了终端编码 Agent 的完整设计取舍，包括七工具原语、文件式扩展与记忆机制，可作自建 Agent 框架的参考。

  5. GitHub · 灵魂体仓库61

    ResumeForge 0.15.0 发布：本地优先的开源 AI 简历工作台

    开源项目 ResumeForge（简历通）发布 0.15.0 版本，定位本地优先的 AI 简历工作台，不注册不登录，数据只存在本机一个 SQLite 文件里，MIT 协议免费。

    推荐理由：原文把事实台账与防虚构校验的设计写得很具体，还给出与在线简历工具的逐项对比，适合关心简历数据隐私的人参考。

  6. GitHub · 去对齐工具与仓库63

    Nexus-LLM：Rust 编写的分布式 LLM 编排器开源

    TrialBlazer23 在 GitHub 开源了 Nexus-LLM，一个用 Rust 编写的超轻量分布式 LLM 编排器、无头计算守护进程和终端界面，可把异构个人设备组成对称对等网格，任一设备可作推理主机、RPC Worker 或 TUI 客户端。

    推荐理由：原文给出了跨 Android、老旧 x86 与 WSL2 的对称组网细节和内存防护机制，读者可以据此评估把个人设备拼成推理集群的可行性。

  7. GitHub · 灵魂体仓库66

    Handoff Router 开源：单 GPU 多推理引擎的 VRAM 交接路由

    idawz07 发布开源工具 Handoff Router，提供 OpenAI 兼容端点，把 llama.cpp、vLLM、SGLang、Strata、NInfer 等本地模型服务器作为后端统一管理，按请求中的 model 字段在引擎间交接 GPU。

    推荐理由：原文明确了它和 llama-swap、Ollama 等换模型工具的差异，管理单位是引擎而非模型，适合单卡多引擎互斥的场景。

  8. GitHub · 灵魂体仓库74

    ljchang 开源 mecha：把本地开放权重模型变成个人助理的 Agent 框架

    ljchang 在 GitHub 发布 mecha，一个把本地开放权重模型变成个人助理的 Agent 框架，支持接入邮件、日历和个人知识图谱。安全设计是结构性的：每个工具声明自身能力，会话追踪污点，当私有数据与第三方内容同时存在时拒绝外发调用；发送默认走 outbox 暂存待审。

    推荐理由：这个本地模型 Agent 框架把安全做成类型系统里的结构约束而非提示词，还用工具调用轨迹而非文本来评分，设计取舍讲得具体。

  9. GitHub · 去对齐工具与仓库77

    alexvervloet 发布 askrepo：用自然语言提问代码库并附文件行号引用

    alexvervloet 开源了 askrepo，一个对代码库用自然语言提问、答案附带 (path:line) 引用的 CLI 工具，作为其 AI Engineering deep-dive 系列的 capstone 项目，按 v00 到 v07 及多个 ext-* 扩展分支逐步构建。

    推荐理由：原文给出了 RAG 与 agent 检索在同一评测集上的实测对比，以及本地与云端栈的成本、正确率和延迟数据。

  10. GitHub · 去对齐工具与仓库65

    rafaelKyra 发布 local-llm-fieldbook：本地大模型智能体编码实测笔记仓库

    rafaelKyra 在 GitHub 发布 local-llm-fieldbook 仓库，公开本地大模型在智能体编码场景的实测数据与评分工具。仓库保存 17 个模型构建在 14 项编码任务上的答案（单次运行），附评分脚本 harness/score_grid.py，复算可精确复现已发布的每任务通过数（如 task 1: 3/17）。

    推荐理由：作者公开了17个本地模型在14项编码任务上的原始答案与评分脚本，任何人可复算，并区分了测量与主观笔记。

  12. GitHub · 去对齐工具与仓库69

    Apertura：基于 MLX 的 Gemma-4 Objective-C++ 本地重建项目发布

    apocryphx 发布 Apertura，一个用 Objective-C++ 基于 MLX 从零重建的 Google Gemma-4 推理引擎，可在 Apple Silicon Mac 上完全本地运行 Gemma-4 全部文本系列模型，推理时不依赖 Python 和云端。

    推荐理由：原文给出了与 PyTorch 参考实现逐算子对齐的实测数据，以及与 llama.cpp 的吞吐对比，可据此评估这个本地推理重建的忠实度。

  13. GitHub · 去对齐工具与仓库67

    MindRoom 开源基于 Matrix 的多智能体平台，支持本地模型与自托管

    mindroom-ai 在 GitHub 开源 MindRoom，一个以 Matrix 为基础的 AI agent 平台，采用 Apache 2.0 许可（saas-platform 部分为 BUSL 1.1）。

    推荐理由：开源多智能体平台把每个 agent 做成 Matrix 真实用户，README 给出了从本地一键运行到 Kubernetes 的完整部署路径和与 OpenClaw 的架构对比。

  14. GitHub · 去对齐工具与仓库67

    devoidfury 开源本地 Agent 框架 hotdog

    devoidfury 发布 hotdog，一个面向本地开放权重模型的 Agent 框架，可对接 llama.cpp、llama-swap、vllm 或任意 OpenAI 兼容端点，在自有硬件上运行完整 Agent 栈。

    推荐理由：作者以零依赖源码分发和线格式完整性设计降低本地 Agent 供应链风险，思路可迁移到自建本地推理栈。

  15. GitHub · 去对齐工具与仓库55

    DeskRecap 开源本地会议记录工具，录音转写摘要全程不出本机

    DeskRecap 是一款 local-first 桌面应用，流程为录音（麦克风和/或屏幕音频）→ 用 Whisper 本地转写 → 用内置本地模型摘要并对话，音频和文本不上传。

    推荐理由：开源的本地会议记录工具，录音、转写、摘要和对话全程不出本机，还详细说明了 token 鉴权与 macOS 签名等部署细节。

  16. GitHub · 去对齐工具与仓库58

    marshalltech81 开源 protonmail-local-ai：本地 AI 搜索与问答层接入 ProtonMail

    marshalltech81 在 GitHub 发布 protonmail-local-ai，一个面向 ProtonMail 的隐私优先 AI 搜索与智能层，通过 Proton Mail Bridge、mbsync、SQLite（FTS5 + sqlite-vec）构建本地索引，并以 MCP 接口供 Claude Desktop、Claude Code、Codex 调用。

    推荐理由：原文逐层说明了邮件数据与嵌入、推理、rerank 各层的数据流向，读者可以据此判断隐私边界是否真的全在本地。

  17. GitHub · 去对齐工具与仓库62

    Muninn 开源：为 Claude Code 提供隐私优先的递归上下文网关

    Colliery 在 GitHub 开源了 Muninn，一个面向 agentic coding 的隐私优先递归上下文网关，以 Claude Code 插件和 MCP 服务器形式接入。

    推荐理由：原文给出完整的安装配置流程和各后端模型的 UAT 实测结果，开发者可据此判断哪个后端组合在自己的技术栈里最稳。

  18. Reddit · r/LocalLLaMA60

    IceFog72 发布 ik_llama.cpp 分支：MoE 专家常驻与混合 CPU/GPU 执行优化

    /u/IceFog72 发布 ik_llama.cpp 分支，加入带宽自适应 CPU/GPU 混合执行、专家常驻（expert residency）、jadidbourbaki 的 n-gram cache 优化适配以及 Q2_0 量化支持，可用 --moe-resident auto --moe-resident-mib N 控制常驻专家占用的 VRAM 上限。

    推荐理由：作者在自建 RTX 2060 6GB 环境给出前后对比数据，读者可据此判断这套 MoE 常驻专家方案是否适合自己的瓶颈场景。

  19. Hugging Face · 新模型：uncensored68

    spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored GGUF 量化版

    spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored 的 GGUF 量化版，把 yamz-labs 的运行时去审查编辑直接烘焙进权重，使其在任意 llama.cpp 运行时无需特殊引擎即可生效。

    推荐理由：原文给出了拒绝率前后对比和量化损失数据，读者可以据此判断这个去对齐版本到底去掉了多少、代价多大。

  20. GitHub · 灵魂体仓库66

    ckpt-reshard-cli：单个 Rust 二进制检查、转换与重分片分布式训练 checkpoint

    作者发布 ckpt，一个无需 Python、torch 和 pickle 执行的 Rust 单二进制工具，可检查、转换、重分片和对比分布式训练 checkpoint。

    推荐理由：作者用 Rust 单二进制替代一次性 Python 转换脚本，给出了与各框架参考实现逐位对齐的验证结果和内存占用对比。