跳到正文

方向

本地部署与推理 最新动态

把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。

1,573 条精选近 30 天 1,563 条共收录 5,762 条

更新

精选归档 · 第 69 页

10月6日周二第 1361–1380 条
  2. Reddit · r/LocalLLaMA59

    在 llama.cpp 上超频 DDR5 提升 MoE 模型 prefill 与 decode 速度

    作者在 AMD 7950X（4x 双通道 DDR5-5600，128GB）上把内存从 3600MHz 超到 4800MHz，带宽提升 36%，在 Intel B70（32GB）的 llama.cpp 定制 SYCL 后端上跑放不进显存的 MoE 模型获得小幅提升：PP 约增 10%、TG 约增 5%，且上下文越深收益越大，pp2048 @ d8192 提升 14.0%。

    推荐理由：作者给出了 DDR5 超频前后各档上下文的 PP/TG 实测数据，读者可据此估算自己 MoE 本地部署能从内存超频拿到多少收益。

  3. GitHub · 灵魂体仓库62

    开源 AI Agent 工具 Pennant 发布，支持 Mac 本地运行与 iPhone 伴侣应用

    Pennant 在 GitHub 开源，是一款运行在 Mac 上的免费 AI Agent，配有 iPhone 伴侣应用，可用自然语言分派任务，如整理收件箱、写帖子和改代码，支持定时任务和目标追踪。

    推荐理由：开源 Mac 端 AI Agent，发布、删除和花钱前强制弹出审批卡片，并给出成本账本与本地隐私设计，适合关注 Agent 可控性的人参考。

  4. GitHub · 灵魂体仓库57

    PoLang（破浪相册）开源：AI Agent 驱动的端侧智能相册应用

    littleseven 在 GitHub 开源了 PoLang（破浪相册），一个 AI Agent 驱动的 Android 智能相册应用，MIT 协议、免费无广告，已上架 Google Play。

    推荐理由：开源的 Agent 驱动相册应用，README 给出了与 Queryable、PicQuery 的逐项能力对比和完整模块架构，可作端侧 AI 应用工程参考。

  5. GitHub · 灵魂体仓库74

    oMLX：面向 Mac 优化的本地 LLM 推理引擎开源

    jundot 在 GitHub 开源了面向 Apple Silicon 优化的本地 LLM 推理引擎 oMLX，支持连续批处理与热内存加冷 SSD 的分层 KV 缓存，上下文中途变化时历史缓存仍可跨请求复用，并可通过菜单栏应用管理。

    推荐理由：作者给出了自建推理引擎的分层 KV 缓存设计与实测数据，GLM-5.2 自定义内核下 prefill 提速约 30 倍，可作本地部署参考。

  6. GitHub · 灵魂体仓库62

    relay-hub 开源：纯标准库实现的自托管大模型中转站

    GitHub 项目 bilibiliUID1480494301/relay-hub 发布了一个自托管 LLM 中转/网关，把官方 API Key 与本地自托管推理服务统一为 OpenAI/Anthropic 兼容入口，纯 Python 标准库实现、零第三方运行时依赖，PyPI 分发名为 hubrelay。

    推荐理由：自托管 LLM 中转站，纯 Python 标准库零依赖，把官方 API 与本地推理服务统一成 OpenAI/Anthropic 兼容入口，含号池调度与用量记账。

  7. GitHub · 灵魂体仓库56

    llm-inference-platform：基于 Apple Silicon 的 GPU 推理服务平台开源

    Sunil Mehta 开源了 llm-inference-platform，在 Apple Silicon Mac 上通过 vLLM-Metal 原生运行 LLM 推理，并提供 FastAPI 网关、Prometheus/Grafana 监控和可复现基准脚本。

    推荐理由：开源项目在 Apple Silicon 上用 vLLM-Metal 原生跑模型推理，并配套可观测网关和可复现基准，适合想本地部署 LLM 服务的读者参考。

  8. GitHub · 灵魂体仓库77

    JuL 开源 Python 库发布：本地运行类型化文本决策，对标 Jev 托管 API

    JuL 是一个开源 Python 库，对文本回答类型化问题（Choice、Noul、Score）并附带概率，答案直接从模型隐藏状态读出，无需推理轨迹，Mac 上单次决策 55 ms。

    推荐理由：原文给出与 Jev 托管 API 的同题对比基准和延迟、ECE 数据，读者可据此评估本地部署替代托管决策 API 的可行性。

  9. GitHub · 灵魂体仓库63

    llmx：无依赖的 C++17 LLM 推理运行时开源，支持 CPU 与 Vulkan GPU

    mxxm-t 在 GitHub 开源了 llmx，一个无依赖的 C++17 LLM 推理运行时，可命令行运行或作为 OpenAI 兼容服务器，支持单机多设备跑同一模型。

    推荐理由：README 明确列出了已支持与计划中的模型、量化类型、后端和多设备模式，读者可据此判断该 CPU/Vulkan 推理运行时是否覆盖自己的硬件。

  10. GitHub · 去对齐工具与仓库62

    DuDuClaw 开源：用一个 Rust binary 把 Claude Code 等 CLI 工具变成常驻 11 个通讯软件的 AI 员工

    DuDuClaw 在 GitHub 发布，用一个 Rust binary 把 Claude Code、Codex、Antigravity 等 CLI 工具接入 Telegram、LINE、Discord 等 11 个通讯软件，核心采用 Apache 2.0 授权。

    推荐理由：README完整给出了架构、通道与runtime清单和安全机制细节，读者可以据此评估这个把CLI工具接入多通讯软件的开源方案是否够用。

  11. GitHub · 去对齐工具与仓库62

    HitMargin/ai-proxy：多上游 AI API 聚合代理开源

    HitMargin 开源 ai-proxy，对外暴露统一 OpenAI 兼容接口，聚合 kilo.ai、openrouter.ai、chat.deepseek.com、api.trae.cn、cnb.cool 等多个上游，支持本地 Deno、Deno Deploy、Cloudflare Workers 三种部署。

    推荐理由：README 详细记录了各上游协议差异与静默失败的排查过程，如缓存命中率 50% 天花板的成因分析，方法可直接迁移到类似聚合代理的调试。

  12. arXiv · cs.AI52

    arXiv 论文提出 HEAR 协议用于 agentic LLM 服务中 harness 与推理引擎的双向协调

    arXiv 论文 arXiv:2610.06597 提出 HEAR，一个面向 agentic LLM 服务的 Harness-Engine 双向配对协议，让 agent harness 传递工作流意图与执行需求，推理引擎返回运行时状态与能力。

    推荐理由：论文给出 HEAR 协议在多个 agent 基准上的加速数据，读者可以据此评估 harness 与推理引擎双向协调的实际收益。

  13. arXiv · cs.AI61

    OPPD：通过策略内蒸馏实现无需多次采样的序列级幂分布锐化

    论文提出 on-policy power distillation（OPPD），将 power distribution 的推理增益蒸馏进模型单次生成。训练中由被训模型生成候选、冻结教师模型的幂分布加权，并用相同概率做最大似然更新。

    推荐理由：论文给出 OPPD 与 GRPO 及多次采样 power sampling 的对照数据，可据此评估单次生成逼近采样增益的可行幅度。

  14. GitHub · 去对齐工具与仓库58

    hwdsl2/docker-ollama：带认证的 Ollama 本地 LLM 服务器 Docker 镜像

    hwdsl2 发布 docker-ollama 镜像，用于以 Docker 运行 Ollama 本地大语言模型服务器，提供 OpenAI 兼容的 /v1 API 子集和原生 Ollama API。

    推荐理由：这个 Docker 镜像默认用 Caddy 强制 Bearer token 认证并自动生成 API key，README 还给出磁盘与内存需求表，便于自行评估部署成本。

  15. GitHub · 去对齐工具与仓库63

    dictate-mac：macOS 上的全本地语音听写开源工具

    开发者 rohanpitla 开源了 dictate-mac，一个完全本地运行的 macOS 语音听写工具：按住快捷键说话，松开后 Whisper（whisper-large-v3-turbo，经 MLX）在设备上转写，再由 Ollama 运行的 qwen2.5:3b 做去填充词和标点清理，文本粘贴到光标处。

    推荐理由：作者因不愿为 Wispr Flow 付订阅费而自建本地听写工具，README 给出完整架构、清理提示词思路和延迟统计，可直接复用。

  16. GitHub · 去对齐工具与仓库58

    Javis OS 开源：可自托管的智能体系统，支持 12 个模型供应商随时切换

    开源项目 Javis OS 发布，这是一个可部署在自己机器或 VPS 上的自托管智能体系统，通过 Claude Code、Codex、Grok、Antigravity 等 4 个订阅 CLI 加 OpenRouter、OpenAI、Anthropic、Gemini、Groq、Ollama 等 API 共支持 12 个供应商，可随时在 Models 页面切换。

    推荐理由：自托管智能体把记忆、技能和工作流存成本地 Markdown 与 SQLite，模型可随时换而数据不动，思路对被订阅应用锁定困扰的人有参考价值。

  17. GitHub · 去对齐工具与仓库70

    ShadowLM Trainer 开源：面向任意开放模型的微调 SDK

    Lyzr Research Labs 在 GitHub 开源了 ShadowLM Trainer，一个微调 SDK，支持对任意开放模型用 LoRA、QLoRA、DoRA、DPO、GRPO、MoRE 等 13 种方法训练，覆盖 CUDA、TPU、Trainium、Intel、Apple Silicon 和 CPU。

    推荐理由：原文完整列出了 13 种训练方法、后端与硬件支持，以及从流量捕获到接管前缘模型的完整迁移流程，可按需复用。

  18. Hugging Face · 新模型：abliterated82

    BoldingBuilds 发布 AREX-2 Abliterated GGUF 去对齐版本

    BoldingBuilds 发布 BAAI AREX-2（基于 Qwen3.8 的 27B agent 微调）的去对齐 GGUF 版本，将拒绝方向从 64 个权重张量（第 8-39 块）投影移除。

    推荐理由：作者给出了拒绝率、工具调用和 KL 位移的实测数据，可以据此判断这次去对齐改动到底动了什么、代价多大。

  19. GitHub · 灵魂体仓库69

    heyman 开源：让模型读本机 man 页面把自然语言转成 shell 命令

    alecf 开源了 heyman，一个把自然语言请求转成 shell 命令的 CLI 工具，模型通过 man、man_search、which 三个工具读取本机 man 页面，使生成的命令参数匹配当前系统（macOS 用 BSD 语法，Linux 用 GNU 语法）。

    推荐理由：作者用 50 例评测给出各模型通过率与延迟对比，本地部署的上下文窗口和内存坑也写清了。

  20. GitHub · 灵魂体仓库65

    Kairos Code 开源：带强制评审门禁与成本账本的自托管多智能体编码流水线

    Kairos Code 在 GitHub 开源（0.1.8 alpha，AGPL-3.0），是一个自托管、模型无关的多智能体编码流水线：Coder 写代码，Reviewer 按分数阈值逐轮评审，未过门禁不收工，循环有 8 种停止条件（含 50 轮硬上限、token 上限默认 500k、30 分钟时限等）。

    推荐理由：原文给出了评审门禁、成本账本和 Gate Report 的具体实现与停止条件，读者可以据此判断这套多智能体流程是否值得自托管。