跳到正文

方向

本地部署与推理 最新动态

把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。

1,573 条精选近 30 天 1,563 条共收录 5,762 条

更新

精选归档 · 第 73 页

10月6日周二第 1441–1460 条
  1. GitHub · 灵魂体仓库71

    Otto 桌面 AI 编码工作室发布，让小模型也能写真实文件

    zeithub 团队在 GitHub 开源了 Otto，一个桌面 AI 编码工作室，支持本地 Ollama 模型、OpenRouter、Groq 等托管提供商以及 Claude Code 或 Codex 订阅。

    推荐理由：桌面 AI 编码工具 Otto 针对小模型设计受限执行与浏览器自检，还提供多提供商回退，适合想在小硬件上跑编码智能体的开发者。

  2. GitHub · 去对齐工具与仓库66

    castcut 发布：基于 ComfyUI 的本地角色短片制作工具

    doodersrage 发布 castcut（前身为 Prompt Studio / llm-prompt-studio），一个基于 ComfyUI 的本地工具，按 Cast → Look → Outfit → Day → Cut film 流程创建一致性角色、图像、场景和短片。

    推荐理由：作者把 ComfyUI 的模型支持封装成从选角到剪辑的成片流程，并给出桌面安装包、Docker 和快速上手路径，便于本地复现。

  4. GitHub · 去对齐工具与仓库62

    WeChat-agent-unigateway：一个微信入口接本机多个 agent 的本地网关

    cerberuschina 在 GitHub 发布 WeChat-agent-unigateway，一个仅用 Python 标准库的本地网关，只绑定一个微信（iLink/ClawBot）身份，把消息分发给本机多个 agent，支持 Claude Code、Hermes、CodeBuddy/WorkBuddy 等通过 A2A、HTTP 或命令行接入。

    推荐理由：原文给出了虚拟 iLink 与直接后端两条接法的完整配置方式，读者可以照着把多个本机 agent 接进同一个微信号。

  5. GitHub · 去对齐工具与仓库63

    Jiaming Yue 实测 Qwen3.5-9B、Qwen3.8-27B 与 gemma-4-26B-A4B-it 本地工具调用能力

    作者 Jiaming Yue 发布可复现的本地开源模型工具调用评测项目，用官方 BFCL 数据和逐条评分代码对比三个本地部署模型，三个模型各完成全部 3641 个单轮用例。

    推荐理由：作者用官方 BFCL 数据和逐条评分代码实测三个本地开源模型的工具调用表现，并公开全部原始输出与复现脚本，便于核对与复跑。

  6. GitHub · 去对齐工具与仓库63

    OpenTail.Stingray 发布：纯 C# 的 .NET 本地 AI 推理库

    OpenTail 发布 OpenTail.Stingray，一个纯托管 C# 的 NuGet 包，可在 .NET 进程内运行本地 AI，无需 Python、sidecar 服务或原生二进制，支持 CPU 及 Vulkan/CUDA GPU。

    推荐理由：README 给出了各任务的实测速度、内存需求和逐模型验证记录，可据此评估在 .NET 进程内跑本地模型的可行性。

  7. GitHub · 去对齐工具与仓库63

    Claudinio Code 开源：Rust 桌面端 AI 编码 Agent 应用

    Claudinio Code 在 GitHub 发布，一个用 Rust 构建的桌面端 AI 编码 Agent 应用，非终端封装或编辑器插件。它用 tree-sitter 索引 77 种语言的代码并配合本地 ONNX 嵌入做混合检索，提供 Brain 只读规划与 Builder 执行双模式、并行子 Agent、可展开的推理时间线，以及带 Monaco diff 的审批门控。

    推荐理由：原文详细说明了代码索引、浏览器验证和本地模型运行的具体实现，读者可据此判断它与现有编码 Agent 工具的差异。

  8. GitHub · 去对齐工具与仓库62

    lcode：完全本地运行的编码智能体工具开源

    nasser1941 在 GitHub 开源了 lcode，一个完全在本地运行的编码智能体，通过 Ollama 运行开放权重模型，支持最高 256K token 上下文（Nemotron 可达 1M），代码不出本机。

    推荐理由：README 给出了模型清单、各机型推荐配置和 RTX 4080 Laptop 与 M4 Pro 上的实测生成速度，便于评估本地跑编码智能体的可行性。

  9. GitHub · 灵魂体仓库71

    Hearth v0.1 发布：零依赖 C11 推理引擎，在普通 PC 上流式运行万亿参数 MoE 模型

    pierce-lonergan 在 GitHub 发布零依赖 C11 推理引擎 Hearth v0.1（pre-alpha，2026 年 10 月），面向在普通 PC 上运行数千亿到万亿参数的 MoE 大语言模型。

    推荐理由：原文给出了实测数字与位级一致性设计，读者可以据此评估在普通 PC 的 NVMe 上跑万亿参数 MoE 模型的可行性。

  10. GitHub · 灵魂体仓库61

    开源自托管新闻简报应用 Daily-Brief 发布

    aimsotrash 在 GitHub 发布自托管、可感知偏见的个人新闻简报应用 Daily-Brief，支持 Ollama、llama.cpp、vLLM、LM Studio 等 OpenAI 兼容本地模型，也可完全无模型运行，回退到只引用已检索文章原句的确定性抽取引擎。

    推荐理由：作者完整公开了自托管新闻简报应用的架构、检索管线与实测数据，读者可以据此评估本地 LLM 方案与无模型回退模式的取舍。

  11. GitHub · 去对齐工具与仓库65

    tokatlas 开源本地 LLM 推理性能数据集与查询网站

    tokatlas 在 GitHub 开源了一个持续更新的本地 LLM 推理性能数据集与网站，收录 GPU/CPU/APU 在 llama.cpp（CUDA/ROCm/Vulkan/Metal/SYCL/CPU）、MLX、vLLM、ExLlama 等后端下的 prompt 处理与生成速度、功耗等实测记录，每条记录附来源 URL、检索日期和精确引用数字。

    推荐理由：这个仓库把分散的本地推理实测数据汇成带来源引用的数据集，买硬件或选量化、后端前可先查同型号芯片的实测速度。

  12. GitHub · 去对齐工具与仓库71

    Haruspex 开源本地 AI 研究与编程桌面工具

    GitHub 项目 Haruspex 发布，这是一款默认完全本地运行的桌面 AI 研究与编程工具，支持 Linux、Windows 和 macOS，无需账号、无遥测，内置 llama-server 自动下载适配硬件的模型，也支持接入 llama.cpp、Ollama、vLLM 等 OpenAI 兼容服务器或 OpenRouter。

    推荐理由：README 按显存档位列出对应模型与各功能的实际表现边界，读者可据此判断自己的硬件能用到什么程度。

  13. Hugging Face · 新模型：abliterated62

    Swift 1.5 Qwen3.8-Flash-Next GSQ-RCO 消融版 IQ3_S GGUF 量化发布

    slider-meister-pub 在 Hugging Face 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 的 IQ3_S GGUF 量化，总大小 83.74 GB（约 3.79 bpw），补上上游缺失的 IQ3_S 档位。

    推荐理由：原文给出量化构建细节和消融前后拒绝率对比，硬拒绝从98/100降到0，读者可据此评估这个低比特去对齐版本。

  14. GitHub · 灵魂体仓库60

    conformal-llm：用保形预测为 Qwen2.5-3B 的 MMLU 答案生成带 90% 覆盖保证的选项集合

    作者让本地运行的 Qwen2.5-3B-Instruct（Q8_0 GGUF，经 llama.cpp）回答 MMLU 三个学科的 416 道选择题，用 split conformal prediction 把输出概率转成带数学保证的答案集合：每个集合以至少 90% 概率包含正确选项。

    推荐理由：作者用 split conformal prediction 给小模型输出加了 90% 覆盖保证，并给出 LAC 与 APS 的实测对比数据，方法可复现。

  15. GitHub · 去对齐工具与仓库63

    finetune-studio：自托管本地模型微调与 RAG 一体化工作台

    GenorTG 发布 finetune-studio，一个自托管的浏览器 WebUI，覆盖本地模型训练、推理与评测全生命周期：构建 RAG 语料、用 LoRA/QLoRA 微调、运行 MMLU/GSM8K/HellaSwag 风格的离线评测套件并对比两次训练、以及本地聊天，支持 safetensors 和 GGUF 模型。

    推荐理由：把 RAG 构建、LoRA 微调、评测对比和本地推理整合进一个自托管 WebUI，适合想在一处完成模型训练全流程的本地用户。

  17. GitHub · 去对齐工具与仓库61

    model-cache-manager：管理 Hugging Face 模型缓存的 macOS 原生应用

    Fredrik Lindstrom 发布开源 macOS 原生应用 model-cache-manager，用于查看、清理 Hugging Face 模型缓存并按 N 天（默认 30）未使用自动删除，Apache License 2.0。

    推荐理由：原文讲清了共享 blobs 存储下的安全删除逻辑和 last used 的判定方法，可避免误删仍在使用的模型。

  18. Reddit · r/LocalLLaMA63

    开源 Agent 应用 Muse 发布 v0.5.0，可常驻 Android 手机本地运行

    Reddit 用户 /u/Choice-Lawyer4779 发布了开源 Agent 应用 Agent: Muse v0.5.0，将此前的桌面 Agent 方案 AOS 精简为单个 Android 应用，常驻手机并像个人助理一样学习用户行为。

    推荐理由：作者把桌面 Agent 方案压缩进单个 Android 应用，自带浏览器、wiki 式持久记忆和 BYOM 接入，README 与仓库可直接复用。

  19. Hugging Face · 新模型：abliterated68

    gbuzhf 发布 Occamy-1.0 去对齐版 Sangreal ICE 量化 GGUF

    gbuzhf 在 Hugging Face 发布 Occamy-1.0 Abliterated 的四个 Sangreal ICE 量化档位（14.51/18.47/22.52/24.53 GB），基于 SC117 的去对齐 BF16 权重，附带 Qwen-Sharp v22.5.0-arrow.3.1 聊天模板和视觉 mmproj 文件。

    推荐理由：作者用同一会话的 KLD 实测把四个 ICE 档位与 SC117 同尺寸量化逐一对照，读者可按文件大小直接选档。

  20. Reddit · r/LocalLLaMA58

    Observer 开源应用让本地模型监控屏幕，浏览器内免安装运行

    作者 /u/Roy3838 发布开源应用 Observer 的更新，本地 LLM 可在浏览器中下载并监控屏幕，例如输入提示词即可在约 10 秒内开始监控 Steam 游戏下载完成并发 Telegram 通知。

    推荐理由：作者自建的开源屏幕监控工具，浏览器内即可下载并运行本地模型，还给出 WebApp 与桌面版两条路径的差异。