方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
Luce-Org 在 GitHub 开源了 Lucebox 推理引擎，主打异构机器与消费级 GPU 上的投机推理，含 DFlash、PFlash、KVFlash、Megakernel 等自定义 kernel 优化。README 给出大量实测数据，如 Qwen 3.8 27B 在 R9700 上用 DFlash2 达 208.1 tok/s，Laguna XS 2.1 33B 在 RTX 3090 上 256K 预填充从 411 s 降至 67.3 s；支持 ROCm/CUDA 后端、Docker 快速部署和 OpenAI 兼容 API，附 Claude Code、Codex 等客户端启动脚本。项目以 Apache 2.0 许可发布。
推荐理由：仓库为每种模型和硬件组合都给出了实测推理数据并附权重链接，想在自己消费级 GPU 上做投机推理部署的话可以直接对照复现。
codavidgarcia 发布 Qwen3.8-27B-Uncensored-Heretic 的 UD GGUF 量化，采用 Unsloth 逐张量配方，MTP 头（blk.64）在各档保持 q6_K/q8_0，使模型连同原生 MTP 完整装入 12/16/24 GB 显卡。实测 16 GB UD-IQ4_XS 的 KLD 比可容纳 MTP 的同类量化低 2.4 倍，RTX 4080 上开启 MTP 后代码生成 55 tok/s，约为关闭时的 1.9 倍；拒绝率数据来自 llmfan46 的 Heretic v2（3/100 拒绝），本仓库未复测。
推荐理由：作者对每档量化都实测了 KLD、top-1 命中率和解码速度，并与同权重其他量化逐项对比，数据可直接用于选型。
开发者在 GitHub 发布本地 AI 角色扮演客户端 Vibe Tavern，支持 Windows、Linux、Docker 和 Android ARM64，数据全部留在本地，AGPL-3.0 协议。客户端提供可视化 prompt 画布与 Prompt Trace 展示最终请求的实际层级与 token 消耗，支持 AI 总结、Objective/Scene Tracker、骰子系统、14 种语音合成引擎、Lorebook 与 JS 脚本，兼容 SillyTavern V2/V3 角色卡、预设与正则导入。项目处于活跃开发状态，作者提醒更新前备份数据目录。
推荐理由：这是一个把 prompt 组装、记忆分层和角色编辑全部显式化的本地角色扮演客户端，可与 SillyTavern 生态互通，适合关注可控性的玩家对比。
ModelFit 网站上线，汇总 Kimi K3、Gemma 4、DeepSeek V4、Qwen 3.8、GLM-5、Llama 3.1 等 110+ 热门本地 LLM 的 GGUF 实测文件体积与显存内存需求。所有数字直接取自 Hugging Face 上的真实 GGUF 文件而非公式估算，KV cache 按 config. 精确计算，并对 DeepSeek/Kimi 架构使用 MLA 分支公式，避免 GQA 朴素算法高估 5–50 倍。网站每日自动重建，新模型上榜约 24 小时内生成页面，数据以 CC BY 4.0 开放并提供 JSON API。
推荐理由：这个网站直接从 Hugging Face GGUF 文件实测体积并精确计算 KV cache，还解释了主流估算公式为何偏差可达数倍，方法可复用。
EvolvingAgentsLabs 发布开源项目 lora-kernel（Apache-2.0），将事实存放在可人工编辑的 markdown 笔记库中，仅用 LoRA 训练小模型导航检索，由微型路由器把超出专家范围请求转交前沿模型。实测包括 inbox triage 专家 0.989 对裸基座 0.345、wiki 多跳问答 38/40 对 19/40、改笔记后 17/17 返回新值且零重训；引用门控拦截 165 个错误答案中的 86 个、误拦 347 个正确值中的 43 个。项目在 16 GB MacBook Air M4 上经 llama.cpp 和 OpenClaw 实跑通过，但全部测量基于生成测试集与真实法规文档，尚无真实用户流量；未通过项记录于 docs/RECORD.md。
推荐理由：项目用可编辑的 markdown 笔记库存放事实、LoRA 只学导航流程，并公开每项实验的成败记录，方法与数据都可查证。
L-Forster 发布开源项目 OpenJet，一个自托管的本地 AI 编码智能体，可连接 Ollama、LM Studio、llama.cpp 或自动按硬件配置 GGUF 模型，支持文件编辑、审批式 shell 命令、MCP 工具、持久会话和 Python SDK 嵌入。RTX 3090 上 Qwen3.8-27B Q4_K_M 经 MTP 达 70 tok/s，配合 megakernel 引擎推理模式约 1.5 倍解码提速；Slipstream 模式用云端模型规划、本地模型执行，目标编排器 token 占比 20%。核心采用 AGPL-3.0 许可。
推荐理由：本地编码智能体把模型运行时、agent 循环和硬件配置整合成一键部署，还给出 RTX 3090 上的实测 tok/s 数据可对照。
作者发布 nuclis，一个用 Zig 编写、Metal 后端的 Apple Silicon 本地推理引擎，附小型编码 Agent（仓库 https://github.com/tildaslashalef/nuclis）。每层实现先对照固定版本的 llama.cpp 校验，再优化；在 M4 Pro 实测 Qwen3.8-27B 解码比参考快 1.04–1.15 倍，投机解码默认开启最高提速 1.85 倍，另含 Laya 决策模型、clef-flash 与 EmbeddingGemma 2 支持。项目处于 0.x 实验阶段，文档中的数字均为实测值，代码大量借助 AI 编写但过程在 AGENTS.md 中可查。
推荐理由：作者用固定的 llama.cpp 版本逐层校验并给出同机实测数据，读者能直接看到这个 Zig 推理引擎在各模型上与参考实现的差距。
LlamaStash 发布，是一个零开销、终端原版的本地大语言模型管理器，一个 Rust 二进制同时提供 TUI、CLI、守护进程和 OpenAI 兼容代理，默认后端为 llama.cpp，并实验性支持 Lemonade NPU、vLLM 和 SGLang。基准测试显示其封装开销相对 raw llama-server 在各平台归一化模式下差异 ≤1%，代理跳转仅增加 TTFT p50 +0.45 ms，并附有与 Ollama 0.24.0 和 LM Studio 2.18.0 的同硬件对比表。
推荐理由：项目给出与 raw llama-server、Ollama、LM Studio 的同硬件对比基准和代理开销数据，读者可据此评估这个本地模型管理工具是否值得替换现有方案。
NickMonrad 发布 Jandal AI，一个本地优先的 Android 助手，Play Store 发布推进中，预发布版本可从 GitHub Releases 获取。它采用 Brain-Memory-Action 架构：Gemma-4 E-2B/E-4B 通过 Google AI Edge LiteRT-LM 本地推理，记忆层用 Room 加 sqlite-vec 与 Arctic Embed M v1.5 做语义召回，Kotlin 原生技能执行闹钟、笔记、消息、日历等设备操作；语音支持多引擎 STT 与 Piper TTS，部分模型需 Hugging Face 账号接受条款后下载，源码为 Apache License 2.0。
推荐理由：作者给出了 Brain-Memory-Action 架构与各层具体选型，可作为在 Android 端本地组合小模型、记忆和设备操作的参照。
minyiyang 在 GitHub 发布 ollama-translator，一个完全基于本地 Ollama 模型的图书与字幕翻译流水线，支持 EPUB、Word、PDF、Markdown 等格式输入输出，无需云 API 或 LangGraph 等 agent 框架。流水线把译名漂移、标记丢失、数量改动等长文翻译失败拆成独立检查点阶段，涵盖术语表提取与审批、审计修复、断点续跑和浏览器仪表盘，en-zh 语言对经过调优，并支持法语、日语、韩语等多语言配置。
推荐理由：一个把长篇翻译拆成可检查点、可回滚阶段的本地流水线，设计思路对任何多步 LLM 任务都有借鉴价值。
/u/zyxciss 在 llama.cpp 中实现可选功能 --moe-direct-io，用 RTX 3060 12GB + 16GB DDR4 将 68GB 的 Qwen 3.8 Flash Next（125B MoE，512 专家）GSQ-RCO IQ2_XS 从原版 1.41–2.12 tok/s 提升到热缓存下 20–21 tok/s，部分运行达 24+ tok/s，输出与原版 bit-exact。方法靠预测下一 token 所需专家并预取，不剪枝专家；原版 mmap 模式每 token 有 1140–1565 次重大页错误、208–312 MB/token 的 SSD 读取，新方案页错误约 0。
推荐理由：作者给出同一硬件下 llama.cpp 原版与自研 --moe-direct-io 的逐项速度和页错误对比，且强调输出 bit-exact，方法与数据可直接对照复现。
krishankant 在 GitHub 发布 harnessy，一个分 8 周（外加 MCP 加餐周）逐步动手搭建的 Agent harness 学习项目，支持 Anthropic、OpenAI 和 Ollama 本地模型。每周一个课程加填空练习，覆盖模型接口、Agent 循环、工具、上下文与记忆、traces 与 evals、hooks 与子智能体、生产化（重试、流式、成本限制、沙箱、致命三重奏检查），最终在同一 harness 上构建三个智能体，并提供完整参考实现与离线测试。
推荐理由：这个仓库把 Agent harness 拆成 8 周的动手课程，每部分都有失败对照和参考实现，适合想搞懂 Agent 循环、工具、上下文与评测全貌的读者。
felladrin 开源了 MiniSearch，一个自托管、带 AI 助手的私有搜索引擎，整体打包为单个 Docker 容器，运行 docker run -p 7860:7860 ghcr.io/felladrin/minisearch 即可启动。搜索结果由内置 SearXNG 聚合并经本地 cross-encoder 模型重排；AI 可选 135M 到 4B 参数的模型在浏览器内通过 WebGPU 或 CPU 推理，也可接 OpenAI 兼容 API、Ollama、vLLM、llama.cpp server 或 AI Horde。
推荐理由：把搜索、本地重排和浏览器内推理装进一个 Docker 容器，读者可以照仓库命令直接部署一套无追踪的私有 AI 搜索。
Father-Agent 是一个开源智能体工厂，输入一行英文即可规划、编写并校验一个异步 Python 子智能体，按需求交付 CLI、Streamlit/FastAPI 应用、JSON API 或 aiogram Telegram bot，自带 Dockerfile、Hugging Face Space 与 Render 部署配置。
推荐理由：作者把生成代码始终不经执行、靠九道静态校验关卡的流程讲得具体，可借鉴到其他代码生成工具的安全设计上。
alexwkleung 发布 JetBrains/Mellum2.1-12B-A2.5B-Thinking 的 abliterated GGUF 版本，用 Heretic 消融 662 个 tensor，拒绝率在 enable_thinking 为 false 时从 43/44 降至 14/44，GSM8K 89/100 无明显回归。作者还发现 Heretic 1.4 在 Transformers 5 的融合 MoE 模块上会静默跳过专家层，此构建将融合专家拆回独立 Linear 后再消融，提供 Q4_K_M 到 Q8_0 共四档量化文件与 sha256 校验值。
推荐理由：卡片给出消融修改的 tensor 清单和拒绝率前后对照，还包括 Heretic 在 MoE 融合模块上静默失败的具体坑与修复方法。
LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本，该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏（QAD）checkpoint，训练用于恢复 Q4_0 量化损失的精度；各 GGUF 内置 general.sampling.* 元数据，llama.cpp 默认应用推荐采样参数（--temp 0.1 --top-k 50 --repeat-penalty 1.05）。
推荐理由：官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失，并给出 llama.cpp 的推荐采样参数，便于本地部署复现。
JaakkoLipp 发布 luna-middleware-decisions，一个由非推理 GPT Luna 模型驱动的决策 API，接收状态和有界问题（predicate/choice/score），返回带概率的类型化答案，同时支持 OpenAI Decisions 格式（POST /v1/decisions）和 TypeSafe 的 Jev 格式（POST /v1/systemone）。
推荐理由：原文给出与 TypeSafe Jev 的实测对比数据、成本延迟数字和已知局限，读者可以据此评估这个自建决策中间件是否值得采用。
Pie 项目在 GitHub 上架预览版软件，允许用户用 Python、JavaScript 或 Rust 编写运行在模型旁的 WebAssembly 程序 inferlet，由其驱动 forward pass 并独占 KV cache，从而按应用实现 agent 循环、工具调用、自定义采样器和缓存策略，无需修改引擎。示例涵盖 beam search、投机解码、KV-cache 共享与扩散等；pie serve 在同一端口兼容 OpenAI、Anthropic 和 Google 的客户端 API，支持 cuda、metal、vulkan、wgpu 四种后端，npm 包可在浏览器经 WebGPU 编译运行，Apache License 2.0 开源。
推荐理由：README完整给出了安装、示例inferlet和四种GPU后端的构建方式，读者可以据此评估这个把控制逻辑下沉到模型旁的推理引擎是否适合自己。
Ollama Herd 是一个本地推理路由器与负载均衡器，通过 mDNS 自动发现局域网内运行 Ollama 的设备，用打分机制按热状态、显存、队列深度等把请求路由到最优机器，仅需 pip install ollama-herd 后运行 herd 和 herd-node 两条命令。除 LLM 外还路由视觉（gemma3、llava）、图像生成（mflux 的 FLUX、DiffusionKit）、语音转文字（Qwen3-ASR）和嵌入向量，提供 OpenAI 兼容 API（端口 11435）、模型回退、46 项自动健康检查和实时仪表盘，支持 macOS、Linux、Windows，其中图像生成和 MLX 语音转文字仅限 Apple Silicon。
推荐理由：README讲清了部署步骤、评分路由维度和平台差异，想复用闲置设备搭本地集群的读者可以直接照做。
作者开源了 ai-comic-studio，把小说自动改编成漫画，核心思路是让 LLM 只产出受 Schema 约束的 Comic IR，由确定性引擎负责渲染。项目用 12 条业务规则校验加自修复循环解决一致性、可编辑性和可复现性问题，改一句对白只需约 3 秒重渲染该页而不用重出图；附面板编辑器、Docker 部署、269 个测试和源自《全职法师》2426 至 2445 章 168 页改编的实战经验。
推荐理由：原文详细给出 Comic IR 的四文件结构、12 条规则和自修复实测，读者可以直接评估这套小说改漫画方案的落地程度。