方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,564 条精选近 30 天 1,554 条共收录 5,726 条
3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版，目标模型采用 affine 2-bit/group-128 重建，搭配 Inco AI 的 BF16 DFlash2 草稿模型，完整下载 74.048 GB。在 M1 Max 64 GiB 实测中，代码与数学 warm 解码达 37.62 和 33.69 tokens/s，约为基线的 1.70× 和 1.56×，文本仅 1.048×；固定 50 题 GSM8K 子集全部答对且与原生参考一致，进程峰值内存 42.12 GiB。
推荐理由：作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值，并给出 32/48/64 GiB 的可行性判断，便于评估本地部署。
/u/nathannguyennng 解锁了 RTX 3080 20GB 的 reBAR 与 P2P，/u/No-Refrigerator-1672 在双卡张量并行下用 vllm 0.32.0 实测验证。8k 到 261900 token 长度的 prompt 预填充速度较原厂提升 71%-115%，其中 P2P 相对仅 gpu_unlock 另有最多约 70% 提升；开启 MTP 后 decode 速度基本在噪声范围内无明显变化。作者提示 3080 用户在长 prompt 场景（含 agentic coding）可关注该解锁，且需双卡均有完整 PCIe 连接才能获得同等收益。
推荐理由：作者实测了 reBAR 与 P2P 解锁在双 RTX 308 20GB 张量并行下的 TTFT 与 ITL 数据，可看清该解锁对长上下文预填充的实际收益边界。
meshapplied 发布开源工具 Goethe，可将带 NVIDIA GPU 的 Linux 机器变成自托管 API，兼容 OpenAI、Anthropic 和 LiteLLM 客户端，数据留在自有硬件上。模型基于 SGLang 运行，支持 continuous batching、prefix caching 和 CUDA graphs，并内置面向 Blackwell、Hopper、Ada 和 Ampere 的 NVFP4 内核，4-bit 模型显存占用约为全精度四分之一；支持按客户端发 key、限速与撤销，模型重启后自动恢复加载，仓库采用 Apache-2.0 许可，链接 https://github.com/meshapplied/goethe。
推荐理由：原文给出了从安装到共享 API 的完整命令流程，并说明基于 SGLang 加自研 NVFP4 内核的推理方案，便于自建 GPU 推理服务时参考。
saya-ch 在 GitHub 开源 keyless-llm，把 4 个免鉴权来源共 29 个免费模型聚合成一个本地网关，改一个 base_url 就能让 OpenAI / Anthropic / Responses 兼容客户端使用。网关提供 auto 伪模型做跨来源失败转移与评分调度，提供按来源隔离的冷却状态机，实测 8 次连续 auto 请求全部成功。来源清单维护跑在 GitHub Actions 上，agent 只负责搜索候选，是否免鉴权由无鉴权头实测脚本判定，429 记为 limited 收录、401/403 拒绝。
推荐理由：把免鉴权免费模型聚合成一个本地网关，还把来源清单维护拆成 agent 发现加脚本实测两层，方法可直接迁移。
understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型，无需 logits、隐藏状态或更小的同族模型，草稿一次猜测 4 个 token，由目标模型一步验证，输出不变。发布的草稿针对 Qwen3.5-4B 训练，实测每步接受 1.58 个 token，投影加速 1.43x；在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢（27 到 36 tok/s 对 69 tok/s），需支持 lookahead heads 的运行时才能兑现。
推荐理由：只靠目标模型的文本训练推测解码草稿模型，不用 logits 和隐藏状态，并给出接受的实测与局限说明。
uotavern 发布 anima3，一个驱动 anima-client 的轻量 System One 大脑：把 Observation 转成文本场景（可访问性树），用代码枚举当前合法动词的闭式菜单，由本地模型按选项字母的 log-probabilities 选择一个，从不生成文本，无需解析且不会答到菜单之外，低置信度时回退到规则自己的首个动词。默认后端为本地 Qwen3-4B（logprob 模式），实测在 M5 上每次决策约 96–150 ms 且 $0；文中给出离线与 ServUO 实机数据，包括 77 个测试、战斗/经济/多人村庄/决斗等场景、置信度门控实测（ECE 0.585）以及实验 3 中 Qwen 自主决策显著差于规则（p < 0.001）的结果。
推荐理由：作者先跑测试再定架构，用闭式动词菜单加 logprob 选择避免文本生成，还给出多场景实测延迟与置信度校准数据，方法可迁移。
Eric-Souza 在 GitHub 开源 gemini-rag-doc-processing，一个基于 Google Gemini、LangChain/LangGraph、Postgres + pgvector 的全栈 RAG 文档处理项目，支持文档上传、混合检索（向量 + 全文检索，RRF 融合、本地 cross-encoder 重排）、SSE 流式输出和 Langfuse 追踪。在 22 个案例的 golden set 上，混合检索加重排把 hit@1 从纯向量的 73% 提到 91%；7 案例 CI 子集上 RAGAS 评出 faithfulness 1.00、answer relevancy 0.90。
推荐理由：给出了完整可部署的 RAG 技术栈和实测检索指标，其中混合检索加 rerank 将 hit@1 从 73% 提升到 91%，也保留了 reranker 变差的分析。
/u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型，支持内联标签、语音方向控制和音色克隆，训练成本不到 $200。Turbo 的 RTF 为 0.14，对比 5B Fish S2 Pro 的 0.195，同时保持相同说话人相似度（ECAPA 0.699）。作者还发布了 Lure-TTS 推理引擎，基于 faster-qwen3-tts（CUDA）、mlx-audio（Mac）和 audio.cpp（CPU），在 4090 上首音频输出 0.17s（参考代码为 10.6s），整体快约 5 倍（RTF 0.53 vs 2.54），支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。
推荐理由：作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码，可复现的低成本 TTS 微调路线有参考价值。
ffroliva 发布开源工具 gflow-cli，提供 Python CLI 和 MCP server，通过 Playwright 有头浏览器自动化操作 Google Flow，从终端批量驱动 Veo（t2v、i2v、r2v、extend）和 Imagen（t2i）生成。支持 Character 可复用角色、--tool 创意提示词改写、多场景 movie 清单，输出可路由到 S3、MinIO 或 Google Cloud Storage；项目为 alpha 状态，与 Google 无官方关联，仅 Veo 视频生成消耗账户 Flow 额度，纯 HTTP 传输因 reCAPTCHA 和 401 限制尚不可行。
推荐理由：通过真实浏览器自动化把 Veo 和 Imagen 变成可脚本化的命令行工作流，还给出了账号风险与费用消耗的坦诚说明。
niuwoai 发布自托管 AI 编码智能体 WillDeep（willdeep-cli，Apache 2.0），支持 OpenAI 兼容与 Anthropic 线格式端点，模型可留在本地机房。核心特性包括每行改动精确到哪个 Agent 和工具调用的 Diff 归属、子 Agent 任务由 Runtime 执行退出码裁决、五道命令审批闸门加 OS 级围栏、常驻 Daemon 使任务在关终端后继续运行，提供终端 TUI、浏览器和手机三种界面。靶场数据显示 glm-5 在 16 个样本上 Verified Success 100%，但线上派工快照样本很少，累计 11 次子 Agent 运行中 Verified Success 仅 0%（0/2）。
推荐理由：开源的自托管编码 Agent，核心卖点是改动可逐行追责和小模型任务用退出码裁决，适合关注私有化部署的读者参考其审计与闸门设计。
guregodevo 发布 janis，一个用 Go 编写的开源权重模型本地推理模块，定位为 MLX 版 Ollama：Apple Silicon 上跑 MLX 后端，其他平台用纯 Go CPU 后端。janis serve 提供 OpenAI 兼容端点（http://127.0.0.1:8090/v1），支持流式 chat completions、tool calls、运行时切换已加载模型，权重从 huggingface.co/mlx-community 拉取，支持 Qwen3、Qwen3.5、Gemma 系列，另含 whisper、bge、reranker 和约束解码等组件。它也是终端编码 agent Memdoor 的底层模块。
推荐理由：作者用单个 Go 模块把 MLX 推理和 OpenAI 兼容服务封装到一起，说明了本地部署的工程取舍与用法。
/u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化，24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存，其余从 SSD 按需流式读取，支持 256K 上下文，解码平均 48.8 t/s（stock 为 28.8）。
推荐理由：作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案，给出解码速度、预填充和 LiveCodeBench 对照数据。
Swedish Embedded AB 开源 brain，用单个 Rust 程序在现有硬件上下载、运行、微调、量化模型，并通过 OpenAI 兼容 API 提供服务，无需 Python、PyTorch 或独立推理运行时。支持 Qwen3、GLM、YOLOv8、FLUX.2 Klein、Qwen3-TTS 等文本、视觉、语音和世界模型，内置 wgpu、vulkan、cuda、cpu 四个后端，可跑在 NVIDIA/AMD/Intel GPU、CPU、Intel NPU 和浏览器中；每个导入模型与参考实现逐步对比测试，训练用有限差分数值校验，后端间做一致性检查，许可证为 Apache-2.0。
推荐理由：一个 Rust 程序覆盖下载、推理、微调、量化和 OpenAI 兼容服务，不依赖 Python 或 PyTorch，并给出后端一致性等自检测试。
Warith Harchaoui 发布 best-engine-ai-helper，一个纯 Python 工具，可检测本机内存（Apple Silicon 统一内存、NVIDIA/AMD VRAM 或系统内存），从内置模型目录中选出得分最高且装得下的本地 LLM 或 VLM，并通过 Ollama 拉取。选型综合结构化输出能力、内存适配、任务基准和带宽估算的吞吐四要素，pull 与 validate 会用 Ralph Loop 文本缺陷检测和 Ralph Eyeball Loop 视觉缺陷检测两道质量门验证模型，通过后才写入环境文件；实测吞吐数据存入 measurements.yaml，在 Apple M2 Max 上将 gemma3:12b 的估算误差从 64-118% 降到 17-25%。
推荐理由：原文给出了选型四要素与实测校准数据，读者可以据此理解本地模型自动选型工具的取舍逻辑。
MoonLite-Br 发布 llmf（llmfree）0.5.1，一个仅依赖标准库的 Python 库和 CLI，可一行代码调用无需 API key 的 OpenAI 兼容公开端点，失败时自动在多提供商间回退。支持 fast/best/code/vision/reasoning 等模型别名、流式输出、OpenAI 形状接口、llmf serve 本地服务，以及 doctor 健康探测（约 24h 缓存）；0.5.0 新增 ch-at、rewind-ai 提供商和仅手动指定的 nottrack。该项目 MIT 许可，README 提醒端点非官方免费、可能随时失效，勿发送敏感数据，桌面端和 Termux 均可运行。
推荐理由：README 写清了多提供商回退机制、别名路由与 CLI 用法，读者可以直接pip装上试，也能了解免费端点不稳的风险提示。
juanqui 发布 Decidra，一个专为 26.1B 混合决策模型 vllm-sr/d3-turbo 打造的 CUDA 推理引擎，HTTP 服务与 CUDA 引擎在单个 Rust 进程内，运行路径无 Python、PyTorch 或 vLLM。状态编码一次后所有问题从缓存分叉，64 问基准比 vLLM-SR 快 2.4–5.2 倍，c8 下最高 5.2 倍吞吐；支持 RTX 4090、H100/H200、RTX PRO 6000，W4A8 视觉包需 24 GB 显存，MIT OR Apache-2.0 双许可，代码在 https://github.com/juanqui/decidra。
推荐理由：原文给出了与 vLLM-SR 同硬件同检查点的完整对比矩阵和校验方法，读者可以按自己的 GPU 档位查找对应延迟与吞吐数据。
GitHub 项目 phase 发布，可在本机直接测量本地 LLM 推理的每 token 能耗，分别报告 SoC 芯片功耗与 sys 整板 DC 输入，并扣除空闲基线，三平台后端均无需 sudo。首组数据在 Apple M5 Pro 24 GB 上测得：decode 每 token 能耗是 prefill 的 20 到 35 倍，仅计芯片封装会低估真实成本 2 倍以上。项目附 18 篇研究笔记，涵盖量化格式能耗、投机解码、批处理与长上下文等发现，Apache-2.0 许可，原始 JSON 在 results/ 目录。
推荐理由：工具把 prefill 与 decode 能耗分开实测，并给出芯片级与整板级两组数据，解释了为什么各家边缘模型能耗数字对不上。
RagLeap 开源了其自托管引擎 ragleap-core，以 46 个角色化 AI Employee 在 WhatsApp、Telegram、Discord 和语音电话上基于自有文档运行业务，MIT 协议、自带 API key、无厂商锁定。支持 off/semi/full 三档审批门控自主模式、无网络沙箱工具、Neo4j 知识图谱、混合检索、19 家 LLM 提供商或本地 Ollama，一条命令安装。作者同时明确列出未实测部分，如 Windows 安装器仅在一台机器上运行过、语音 Whisper/TTS 全链路尚未端到端实测。
推荐理由：原文逐项标注了已验证与未实测的功能边界，还给出审批门控和沙箱设计，适合想自托管业务 Agent 的人参考取舍。
/u/MaxDev0 将 sybil-solutions 的 GLM-5.3 低内存卸载方案移植到更轻量的 Qwen3.8-Flash-Next（125B），通过 NVMe SSD 直接卸载，在 16GB 显存加 8GB 系统内存的 RTX 4090 上实现约 20 tok/s 解码。8k 短上下文为 28–33 tok/s（散文）、19–22 tok/s（代码），prefill 约 1,080 tok/s；262k 满窗口下 20.0 tok/s 解码、约 1,627 tok/s prefill；RTX 3080 Laptop（16GB 显存、32GB 内存）100k 上下文约 18–21 tok/s，峰值显存 15.5GB。现有方案（如 Strata）需把 24k 专家全部驻留约 48–64GB 内存。
推荐理由：作者把 GLM 的高效 NVMe 卸载方案移植到 Qwen3.8-Flash-Next，给出多档显存和上下文下的实测速度数据，可复现。
一位从未写过代码的 Reddit 用户在 r/LocalLLaMA 记录了用 Claude Code 兼任顾问、系统管理员和导师，七周内搭起一台约 3,450 美元的 Strix Halo 迷你主机（Ryzen AI Max+ 395，128 GB 统一内存，2 TB NVMe）的全过程。最终 Qwen3.8-Flash-Next 180B-A6B 写入 46-53 tok/s、prompt 处理约 771 tok/s，Qwen3.6-35B-A3B 达 76.5 tok/s，推理栈完全离线运行，夜间由编码 Agent 和浏览器 QA Agent 无人值守开发替代一款 40 年老程序的原型。
推荐理由：零基础作者用 Claude Code 当系统管理员从零搭起本地推理机，给出完整硬件选型、内核坑和逐项优化前后数据，可迁移到类似自建场景。