方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型（含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等），总算力成本约 103 美元。文中公开全部提示词（GitHub 仓库 yvrjsharma/ml-intern-prompts），并总结了三条关键写法：让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示；例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B，测试集准确率从基座 14.9% 提升到 52.8%，成本约 1.90 美元。
推荐理由：作者把 7 个提示词原样公开，预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。
Dankpaws 将 grimlee 的 abliterated 版 Swift 1.5 Qwen3.8-27B 转换为 EXL3 4.25bpw 量化格式，面向双 RTX 5060 Ti 16 GB 硬件，支持三路并发、每路 115,200 tokens 上下文，包含原生 MTP 和视觉权重。作者在 PCIe 拓扑受限的测试机上实测了单请求 66.1 tok/s、三短请求 41.9-43.3 tok/s 等吞吐数据，并明确说明未做额外微调或新的 abliteration，也未与 BF16 做成对评测；许可上同时适用 Swift Open License v1.0 和 Apache License 2.0。
推荐理由：原文给出了完整的量化参数、实测吞吐和内存数据，读者可以按自己的双卡配置复现这套 EXL3 本地部署。
GitHub 用户 zaaramedamin 开源了 Rayleigh，一个本地优先、隐私优先的个人 AI 知识助手，全部计算在本机运行，不向云端 API 发送文档或查询文本。项目基于 Python、FastAPI、Qdrant（本地）、sentence-transformers 和 Ollama（默认模型 qwen3.5:4b），已完成 MVP 路线图全部 12 步，支持文件摄取、分块溯源、语义与关键词混合搜索、带引用的回答、摘要对比抽取、语音输入（本地 Whisper）和受控 Agent 工具。内置 37 题评测集显示 24/26 可答题正确且引用有效、10/10 不可答题正确拒答，offline-check 命令阻断全部非本地网络运行全流程并报告被拦截的出站连接数。
推荐理由：项目给出完整的本地化实现细节和内置评测结果，还有阻断网络的离线验证方法，对想自建本地 RAG 助手的人有参考价值。
edurdias 发布 CapyCTL 0.1.2，一个在自有 GPU 上管理 vLLM、SGLang 和 TensorFold 推理引擎的部署工具，通过停放空闲模型释放显存、按请求唤醒切换，并在所有机器前提供统一的 OpenAI 兼容端点（/v1/chat/completions，支持流式与工具调用）。当前仅支持每模型单 GPU、Linux x86-64/ARM64 与 NVIDIA 卡，多 GPU 张量并行推迟到 0.1.2 之后；引擎仅监听 loopback，主机经 gRPC 双向 TLS 通信。项目以 Apache-2.0 许可，安装器为各架构单一自包含二进制并校验 SHA256SUMS。
推荐理由：原文详述了在有限显存下停放、唤醒和切换模型的机制与硬性限制，为自建 vLLM 和 SGLang 推理服务提供了可复用的部署思路。
alexeytz 发布了 llm-assay，一个针对 vLLM、SGLang 或 llama.cpp 等 OpenAI 兼容端点的基准工具，可测量不同上下文深度下的 prompt processing 与 decode 速度，支持置信区间、配对 A/B 显著性检验和 prefix-cache 陷阱检测。工具由 llama-benchy 分支重构而来，包含 compare 显著性比较、tune 端点自动检测和 probe 长上下文质量探针三个子命令；probe 通过生成合成事件日志并注入已知异常来检验模型长上下文理解，相关发现记录在 docs/fabrication-programme/fabrication-findings.md。
推荐理由：原文详细说明了 prefix cache 陷阱、统计方法和长上下文质量探针的设计思路，对自建推理基准有直接参考价值。
navikt 发布 mlx-workspace 仓库，用 MLX 在 Apple Silicon Mac 上本地运行 LLM，通过 mlx_lm.server 提供 OpenAI 兼容接口，供 opencode、aider 和 Copilot CLI 调用，用于回答 nav-pilot alpha 的一个问题：哪个本地模型足以承接原本消耗 Copilot 付费请求的常规编码操作。默认模型为 Qwen3.6-35B-A3B OptiQ 4bit（多文件机械性编辑 35/35 验证通过），Qwen3.8-27B 两个量化版本作为 opt-in 提供；仓库还包含基准脚本、VRAM wired limit 调节和上下文压缩配置，nav-pilot 通过 manifest/models. 拉取模型清单。
推荐理由：原文给出可复现的本地 MLX 基准与选型证据，读者可以照着判断哪个本地模型能接住常规编码操作。
作者修改 MLX 的 QMM 实现，把量化权重从 FP16 暂存改为 FP8，在 Apple Silicon M6 上启用 2 倍速 FP8 矩阵路径，Qwen3-8B 预填充提升约 40%，Qwen3.8-27B 提升约 50%；4-bit affine 权重暂存为 int8 的方案在 M5 及之后也可用。Decode 受带宽限制差异不大，建议保留默认 FP16 暂存。最坏情况困惑度增加低于 1%，代码在实验性 fork（https://github.com/precisit/mlx/tree/staged-8bit-qmm），FP8 改进需 M6 与 macOS 27 及 deployment-target-27 构建。作者披露博客来自其任职的 Precisit。
推荐理由：作者自己改 MLX 的量化矩阵路径并给出实测加速与困惑度数据，方法细节和代码都可复现。
开源项目 Urfael 发布，这是一个在用户自己机器上运行的个人 AI 助手，通过已登录的 Claude Code CLI 作为默认模型后端，提供本地语音（whisper.cpp 转写、espeak-ng 或 macOS say 朗读）、桌面控制台、TUI、可选 Web 仪表盘和 OpenAI 兼容 API。记忆基于 Obsidian vault 和本地 git 仓库，用 BM25 搜索与可选本地嵌入实现跨会话检索；urfael code 提供按项目上下文和工作树检查点，urfael rewind 可恢复。
推荐理由：原文详细列出了安全边界、已测与未测范围和成本结构，读者可据此评估这个本地个人 AI 助手是否适合自己部署。
Vex131 发布 ComfyUI-LLMClient，为 ComfyUI 提供可连接任意 OpenAI 兼容 API（llama.cpp、vLLM、OpenAI 等）的 LLM 节点，支持提示词生成与增强、图像打标与分析，输出可接入工作流中任意字符串接口。节点含 LLM Provider、LLM Chat、采样配置与 vRAM 卸载管理，无新增依赖，API key 明文存储在工作流 JSON 中需注意安全。
推荐理由：这套 ComfyUI 节点支持任意 OpenAI 兼容后端，流式输出、视觉图与显存卸载细节对搭建本地工作流有直接参考价值。
该 Ollama 分支为 NVIDIA 旧款与现役 GPU（Maxwell 到 Blackwell）提供运行时和 Docker 构建，已验证基础为 Ollama v0.40.0（llama.cpp b11351），GitHub Actions 已产出基于 v0.40.1 的镜像 cuda12-maxwell-0.40.1。
推荐理由：README 附上逐机型实测吞吐、调优参数与兼容性边界，便于读者评估旧显卡跑大模型的具体可行配置。
作者开源了 llm-api-client，一个通过 OpenAI 兼容 API 与大语言模型对话的客户端，提供控制台和流式 Web 界面，支持 OpenAI、DeepSeek、OpenRouter、Ollama 和 LM Studio。工具内置多组可复用实验：compare.py 对比有无格式与长度限制的输出，reasoning.py 用直答、分步、模型自写提示词和专家组四种方式解题并统计正确率，temperature.py 在 0、0.7、1.2 三档温度下多次采样测准确率与多样性，benchmark.py 按每秒 token 数和费用对比模型与 thinking 配置，实测三种配置成本相差 4.4 倍。
推荐理由：作者用实测数据对比上下文管理策略与温度设置的成本效果，方法可直接迁移到自己的对话应用。
btbtyler09 发布 mi100-llm-testing 仓库，记录 4×AMD Instinct MI100（gfx908）在 vLLM 上的部署方法与性能数据，并提供预构建镜像 btbtyler09/vllm-rocm-gfx908。MI100 缺少 FP8/FP4 硬件且不兼容 Composable Kernel，仓库通过 AITER 的 Triton 内核与自定义补丁跑通推理，最新 v0.28 镜像上 Qwen3.8-Flash-Next（180B MoE，GPTQ-4bit）带 MTP 投机解码单用户达 166.9 tok/s，GSM8K 489/500；仓库还给出 100–290W 功耗曲线、UA 与 TRITON_ATTN 后端对比及各模型逐档测试报告。
推荐理由：作者实测让官方不支持的 MI100 跑通 vLLM，给出镜像、参数和逐档性能功耗数据，方法可直接迁移。
Bacchetto 开源了 mtg-deck-advisor，一个从玩家自有卡牌构建合规 Magic: The Gathering Commander 卡组并带引用回答规则问题的 AI Agent，支持 CLI、HTTP API 和 MCP 三种方式。Agent（Claude Sonnet 5.5）只提案，合规校验、审批和导出由确定性代码完成；规则答案仅在当次运行检索到所引规则时才展示。评测显示检索 recall@10 从 0.63 提升到 0.72，卡组合规率 100%，每副卡组成本 $0.120，比 Haiku 4.5 更便宜且质量更高。
推荐理由：项目用实测数据支撑工程决策，检索调优前后、不同模型的成本与质量对比都可复核，是一份可借鉴的生产级 AI 工程范例。
Reddit 用户整理 llama.cpp Vulkan 后端的 76 款 GPU 基准数据（数据来自 Performance of llama.cpp with Vulkan #10879），结合 2026 年二手价格排出性价比 Top 20 与最不值 10 款。测试以 Llama 2 7B Q4_0 为基线，结果显示 Nvidia P102-100 约 $45 综合成本约 $0.1569/t/s 居首，AMD Instinct MI50 约 $120 可达 tg128 超过 100 t/s，宽位宽老卡和 HBM2 卡在解码性价比上明显优于窄位宽新卡；Tesla P40 同时出现在最佳与最差榜单中。
推荐理由：作者把 llama.cpp Vulkan 基准数据与 2026 二手价格结合算出性价比排名，还列出最不值榜单，可直接用于预算装机选卡。
mahmoudmohamedxx1-hue 在 GitHub 发布开源深度研究引擎 digdeep v1.0.0，免费且默认无需 API key。每份报告公开完整推理过程，对每条引用做原文比对审计并公布 integrity 百分比（示例：8 条引用审计后 88%），按证据、覆盖、诚实、清晰四维自我评分，写作前经红队攻击与 proposer-vs-skeptic 辩论。内置 13 个搜索引擎（6 个全网 keyless + 7 个垂直），默认模型链 GLM-5.3-Flash → GLM-4.5-Flash，无 key 时自动切换 LLM7 和 Pollinations。作者公布 quick preset 下早期运行平均约 52% 关键词覆盖率的诚实基线。
推荐理由：这个开源深度研究引擎把引用审计、自我评分等诚实机制全部公开可复现，其自我校验做法可迁移到其他研究工具。
nithya-prakash 在 GitHub 开源 HybridRAG，一个本地运行的多用户文档问答系统，采用 dense + BM25 混合检索、RRF 融合、cross-encoder 重排与拒绝式防幻觉，支持 Ollama 本地模型及 Groq、OpenAI、Gemini 托管模型。作者自建 116 题 8 文档评测集，混合检索 Recall@1 0.929，防幻觉 guard 准确率 93.1%、召回 76.5%，Groq gpt-oss-120b 生成 faithfulness 1.00，而本地 qwen2.5:3b 仅 0.43，表明检索非瓶颈、本地小模型是短板。作者亦如实指出评测集小且不独立、120B 模型自评偏乐观等局限。
推荐理由：作者用自建 116 题标注集给出检索、防幻觉与本地和托管生成模型的对照数据，可直接评估这套 RAG 方案的取舍。
作者开源了从零编写的 LLM 推理引擎 mini-infer-engine，基于 Qwen2.5-0.5B-Instruct 在纯 CPU 笔记本上完整实现四个阶段并实测。连续批处理把 8 请求工作负载吞吐从 11.55 tok/s 提到 35.61 tok/s（3.08x）；Paged KV-cache 因未写定制 fused kernel 且测试提示长度相近，吞吐降至 13.94 tok/s、内存节省 0%，作者如实记录这是工作负载相关的取舍；优先级调度器通过抢占让 HIGH 请求实现 0ms 等待、98ms 首 token 延迟，被抢占请求总耗时从 8.06s 增至 10.49s。
推荐理由：作者从零实现了连续批处理、Paged KV-cache 和优先级调度，并用同负载实测各阶段吞吐，可作推理系统学习参考。
javimosch 发布 machin-anvil（由 machin-colibri 更名），一个用小众语言 machin（MFL）从零编写的 LLM 推理引擎，零依赖编译为单一二进制文件。在 Intel i5-13400T 上以 int8 运行 Llama-3.2-1B-Instruct 达约 21 tok/s，比参考 C 实现 llama2.c 的 runq 快 4 倍且逐 token 一致，mmap 冷加载 43 ms。
推荐理由：用一种小众语言从零写成的零依赖推理引擎，给出与参考 C 实现逐 token 对比的实测数据，是理解 CPU 推理性能边界的一个具体样本。
llm-router 是一个开源路由工具，通过钩子在编程工具的模型读取提示词前拦截，用免费或本地模型先起草答案，无需 API 密钥即可在 Claude Pro/Max 订阅下运行，以减少五小时窗口内的配额消耗。草案默认仅作提示，Claude 仍接管回合，除非设置 LLM_ROUTER_ZERO_CLAUDE=1；正则启发式在 1,571 条实测提示词中高置信分类了 788 条。项目在 RouterArena 基准得 72.35 分，节省数据区分已验证与未验证并公开在 docs/MEASUREMENT.md。
推荐理由：这个路由工具把免费模型草案嵌入 Claude Code 的钩子流程，并公开了测量方法与负面结果，方法细节可直接参考复用。
GitHub 用户 maxh8086 开源了 TokenFrugal，一个 MCP 服务器，把样板代码、测试、文档、审查和研究等例行任务交给 Ollama 或任何 OpenAI 兼容 API 的免费本地 LLM，云端模型只负责架构和难点决策，每次任务只返回 150-300 token 的摘要。它将 282 个 agency-agents 人格映射到 11 个角色（builder、analyzer、reviewer、security 等），每个角色限制 4-6 个工具的 allowlist，失败返回 task_id 可用 resume_task 恢复，且无静默云端回退以避免意外花费。
推荐理由：原文给出了完整的部署步骤和角色分工设计，读者可以据此把例行编码任务交给本地小模型以节省云端 token。