方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
Graphos 是一个用 LSP 把代码、文档、论文、图片和音视频提取为上下文知识图的开源工具，支持任何有 LSP 服务器的语言，输出交互式 HTML、JGF 格式 graph. 和审计报告。相比 tree-sitter 的 25 个硬编码语法，LSP 提供符号、引用、调用层级和类型信息，跨文件引用原生支持；工具含查询、Leiden 社区检测、节点向量嵌入、MCP 服务器及 Obsidian、Neo4j 等多种导出格式，MIT 许可，可用 cabal 或 stack 安装。
推荐理由：作者用 LSP 替代 tree-sitter 提取代码结构来构建上下文图，并对比了两者在语言支持和语义信息上的差异，方法可迁移到自己的项目。
AdarGit008 在 GitHub 发布了 mcgyvr，一个命令行工具和 Agent 技能，用于把重排格式、排序 import、重命名符号、写函数或测试等限定编码任务交给可配置的 worker 阶梯。格式、import 排序、lint 修复和重命名先走确定性工具；模型任务按用户配置从最便宜的单位向上爬，默认最多 1 次升级，结果需通过确定性门槛才保留且默认不提交。支持仅绑定本地 llama.cpp 或 vLLM 服务器，API 模型可选，通过 install.sh 可同时安装到 Claude Code 和 pi 两个 harness，任务默认在一次性 Docker 容器中运行，需 Python 3.12+ 和 uv。
推荐理由：原文给出了完整的成本阶梯、确定性门槛与沙箱机制说明，读者可以直接照装上手，把小的编码改动交给更便宜的本地模型。
NobodyWho 发布了一个本地 LLM 推理引擎，可离线运行 GGUF 格式模型，无需 API key，提供 Kotlin、Swift、React Native、Flutter、Python 和 Godot 绑定。基于 llama.cpp 和 ONNX Runtime，支持 Vulkan/Metal GPU 加速、类型安全的工具调用、多模态输入、Kokoro 等语音合成、Whisper 语音识别和 Silero VAD；内存要求约为模型文件的 1.5 倍，推荐从 Qwen3 0.6B（约 330 MB）上手。项目还提供实现 OpenAI Chat Completions API 的实验性本地服务器，采用 EUPL-1.2 许可证，允许在专有项目中使用。
推荐理由：README 讲清了多平台绑定、内存要求与模型加载方式，想在各端本地跑 LLM 的开发者可以直接对照评估可行性。
作者在 GitHub 发布 forge agent 框架，核心 ReAct 循环约 235 行纯 Python，其余 31 个模块为可选层，仅依赖标准库、openai SDK 和 pyyaml。框架内置重试、模型回退、熔断器、写操作审批门、Docker 命令沙箱、多智能体辩论、SQLite+FTS5 知识库、跨会话记忆、语音级联管线（支持 barge-in）与人脸识别注入，可对接 DeepSeek、Qwen、vLLM、Ollama 等任意 OpenAI 兼容端点，附 373 个离线测试、中文 README，可通过 PyPI 以 pip install "handcraft-agent[server,device]" 安装。
推荐理由：以约235行可读的 ReAct 循环为核，把重试、熔断、审批门、沙箱等机制逐一摊开实现，读者可对照学习 agent 工程的完整做法。
该仓库完整记录了在两台 AMD Strix Halo 主机间用 USB4v2 链路做双卡张量并行（TP2）推理的搭建与运行经验，含自定义内核级流传输模块、gufo 侧 TP2 集成与运维脚本。实测 tbstream 传输 p50 延迟 22–23 µs 接近 RDMA 基线，Qwen3.8-Flash-Next Q4 双机 TP2 在约 62k 深度下 prefill 提升 34%，零拷贝无 NIC 路径；Q8 262144 上下文以 TP2 分片约 36 秒加载，单台 122 GB 主机装不下。流拆除时对端 mid-flight 导致的控制面失联（wedge）已定位并修复，自愈单元可在约 8 秒内自动恢复，最终 58% wedge 率压测中 7/7 自愈、零重启。
推荐理由：原文给出了完整的传输延迟、TP2 吞吐对比数据和复现指南，读者可以据此评估 USB4 双机张量并行方案的实际可行性。
alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Coder-Strata-GGUF，权重逐字节复制自 ISTA-DASLab 剪掉一半专家、以 3.5 bit 存储的 GSQ-RCO Coder 版本（下载 58.4 GB 对比 83.6 GB，ISTA 数据为原模型 91.3% 的 SWE-bench Verified 和 98.7% 的 LiveCodeBench v6）。作者的贡献是验证其此前发布的 480 KB 拒绝方向向量在剪枝模型上依然有效，并用 Niko1221 的 Strata 运行时以逐层投影方式去除拒绝。
推荐理由：作者实测了在剪枝版 Qwen3.8-Flash-Next 上运行时投影拒绝向量的实际效果，给出拒绝率和 KL 距离数据，方法可复用。
Lior Baruch 在 Reichman University 的硕士论文仓库中，比较前瞻奖励在 Preference Tree Optimization（PTO）与 GRPO 两种优化器下训练 Llama-3.2-1B 执行动机式访谈（MI）的效果。GRPO 在 K=5 前瞻视野下在全部八个评测量表上胜过 K=0（Wilcoxon 检验 p < .001），Q1+Q2 奖励从基线 3.01 提升到 4.52，且更多学到复杂反映而非空洞表扬，但对阻抗的说服式回应增至 39%；PTO 在 K=0 下更优且算力便宜得多（8.1/19.7 GPU 小时对 GRPO 的 27.9/51.2）。作者注明每配置仅一次训练、无人类评估等局限。
推荐理由：论文给出前瞻奖励在两种优化器下的对照数据和算力成本，读者可以据此权衡奖励视野与优化器的取舍。
GitHub 仓库 gav998/local-llm 发布了一套面向 Windows 11 x64 的便携式本地 LLM 与文档处理工具集，各模块独立成文件夹，无需管理员权限、系统 Python 或 Docker。包含 llama.cpp 启动器（支持 Split GGUF、4096 至 131072 token 上下文配置、双 GPU KV cache 均分与 Q8 缓存）、PaddleOCR 多配置文件 OCR 服务、Word/Excel 的 HTTP MCP 工具、Digitizer PDF 标注工具、portable VS Code 与 Open WebUI，各服务通过 127.0.0.1 的 OpenAI 兼容 API 互联。
推荐理由：原文详细写清了各 portable 模块的启动方式、端口配置和 VRAM 分配策略，读者可以照着在 Windows 本地复现整套离线 Agent 工作流。
GitHub 开源项目 Nova 发布，用一个共享 Python 运行时驱动终端 TUI、HTTP 服务器、Web 前端和桌面应用四端，行为保持一致。支持 Ollama 本地运行免 API key，兼容 OpenAI、Responses 和 Anthropic 三类 provider；内置 21 个工具，任意 MCP 服务器可即插即用，shell 命令经三级审批门控，并带两层上下文压缩与 SQLite 记忆持久化，项目约 15.6k 行 Python，采用 Apache License 2.0。
推荐理由：README 讲清了同一 Python 运行时如何驱动四端、MCP 接入和三层 shell 审批机制，方法可迁移到自建 Agent 项目。
AutreMachine 在 GitHub 发布 llm-router，一个 OpenAI 兼容的负载均衡路由器，可将分布在多台机器上的 LLM 和嵌入模型（llama.cpp、Ollama、vLLM、LM Studio 等暴露 /v1/chat/completions 等端点的后端）统一到单一端点调用。单进程双端口设计：8000 端口提供需 API key 的公开 API，8001 端口为仅限局域网的 Web 管理台。
推荐理由：开源的自托管 LLM 路由器，作者讲清了优先级队列、failover 和性能指标的实现细节，适合想用多台小机器拼 LLM 集群的读者参考。
开源项目 Guaardvark 发布，定位为自托管本地 AI 工作室，一条命令安装在单张 NVIDIA GPU 上，MIT 协议。核心能力包括最多 20 个编码 Agent 在隔离 git worktree 中并行、拥有真实 Ubuntu/XFCE 桌面的屏幕 Agent、混合 RAG 与 Autoresearch 自动调优、连续语音聊天，以及覆盖视频（Wan 2.2、CogVideoX、LTX、HunyuanVideo、MiniMax H3 共 11 个本地模型）、图像、整曲音乐和神经语音的媒体管线，视频生成需 16GB 显存。
推荐理由：README 详细列出了各子系统的模型、显存门槛和安全默认策略，想在一台 GPU 机器上跑全栈本地 AI 工作室可以参考它的取舍。
Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2，总参数 740M，将文本、图像、视频和音频统一映射到 768 维向量空间，采用 Apache 2.0 许可，设计面向手机和笔记本等消费级硬件。模型支持 100+ 语言，8K token 上下文，原生 MRL 截断到 128/256/512 维最多可省 6 倍向量存储，视觉与音频编码器可按需加载（纯文本 270M）。基准上 MTEB 多语言 61.36、代码任务较前代提升约 14%；模型卡还给出任务前缀、bfloat16 精度（禁用 float16）等部署最佳实践。
推荐理由：模型卡给出了各模态基准分数与 MRL 截断后的质量对照表，读者可据此评估在端侧 RAG 或检索场景中选哪个维度部署。
DroidBridge 在安卓手机内运行 MCP 服务器，让 AI 智能体无需 PC 和 ADB 即可观察屏幕、点击输入、管理文件、执行命令和创建定时自动化。它提供普通版与 root 版两种形态，ChatGPT 通过 OpenAI Secure MCP Tunnel 连接，本地智能体经 127.0.0.1:8765/mcp（root 版 8766）用 bearer token 连接；无自有服务器、无遥测，需要 Android 13 至 17 的 arm64-v8a 设备，采用 Apache License 2.0。
推荐理由：给出了在安卓本机跑 MCP 服务器让 AI 智能体操作手机的完整权限模型与两种连接方式，可按需复用部署。
作者在 RuMedTop3（俄语患者主诉预测 ICD-10 编码，105 类，测试集 n=822）上对比了 TF-IDF、DeepSeek 提示/RAG、Qwen3-8B QLoRA 与 Kev-0.8B 直选五种方法。TF-IDF+逻辑回归 Hit@1 49.03 / Hit@3 72.63，零样本 DeepSeek 仅约 33；Qwen3-8B 在 Apple M2 Pro 上用 MLX 训练一轮 QLoRA（6 小时 32 分钟），Hit@1 从基座 7.66 提升到 35.64（配对差 +27.98 点）但仍低于 TF-IDF；Kev-0.8B 零样本 Hit@1 12.41，迁移效果差，中位推理延迟 523 ms。
推荐理由：同一测试集上系统对比了线性基线、API 提示、RAG、QLoRA 和小型模型直选五种方案，并给出置信区间与配对差异，结论克制可复核。
面壁智能在 Hugging Face 开放 MiniCPM-V 4.7 35B-A3B，是 MiniCPM-V 系列首个 MoE 多模态模型。官方称借助 Lookahead Expert Scheduling、分层细粒度量化与 DSpark 投机采样，成为首个可无损流畅端侧运行的开源 MoE 模型，在 iPhone 17 Pro Max 上达到 13+ tokens/s；Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由：原文给出 LES 预取、分层量化和推测采样三条技术路径，解释了 MoE 在设备端跑顺的原理与部署选择。
NotASithLord 在 GitHub 开源了 peerd，一个完全运行在 Chrome 和 Firefox 内部的通用 Agent 运行时，基于 Workers、OPFS、WASM/WASI、WebRTC、WebAuthn 等浏览器原语，Agent 可读取和驱动用户标签页、已登录会话与 Web 应用，并提供脚本、WASI 工具、App 和 Linux WebVM 等本地计算。推理可选用托管模型、localhost 本地模型或初步的 WebGPU 本地模型，无需账号、托管浏览器或工具服务器，当前构建不发送产品遥测；主 Agent 将页面工作委派给按环境隔离的无密钥 actor，凭证与网络策略留在扩展内，项目附带威胁模型、红队测试套件及各测试通道徽章，Apache License 2.0 授权。
推荐理由：把 Agent 运行时直接架在浏览器沙箱原语上，并公开威胁模型与红队结果，读者可借此理解浏览器内本地 Agent 的安全设计思路。
rajveer43 在 GitHub 发布 VeloxQuant-MLX，可在 Apple Silicon 上把任意 mlx_lm 模型的 KV cache 压缩至最多 16 倍更小、质量接近无损，只需三行代码。项目内置 43 种来自已发表论文的压缩方法，统一 API 切换，热路径用手工 Metal 内核（quantize 最快 14.7 倍加速），在 12 个生产模型上验证，并提供 MIT 许可、Web 控制面板和多语言客户端 SDK。README 同时说明压缩比是位宽核算而非实测 RSS，多数方法在默认服务路径仍内部存储 fp16，仅 eviction/merging 类方法当前能真正降低常驻内存。
推荐理由：给出了43种KV cache压缩方法的三行代码API、Metal内核实测数据和RSS不降的诚实说明，适合在Apple Silicon本地跑模型的人参考。
GitHub 仓库 dryvist/mlx-benchmarks 提供了一套针对 MLX 量化和本地托管 LLM 在 Apple Silicon 上的可复现基准测试框架。它通过统一版本化的 schema. 结果契约、mlx-bench-publish 发布流水线和 Gradio 查看器，把 lm-eval 与 vllm benchmark_serving 等上游评测工具的原始输出转换后上传到 Hugging Face 数据集，文件名按内容寻址避免覆盖，并可读作 pandas DataFrame。
推荐理由：原文讲清了跨评测工具的统一结果契约与发布流水线，读者可以借此复用在 Apple Silicon 上量化模型的本地评测。
Ganesh1110 在 GitHub 上开源了 DynoLLM，一个面向本地 LLM 的基准测试、并发压测和硬件遥测平台，支持 Ollama、vLLM、LM Studio 和 llama.cpp。平台原生测量流式 TTFT、tokens/s、并发饱和极限、GPU VRAM 与功耗，提供 tok/s/W 能效分析和带安全熔断的 watchdog，前端为 React 仪表盘，后端 FastAPI，采用 MIT 许可证发布。
推荐理由：README 详细给出 TTFT、并发压测、功耗遥测等指标的计算方式和四种流量模式，读者可以据此判断是否值得为自己的本地 LLM 部署引入这个压测平台。
Joakimpalm-Zen 发布 xyntetik-runner 1.0.2，一个纯 C 编写的单文件本地推理引擎，支持 Linux、macOS 和 Windows，兼容 GGUF 与 OpenAI、Anthropic API，Apache 2.0 开源。工具可仅读模型文件前几 MB 判断是否装得下，在 72 次测试中 70 次命中真实 GPU/CPU 分层且从不乐观；--kv k8v4 将上下文缓存压到约 41%，空闲时 63 GB 模型仅占 35 MB 内存（llama-server 为 60.8 GB）；被截断的工具调用仍可解析，LoRA 可直接在量化文件上训练，Qwen3-4B 4-bit 工具调用准确率从 0.69 升至 1.00。
推荐理由：README 给出可复现的实测数据，读者可以拿这些数字与 llama.cpp 等现有推理引擎做具体对比。