方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
agentd 项目发布了一个 MCP 原生、云原生的 AI 智能体运行时，用一个小型静态 Rust 二进制运行 agentic 循环，只需一条指令和一个 LLM endpoint。所有工具来自远程 MCP 服务器（发布二进制默认不本地执行任何命令），支持 MCP resource 订阅触发、A2A 互操作和可崩溃恢复的持久 DAG 工作流；supervisor 与推理子进程严格分离，可随时 SIGKILL。实测 8.5 MiB 静态二进制（amd64 musl，FROM scratch）、冷启动小于 1 ms、空闲 5.5 MiB RSS，AGPL-3.0 开源，可作 Job/CronJob/Deployment 运行或以 agentd-core 库嵌入应用。
推荐理由：README 详细给出了架构、安全模型与实测开销数据，适合想用 MCP 与 A2A 组合智能体的工程师评估这套单二进制运行时。
WillBooster 在 GitHub 发布 tokzip，一个针对静态存储的提示词、LLM 输出与源码的无损压缩器，以 Rust 编译为约 1.15 MB 的 wasm 模块，支持 Node、Bun 和 Cloudflare Workers。编码器逐段自动检测语言，内置 21 种语言的字典与模型先验，在 3,514 篇文档的基准上总体压缩到输入的 20.8%，优于 brotli -11 的 26.3%、zstd -19 的 31.1% 和 gzip -9 的 31.9%；每帧带 CRC-32 校验并验证往返无损，解压不可信数据时可传 maxLength 限制展开。当前为 pre-release 的 Format v1，重训练会替换字典并使早期构建的帧失效。
推荐理由：README给出与brotli、zstd、gzip在同一语料上的分语言压缩率对比数据，读者可以直接评估它在提示词与代码存储场景的收益。
genai-io 在 GitHub 开源了终端 Agent 运行时 San，提供单个 12 MB 的原生 Go 二进制，无需 Node.js 或 Python，冷启动约 0.01s，到达模型的 harness 上下文约 2.3k tokens。支持接入 Anthropic、OpenAI、Google、DeepSeek、Ollama 等多家模型，可自定义系统提示词、persona、技能、子 Agent 与 MCP 服务器，并用 san inspector 回放运行记录；其基准测试显示在 claude-sonnet-4-6 上工具调用任务约 3.3s 完成，相比 Claude Code v2.1.112 快 7.9 倍、内存少 7.2 倍，采用 Apache License 2.0。
推荐理由：README 给出了与 Claude Code 同模型条件下的体积、启动、内存和 harness 上下文对比数据，可作为评估终端 Agent 客户端开销的参照。
Daniel Keinan 发布开源项目 AiLibi，一个可复现的社交推理模拟与观战系统，7 名船员与 2 名内鬼由 LLM 驱动，通过 Claude Code 和 Codex 实现，Daniel 未手写生产代码。系统用确定性引擎和观察防火墙保证回放字节级可重建，100/100 样本回放可精确还原。2026-10-09 的 9 人对局记录显示，带证据引用的驱逐准确率为 24/24=1.0000，无证据时仅 20/42=0.4762；带有效引用的投票 410/410 可溯源。样本包含用 Qwen/Qwen3.6-27B 跑的两个 50 局锦标赛，作者强调这展示的是对认证事实的处理而非通用社交推理。
推荐理由：这个项目用可复现回放和证据引用链衡量Agent推理，带证驱逐与无证驱逐的准确率对比给出了可信的具体数字。
GofMan5 在 GitHub 发布 luxury-switchboard，一个把所有 AI 提供商聚合到单个本地端点 http://127.0.0.1:8798/v1 的桌面网关工具，支持 OpenAI/Anthropic 兼容端点、密钥池、按模型路由、用量与成本统计和流式探测测试。工具提供一键 HTTPS 隧道共享模型访问，采用 fail-closed 设计，仅暴露发布的别名且需访问密钥；所有配置与历史存储在本地并加密，MIT 协议开源，提供 Windows、Linux、macOS 安装包和应用内自更新。
推荐理由：这是一个本地网关工具的完整功能与隐私设计说明，读者可以据此评估它能否统一管理多个 AI 提供商的密钥与路由。
/u/jesdga95 发布开源（MIT）推理引擎 Basalt，是 Strata 的深度调优分支，仅支持 Qwen3.8 Flash-Next 与 Blackwell 架构。作者在 5090+5060 Ti 上实测 665 tok/s structured、354 prose、64k prefill 7317 tok/s（400W），单 5090 为 585/316；支持最多 8 用户并发（8 流共 623 tok/s）、自研视觉编码器（比 llama.cpp 快最高 3-4 倍）、OpenAI/Anthropic 兼容 API，仅支持 Linux。
推荐理由：作者实测给出了单卡与双卡的吞吐数字和量化选项，可作为 Blackwell 本地推理引擎选型与调优的参考。
noonghunna 发布 benchlocal-cli，一个面向任意 OpenAI 兼容端点运行 LLM 行为评测包的 CLI，采用确定性 verifier 判分而非 LLM-as-judge。v0.9 加入 aider-polyglot-30（基于 Aider-AI/aider 的 benchmark.py，覆盖 cpp/go/java/js/python/rust 共30题），并内置 BenchLocal 的8个 MIT 许可评测包、可选推理套件（HumanEval+、LiveCodeBench v6、GSM-Symbolic、GPQA-Diamond）。
推荐理由：README详述了各评测包、确定性判分器和Docker沙箱机制，可了解如何在CI中给量化模型做可复现的质量门槛。
作者在 i9-13900HX + RTX 5060 Ti 16GB + RTX 4060 Laptop 8GB、32GB 内存的笔记本上，用 Strata 0.1.41 引擎跑 Qwen3.8-Flash-Next Q2_0（62 GB MoE）做了四轮基准测试，并开源了全部脚本与数据。核心结论包括单次测量速度可摆动 8 倍、prompt cache 会把 prompt_n 从 1259 污染到 5、KV cache 复用后多轮 TTFT 从 137.8 秒降到约 0.4 秒、双卡长 prompt prefill 快 8.4 倍、KV cache 不磨损 SSD、q4_0 长文档 perplexity 高 8~12%。
推荐理由：作者推翻自己两版错误方法论后才得出可信数据，给出单次噪声8倍、cache污染等教训，对想做本地基准测试的人有直接可迁移价值。
/u/zipzak 在 5090 + 192GB Windows 机器上，对 Qwen3.8-Flash-Next Uncensored（abliterated checkpoint）做了 Strata 0.1.41（Q4_K_S）与 Infernix 2026.10.09.2（NVFP4）的同日 A/B 评测。结果为 Infernix 512k 上下文解码 137.0 tok/s、冷预填充 3,497 tok/s，262k 下比 Strata 快约 23%；两者 PPL 统计持平，视觉功能均可用，作者将 Infernix 作为日常主力。
推荐理由：作者在同一硬件与同一推理契约下对两个推理引擎做同日 A/B 实测，给出了解码速度、预填充、质量和冷启动数据，方法可参考。
开源自托管 AI 工作区 ENZO 更新至 v1.4.0，支持 9 个提供商共 300+ 模型，密钥以 AES-256-GCM 封存在浏览器，无需账号与订阅。v1.4.0 新增聊天内文件转换（PDF、表格在浏览器本地解析）、Google Colab 一键部署与自愈 Docker 拉取；CI 每次推送运行含 44 条断言的黑盒渗透测试和零密钥启动证明，仓库以 Apache-2.0 许可开源。
推荐理由：原文给出了架构、密钥加密方式和CI安全测试的具体做法，对想自托管多模型工作流的读者有可参考的工程细节。
TensorFold 发布 1.0.4，用 Zig 二进制在 Apple Silicon 和 NVIDIA GPU 上直接读取 checkpoint 并通过 Metal 或 CUDA kernel 提供模型推理服务，无需安装 Python 或 MLX。API 默认监听 127.0.0.1:8080/v1，兼容 OpenAI chat completions、completions、Responses 和 Anthropic Messages；已通过认证的模型包括 Nemotron 3.5 Lightning 30B-A3B、Qwen3.8 Flash Next、GLM-5.3-Flash 等，27B 模型可配 DFlash2 drafter，但目前 prompt 处理速度低于 mlx_lm。
推荐理由：一个不依赖 Python 的本地模型推理引擎，支持 Metal 与 CUDA 和多种模型格式，还提供实验性的权重在线学习功能，适合关注本地部署的读者。
j-llm 在 Hugging Face 发布 orcarouter/Qwen3.8-27B-Uncensored 的 OptiQ 混合 4/8-bit MLX 量化版，约 19.2 GB，5.13 bits/weight。该量化基于对 uncensored 权重直接测量的逐层 KL 敏感度分配精度，保留 BF16 视觉塔与 MTP head sidecar，262,144 token 上下文；Capability Score 88.86，高于参考版 mlx-community/Qwen3.8-27B-OptiQ-4bit 的 87.98。
推荐理由：原文给出逐层 KL 敏感度测量和 6 项基准对比，读者可评估混合量化相对参考版的质量取舍。
GitHub 上的 llmctl 项目用一条命令管理本地 AI 机器：llama.cpp、halogen 和 gufo 后端跑语言模型并提供 OpenAI/Anthropic 兼容代理供 Claude Code 等客户端使用，语音与图像、视频、音乐和 3D 由 ComfyUI 处理，支持槽位、预设、显存核查与模型下载更新。README 给出大量实测：Qwen3.8 经 MTP 头投机解码从 7.22 提速到 15.48 t/s，70B 级模型配独立草稿模型提速约一倍，halogen-server 在 0.15.1 加 v2 检查点下省 14.6 GiB 内存且 prefill 快 3–7%。
推荐理由：原文给出大量实测数据，包括投机解码、显存占用与各后端速度对比，读者可据此评估这套单机 LLM 管理方案的取舍。
ahmedEid1在GitHub发布Ordnung，一个本地运行的德国信件私人秘书工具，由Claude读取信件内容，确定性规则引擎计算法定期限并给出带引用的推算依据，绝不自动付款或取消。基准测试显示纯模型算期限仅82.1%准确且7.1%危险偏晚，Ordnung管线在三个后续held-out测试集合计97.0%、偏晚率接近零；Ask问答44题全部正确、注入文本零泄露。需要Python 3.11+和付费计划的Claude Code 2.1.0+，支持手机配对、加密备份和作为MCP工具供Claude Desktop调用。
推荐理由：README给出了流水线与纯LLM、规则文本等多条件基准对比，展示了模型读取加确定性规则引擎的架构取舍，方法可迁移。
The-Swarm-Corporation 在 GitHub 发布 RouteHub，一个基于官方 OpenAI SDK 的 LLM 网关，支持 OpenAI、Anthropic、Gemini、Groq、DeepSeek、OpenRouter、Ollama、vLLM 等 20 多家提供商。官方数据显示在 macOS Python 3.12 环境下，对比 litellm 1.76.1，导入时间从 1,027 ms 降到 5.5 ms（约 190 倍），每次调用网关开销 0.004 ms 对 0.74 ms，安装依赖 20 个对 58 个；Claude 走原生 Messages API 并翻译 prompt caching、thinking、工具调用和结构化输出。
推荐理由：README 给出了与 litellm 逐项对照的导入时间、每调用开销和依赖数量数据，读者可以据此评估这个轻量 LLM 网关的实际收益。
jrullan 在 GitHub 发布 Apache-2.0 协议的开源项目 Ducklab（v0.7.0），一个自托管的 Go 引擎加 CLI 和桌面端，让多个 LLM 在固定角色下跑完整开发循环：brief → 需求 → spec → 计划 → 构建 → 审查 → 发布。核心设计是任何模型都不做判定，verdict 一律取自测试命令的 exit code，接受必须从干净 checkout 复现绿色基线，审查者看不到作者身份。项目以本地模型优先（llama.cpp、vLLM）为座席，仓库记录显示 454 次运行、约 2300 次座位分配由本地与 OpenRouter 托管模型混合完成，并提供 MCP server（io.github.jrullan/ducklab）供外部模型操作整个循环。
推荐理由：仓库自带 454 次真实运行记录和各模型座位实测通过率，读者可以据此了解多模型互相制衡、以测试门禁替代模型判断的可复用做法。
brosequist 在 GitHub 发布了一个 n8n 工作流，用大语言模型分拣积压的 Gmail：按批让 LLM 对旧邮件判定保留（打分类标签）或移入垃圾桶，通过自触发循环处理上万封积压邮件，之后每周做一次小规模清理。安全设计上，trash 只移入 Gmail 回收站保留 30 天可恢复，规则对模糊邮件倾向保留，仅处理超过 TRASH_AGE_DAYS（默认 30 天）的邮件才执行删除判定；支持任意 OpenAI 兼容端点（Ollama、llama.cpp、vLLM、LM Studio），通过 LLM Categorized / LLM Reviewed / Needs Review 三个控制标签实现幂等，MIT 协议开源。
推荐理由：原文详述了用 n8n 和本地 LLM 批量清理 Gmail 的完整方案，包括年龄门槛、幂等设计和升级路径，方法可直接迁移复用。
autotrust 在 Hugging Face 发布 zai-org/GLM-5.3-Flash 的非官方精简版 GLM5.3-Flash-E192-DGX-Spark，通过 NAS 每层保留 288 个路由专家中的 192 个、专家用 NVFP4 量化，每 token 仍激活 18B 参数，权重 124 GiB 为家族最小，单张 180 GB Blackwell GPU 可跑，双 DGX Spark 各承担约 62 GiB。
推荐理由：作者用同一套评测跑出 E192/E224/E256 三档在显存、KV 容量和各基准上的差异，便于按硬件选型。
GitHub 项目 itzdexy/GraftCode 发布 Graft，一款开源桌面 AI 编码 Agent 与聊天应用，支持 200+ 提供商、OpenAI 兼容端点或本地模型，无订阅无锁定。它可以编辑代码、运行检查、展示 diff、回滚更改，每回合自动设检查点；提供五种权限模式、Docker/Podman 沙箱（仅共享项目文件夹且 .git 和 .graft 只读）、多 Agent 协作图、/mission 长任务、浏览器自测、网站构建与图像生成，并一键集成 Blender、Unity、Roblox Studio、Figma、Ghidra 等及任意 MCP 服务器。
推荐理由：开源桌面 AI 编码 Agent，支持自选模型与本地部署，写明了沙箱、权限模式和安全边界，对评估同类工具的隔离设计有参考价值。
/u/Edenar 在 r/LocalLLaMA 分享了一套本地 Agent 部署：用 $500 购入的 CMP 170HX 经 cmpunlocker 解锁到 64GB 显存，通过 USB4 eGPU dock（pcie2x4）接上 Framework Desktop 128GB。Strix Halo 上跑 qwen 3.8 flash next（约 1600-1800 tok/s pp、60 tok/s tg）作主 Agent，CMP 170HX 并发跑 2 个 qwen 3.8 27b（w8a16 量化、各约 200k 上下文）作子 Agent，实际 4 小时会话聚合 1747 tok/s pp、100 tok/s tg。
推荐理由：作者给出完整硬件配置、量化方案和实测吞吐数据，可当作低功耗多卡本地 Agent 部署的参考样本。