方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
GitHub 项目 Ebony-Vinyl/dsh-our-free-model 发布 dsh 插件，安装后无需登录、注册或 API Key 即可免费使用 DeepSeek V4.1 Flash、Kimi K3 等前沿模型，2026-10-06 在 GitTrend JavaScript 与 AI Infrastructure 日榜均列第 4。免费车道直连 OpenCode 的 Zen 网关与 Kilo AI 公共网关，模型清单跟随上游刷新，思考强度以真实输出 token 预算（2048/8192/模型上限）下发而非提示词，并提供 OpenAI 兼容本地转发端口、用量看板、应用内升级与热重载；插件不改内核、零依赖，当前版本 1.5.0，许可证 MIT。
推荐理由：README 不只写功能，还逐项给出真实上游实测数据、失败案例与架构取舍原因，读者可据此评估该插件的可靠性与适用场景。
naso-lang 在 GitHub 开源 naso-llm，一个可离线运行的浏览器聊天机器人，使用 SmolLM2-135M-Instruct，其 int8 权重量化由 Naso 形式化验证编译器生成，无需服务器、API key 或运行时构建。首次加载下载 269 MB 检查点后由 service worker 缓存，断网可用；2 核 CPU 上解码约 6.5 tokens/s。项目提供 17 项验证检查，包括与 Rust tokenizers 的 27/27 分词一致、基于 NumPy 独立实现的 forward 误差 max|Δ| 1.03e-5、106M 权重上 int8 误差界 |W−W′|≤scale/2 零违例、KV cache 与全序列 bit-identical 等。
推荐理由：项目用形式化验证的编译器生成 int8 量化内核，并给出 17 项独立校验和逐项误差数据，可复用的验证思路比较少见。
gmlx 是一个面向 Apple Silicon 的本地推理平台，用 mlx-kquant 的 Metal 内核原样运行社区 K-quant 和 IQ-quant GGUF 文件，支持终端/浏览器聊天、OpenAI 与 Anthropic 兼容 API、语音、LoRA 微调和连接 pi 编码智能体。在 M5 Max 上同一文件 prefill 速度在所有基准模型和各上下文深度均快于 llama.cpp，双引擎开启 speculative decoding 后解码也更快，长上下文差距最大；MoE 模型超出内存时可从磁盘流式加载专家。需 macOS 26.2+，可经 brew install asher/gmlx/gmlx 安装，示例模型 Qwen3.8-27B UD-Q6_K 为 20.5 GB 下载。
推荐理由：原文给出了与 llama.cpp 的 prefill 和解码对比数据，并说明长上下文差距最大，读者可据此评估是否换用。
Alacrity-Education 发布 KINA，一个 MCP 服务器和 REST API，让 Claude 实时查询 LCSC、TME 和 Mouser 三家元器件分销商的现货并生成 BOM。它按五段流程解析请求、并行检索、用确定性排序器与 MiniLM cross-encoder 50/50 混合排序（NDCG@10 0.913），只返回有货且可立即发货的器件；支持 OAuth 2.1 和 OIDC 群组访问控制，以 Spring Boot 与 PostgreSQL 17 两个容器运行，镜像发布在 ghcr.io/alacrity-education/kina，AGPL v3 许可。
推荐理由：原文给出了完整的搜索流程、缓存与排序设计细节，包括实测延迟和 NDCG 数据，读者可以直接部署或迁移这套 MCP 接入做法。
开发者 IAmNo1Special 开源了 MvgeOS，一个 Python 编写的 AI 编码智能体平台，支持通过 OpenRouter 等 provider 使用已有 API key，无需账号且无遥测。README 给出 23 秒完成任务的完整命令序列，内置 bash、edit、grep 等 9 个 Spell，会话以 JSONL Tome 持久化，可通过 Rune 扩展并挂载 MCP 服务器。当前版本 v0.6.8 尚未发布到 PyPI，Rune 无进程隔离需审查依赖，默认免费模型在 8 次干净机器运行中有 4 次因上游过载报错。
推荐理由：README 给出四条命令的完整实测流程与已知缺陷清单，自托管编码智能体平台的实际能力边界比较清楚。
HarrisonCN 在 GitHub 开源了终端 AI 编码智能体 aicli，受 Gemini CLI 和 Claude Code 启发，通过 ReAct 循环自主读写文件、执行命令、正则搜索代码库并修复 bug，支持任何兼容 OpenAI API 的模型（含 Ollama 本地模型）。项目提供会话保存与恢复、上下文压缩、AICLI.md 项目指令、写操作审批和工作区沙箱等机制，尚未发布到 npm，需从源码安装，采用 Apache 2.0 许可证。
推荐理由：开源终端 AI 编码智能体，兼容任意 OpenAI 端点并内置审批、沙箱和上下文压缩等安全机制，适合想自托管替代 Claude Code 的开发者。
rajasatyajit 在 GitHub 发布终端编码 Agent ternly（Apache-2.0），支持付费 API、免费额度和本地服务器（Ollama、LM Studio、llama.cpp、vLLM 等）自动发现，用零 token 难度分类器把任务路由到能胜任的最便宜模型，验证失败两次后才升级到更强模型。
推荐理由：原文详细给出了按任务难度分级路由到最便宜可用模型的机制、成本控制手段和验证流程，读者可以据此评估这个多模型终端编码 Agent 的实际做法。
GitHub 用户 bkisonka 发布 llmhost，一个 Linux 服务器上的本地大模型托管工具，由 headless 守护进程 llmhostd 和命令行 lhctl 组成，底层驱动原版 llama.cpp，对外提供 http://127.0.0.1:7330/v1 的 OpenAI 兼容 API。支持路由器模式同时驻留多模型（默认 2 个，LRU 换出）、多 GPU 自动分配与张量切分、MoE 专家放 RAM、自动参数调优、MTP 投机解码免配置加速、闲置 15 分钟自动卸载、Prometheus 指标和 Bearer 密钥鉴权；从 HuggingFace 目录搜索下载模型并按显存自动选量化。
推荐理由：这个自托管工具给出完整部署方案与实测算速，想在自己服务器上跑兼容 OpenAI API 的本地大模型可以参考。
作者在一台 Mac Studio（M5 Ultra，256 GB 统一内存）上同时驻留四个开源模型，按大模型/小文本/小视觉/决策四槽位分工处理真实 Agent 工作。工作档为 Qwen3.8 Flash Next（99 GB）+ Gemma 4 26B 4-bit + Qwen 3.6 35B-A3B + Clef-Flash 9B，留 82 GB 给上下文；智能档为 DeepSeek V4 Flash 4-bit（常驻 128 GB）。实测吞吐：Qwen3.8 Flash Next 生成约 51-58 tok/s（投机解码草稿接受率 55-65%），DeepSeek V4 Flash 生成 27-31 tok/s。
推荐理由：作者实测了四模型共驻一台 Mac Studio 的内存预算与吞吐数据，还给出本地模型尚不能胜任规划角色的具体分工方案。
qhy991 在 GitHub 发布 metal-kernelwiki，一个面向 Apple Silicon、Metal、MLX/MLX-LM 和 llama.cpp 的 LLM 部署与 kernel 优化知识库，截至 2026-10-07 含 21 个主题页、77 个来源条目，其中 2 项为本地实验记录。仓库提供纯 Python 3.9+ 标准库的中英文检索命令，支持 --engine/--type/--tag/--symptom 过滤，并可通过 BW1100 KernelWiki 方式安装为独立技能；仓库同时声明本地记录未随公开仓库提供，外部读者不能独立复验原运行。
推荐理由：仓库把优化机制按适用条件与代价交换组织，并明确标注本地观测的验证边界，方便读者按部署问题检索对应方案。
Biokool 在 GitHub 开源了 video-gen，一个本地运行的可视化视频生产面板，面向 YouTube 频道 El Porqué 的制作流程。面板含主题收件箱、按项目推进的 10 阶段流水线（调研、脚本、校验、分镜、TTS、Manim 动画、缩略图、剪辑打包）和 3 道人工审批门，支持长视频与竖屏短视频三种项目类型。模型后端提供 Gemini、Groq、Cerebras、OpenRouter、Mistral、Cohere 及本地 Ollama 的免费档轮换（经 2026-09/10 验证），单个视频约消耗 5–10 次 API 调用，API 密钥保存在本地 SQLite。
推荐理由：原文给出了完整的视频生产流水线结构和七个免费后端的配额明细，读者可以照此搭建本地自动化视频制作面板。
mercurialsolo 发布 claudectl，一个约 6 MB 的二进制工具，用本地 LLM 大脑编排 Claude Code 智能体集群，无需云端 API、零配置、启动低于 50ms。内置大脑可自动批准或拒绝工具调用、终止失控会话并在会话间路由上下文，示例数据显示追踪 1200 次决策中自动处理 71%、准确率 96.2%、拦截 12 次危险操作。支持 Homebrew、Cargo、Nix 安装，并提供 agent bus、supervisor 任务生命周期、Hive Mind 跨机器知识共享和 Open Cluster 只读查询等能力。
推荐理由：作者用一份可复现的 impact 数据说明本地 LLM 大脑的实际效果，包括自动处理比例、准确率与被拦截的危险操作数量。
mii-llm 在 GitHub 开源了 Palingenesis，一款零配置的 LLM 微调工具，通过 pgs autopilot 可对 Qwen/Qwen3.5-4B 等模型自动完成训练。工具支持 Agentic masking、SeCO 超长序列、DPO 及其变体、on-policy 蒸馏和基于 Docker 容器的 Harbor 式 Agent RL；Qwen3.5-4B 微调（训练注意力通路，36% 权重）约需 16 GiB 显存，并附 RTX 4090 到 8×A100 的多档配置。
推荐理由：原文给出从数据准备到 RL 的完整微调流程和显存数字，读者可以按硬件配置直接复用或挑选其中的训练方法。
Lexsi Labs 在 GitHub 开源 AlignTune，一个模块化的大模型后训练工具包，统一接口调度 TRL、Unsloth 和 ES 三种训练后端。支持 13+ 种 SFT/RL 算法（SFT、DPO、PPO、GRPO、GSPO、RAFT、蒸馏等），提供 VRAM/成本估算 CLI、多阶段流水线编排、模型合并、RLVR 可验证奖励、印度语系分词扩展与评测，附带 46 个本地可运行 notebook。MIT 许可，Unsloth 后端组件涉及 AGPL-3.0；仓库地址 https://github.com/Lexsi-Labs/aligntune。
推荐理由：原文列出了每个算法在后端路由下的具体配置和许可结构，读者可以直接评估这套训练接口是否适配自己的硬件与合规需求。
GitHub 项目 operator33sh/sovereign-link 发布，是一个运行在用户自有硬件上的个人 AI 助手，通过 Telegram 交互，用 Ollama（llama3.1 与 nomic-embed-text）做本地推理和嵌入，所有记忆以 Markdown 文件存在本地 Obsidian vault 并用 git 版本管理，检索用 ChromaDB 语义搜索加 SQLite FTS5 时间线索引。系统能处理文字、语音、图片、PDF、URL 和 X/Twitter 链接，后台代理自动提取高价值洞见写入 vault，并内置可配置阈值的认知刹车（cognitive_brake.py），在检测到长时间高强度会话或沉重心理话题时触发 Stop Order 锁定分析工具直至用户确认休息。
推荐理由：原文完整给出了架构、部署步骤和认知刹车等模块说明，想自建本地记忆型 AI 助手的读者可以照着复现整套系统。
PBH Applied Systems 在 GitHub 发布 quant_eval 公开语料库的推导工具，该语料库对全权重与量化大语言模型在八类 Agent 相关任务上做逐案例行为评测，含配对统计检验和公开 ground truth。仓库只发布推导契约而非评测引擎，通过源文件 SHA-256、build_manifest. 输出摘要构成可核查的完整性链；包含 build_datasets.py 和 make_figures.py 两个脚本，共七个数据集（D0-D7）， deposited on Zenodo（DOI 10.5281/zenodo.22009419），镜像到 Hugging Face 和 Kaggle。
推荐理由：原文公开了从源包推导评测语料的完整校验链和撤回声明，读者可以据此核查量化评测数据是如何生成的。
Kiwano 是一个本地优先的桌面应用，在 coding agent 与 AI provider 之间运行 127.0.0.1:8317 的本地网关，API 密钥只存本机的 owner-only SQLite 数据库，请求不经 Kiwano 服务器。支持 single、failover、roundrobin、timewindow、quota 五种路由策略，失败请求自动重放到下一个候选；可一键接管 Claude Code、Codex、Gemini CLI 等 26 个内置 agent 并备份原配置；按 provider 和 agent 计量用量与成本，附带配额提醒、请求日志、cc-switch 导入和可选的 per-agent insights。
推荐理由：原文详细说明了一个本地网关如何统一管理多个 coding agent 的 provider 密钥、路由和成本计量，做法可参考。
halu-sys 在 GitHub 开源 llm-probes，为本地 llama.cpp/llama-swap 栈提供部署级评测探针，回答只有本机才能回答的问题，如 IQ3_S 量化下 262k 上下文是否真实、长上下文格式遵循、循环退化率、MTP 投机解码是否无损、跨上下文事实组合与多跳 Agent 委托链等。所有探针运行时程序化生成（可复现、无训练数据污染），由代码评分而非 LLM 评分。实测显示 Qwen3.8-Flash-Next IQ3_S 在 8k–256k 各探针多数通过，并总结了推理预算不足会静默吞掉答案、参数剥离使评测失效、探针自矛盾曾误导结论等六起生产事故复盘。
推荐理由：针对本地 llama.cpp/llama-swap 部署的实测探针，给出各探针的真实运行结果与踩坑复盘，方法可直接复用。
aagit 开源了 synthmerge，一个基于 Patchpal 研究的命令行工具，利用 AI 自动解决 cherry-pick、merge、rebase 等操作产生的 Git 冲突，要求 git config merge.conflictStyle diff3。工具支持并行查询多个 AI 端点（Patchpal-backend、llama.cpp/vLLM 自托管模型、OpenAI、Gemini、Claude），按共识对结果排序，AI 生成的代码仍需在编辑器中人工审查后才能提交。内置 benchmark 在 1129 个 C 语言冲突上评测，单个模型最高为 Gemini 3.8 Flash（准确率 72.19%），全部模型加全部变体和 beam 聚合后准确率达 84.85%。
推荐理由：仓库附带完整的跨模型冲突消解基准数据，读者可以直接对比各模型和多端点聚合方案的实际准确率。
Teyeray 在 GitHub 发布终端工具 llmtap，可对任意 OpenAI 兼容端点测量 TTFT、吞吐（tok/s）等指标，并用 6 项固定检查（regex 评分，0–100 分）探测中转站是否降级模型，还能通过 GET /models 扫描端点全部模型。支持 OpenAI、DeepSeek、Moonshot、Qwen、OpenRouter、Ollama、LM Studio、vLLM 等，数据不出本机，提供 TUI、中英双语界面与可选成本统计，MIT 协议开源，安装需 Python 3.10+。
推荐理由：终端工具 llmtap 集延迟、吞吐、降级探测与中转站扫描于一体，还给出与同类工具的功能对比，便于按需选型。