方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
mrwogu 开源了 factory-droid-openai，一个本地运行的网桥，把 Factory Droid 模型以 OpenAI Chat Completions 和 Responses API 格式暴露在 http://127.0.0.1:8787/v1，可在 VS Code、Cursor、Continue、Aider、Zed 等任何支持自定义 base_url 的工具中使用 GPT-5.4、Gemini 3.1 Pro 等模型。
推荐理由：原文给出多模型工具调用方言的完整解析表和 fail-closed 处理策略，对自建本地 API 网桥的人是可借鉴的工程参考。
santanu20 在 GitHub 发布 web-search，一条查询可分发到 DuckDuckGo、Brave、Google、Wikipedia 等 8+ 搜索后端，抓取并清洗整页内容，可选接本地 LLM 生成带引用的答案，每条引文都对照原页面校验，全程无需 API key。它既可作 CLI 输出 JSON，也可克隆进 opencode、Claude Code 等 Agent 的 skills 目录，通过 SKILL.md 提供模式目录与输出契约。实测（2026-10-07，qwen3.5:9b，24 核 CPU，9 次运行）显示 90%±14 的引用可溯源，每次约 20-30 个来源、每题约 6-7 分钟；证据窗口方式在 A/B 对比中优于头部截断。
推荐理由：作者给出了实测数据，90%±14 的引用可溯源到原页面，并对比了证据窗口与头部截断的 A/B 差异，便于评估是否可用。
zhongkaifu 发布 TensorSharp，一个面向本地 GGUF 模型的 .NET 10 推理引擎，支持 CLI、浏览器聊天和 Ollama/OpenAI 兼容 API，后端覆盖纯 C# CPU、CUDA、Metal 和 Vulkan。能力覆盖文本与推理、多模态输入、嵌入向量、Qwen-Image-2.1 图像生成与遮罩编辑、MiniMax-H3 带音频视频生成，以及含沙箱代码执行的 Agent Skills 和受限子智能体。
推荐理由：原文给出与 llama.cpp 同硬件同文件的逐项对比数据和多后端覆盖说明，读者可以据此评估这个 .NET 本地推理引擎是否适合自己上手。
作者发布了 qwen27-engine，一个专门为 Qwen3.8-27B 和两块 NVIDIA RTX 5060 Ti 16 GB（Windows、sm_120）从零编写的推理引擎，提供 OpenAI 兼容 API，支持流式输出、工具调用、推理、图像输入和投机解码。在同一台 PC 上，其解码比调优过的 llama.cpp 构建快 1.4-1.7 倍，读提示词快 1.7-2.4 倍，重放真实 Qwen Code 会话耗时约一半；q8_0 KV 缓存下输出分布与 llama.cpp 的平均 KL 散度为 0.0005-0.001。限制包括仅支持 Windows、固定双卡、单请求串行，模型文件来自 ISTA-DASLab 的 GGUF（12.1 GB，1.75-6.5 bit 混合量化），MIT 许可。
推荐理由：作者为单一模型和固定双卡硬件从零写了推理引擎，并附完整的性能对比、精度差异和限制说明，读者可以据此评估本地部署的取舍。
作者开源 steadybatch 工具，用于可靠地通过各厂商 Batch API 跑数百万条 LLM 请求，价格约为常规一半。它为每个请求分配稳定 ID 并检查是否全部返回，按 JSON Schema 校验响应，坏行单独重试而不重跑整批，进度写入 SQLite 以便崩溃后续跑，并按发送顺序返回结果。支持 OpenAI Batch API、Gemini batch mode、Anthropic Message Batches API 和自托管 vLLM，AWS Bedrock 在路线图中；仓库还附一个跨厂商批量 API 的开放基准 harness，比较成本、耗时、失败模式和可复现性。项目尚不在 PyPI，需从 GitHub 安装，Apache-2.0 许可。
推荐理由：原文讲清了批量 API 常见的漏行、坏 JSON、不可复现等问题及逐行重试与断点续跑的处理方法，可迁移到大规模结构化提取任务。
开源项目 qunqin24/Pulse 发布，这是一款免费的 macOS 用量监控工具，可在屏幕边缘以环形图显示 Claude Code、Codex、Cursor、GitHub Copilot、Grok、DeepSeek、Kimi Code 等 77 个 AI 编码服务的配额余量。工具基于 Swift 和 SwiftUI 构建，需 macOS 14 Sonoma 及以上，支持 Apple Silicon 与 Intel；无自有后端，直接使用用户已有的各服务登录凭据，数据本地处理，手动输入的密钥加密存储。
推荐理由：开源的 macOS 用量监控工具，覆盖 77 个 AI 编码服务的配额显示，数据全部本地处理，适合同时订阅多家编码工具的人。
HarnessRouter 发布 Community Edition，以 Apache 2.0 协议开源，实现 Unified Harness Protocol（UHP），把 Codex、Claude Code 等现有 harness 变成可通过一个 API 调用的可插拔 Agent 后端。它提供 OpenAI Responses 兼容 API，处理持久会话、流式进度、文件、取消和结构化错误；支持一条 Docker 命令自托管（约 4 GB 磁盘加自有 provider key），同一任务可对比 8 种 harness × 模型配置的成本与延迟，并可通过 metadata.harness_id 切换 harness。
推荐理由：原文给出完整的 Docker 自托管流程和 OpenAI Responses 兼容 API 示例，读者可以直接照着把 Codex、Claude Code 等接入自己的产品后端。
作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B，HumanEval 全部 164 题 pass@1 达 89.63%（147/164）。随后对自制的 MoE expansion 路由补丁做受控 A/B：在最后 15 层（25–39）每 token 激活 20 个专家而非原生 top-8，无需重训或改文件，pass@1 升至 90.85%（149/164），解码速度从 69 tok/s 降至 56 tok/s（约 -19%）。作者提示 +2 题在 164 题的统计噪声范围内，且用的是原始 HumanEval 而非 EvalPlus，不能与 EvalPlus 榜单直接对比。
推荐理由：作者给出了同机同量化下的受控 A/B 数据和解码速度代价，读者可以据此自行判断该路由补丁是否值得用。
ahmedvictor507 在 GitHub 发布了 desert-fates，一个完全本地运行的选择式文字冒险引擎，无需账号、联网或 GPU，仅需 Python 3.10+。每个决策提供两个选项或自由输入，游戏会记录角色生死、信任等状态并约束 AI 输出以免破坏存档。可选接入 Ollama 本地模型（推荐 qwen3:4b，约 2.5 GB）生成散文叙事、角色对话和无限分支场景。故事以 JSON 文件编写，支持导入自有 EPUB 图书以匹配文风，项目 MIT 协议开源。
推荐理由：这是一个可直接克隆运行的本地文字冒险引擎，README 连自定义故事的 JSON 格式和 Ollama 接入都写清楚了，想自己改故事的人可以直接上手。
GitHub 项目 Scholaradar 开源发布，用本地大模型每晚以 8 种语言搜索奖学金并复核 MEXT、GKS、DAAD 等 25 个项目官方页面，仅对页面原文引用判定本国公民是否可申请。首日找到 342 个机会，其中 227 个明确对蒙古公民开放；51 页人工标注测试中严格标签准确率 80%，截止日期解析 100% 正确。需 16GB 显存 GPU 或托管模型，MIT 许可，改一个配置块即可适配其他国家。
推荐理由：原文给出了完整安装命令、资格判定方法和四模型基准数据，想自己搭一套本地 AI 信息聚合管道的读者可以照着复现。
A7mad8asim 开源了 ask-the-data，一个阿拉伯语/英语双语 text-to-SQL 诊所分析助手，默认通过 Ollama 本地运行 Qwen3-8B，数据不出本机。系统设计原则是 LLM 只写 SQL 和措辞答案、永不计算数字，SQL 经 sqlglot 规则沙箱、只读 DuckDB、小于 10 人分组遮蔽三层防护。在 2026 年 10 月 7 日的评测中，完整流水线在 100 道金题上答对 79%（英语 84%、阿拉伯语 74%、海湾方言 63.2%），拦截全部 20 次隐私与安全攻击；消融显示检索 few-shot 示例贡献最大（整体 +22 分），修复循环再加 6 分，全部本地运行成本为 $0。
推荐理由：原文用消融实验拆解了双语 glossary、few-shot 检索和修复循环各自的贡献，方法可迁移到其他 text-to-SQL 项目。
juliusloon 在 GitHub 开源了 Paperico 1.1.0，一款 macOS 原生论文精读应用，用 MinerU 恢复 PDF 结构，支持原文译文对照、逻辑链大纲、方法卡片和可定位到段落的证据问答。论文库存于本地沙盒，API Key 存于钥匙串，App 直连用户配置的服务，无中转服务器；默认关闭的 localhost 只读 MCP 服务可让外部客户端访问论文库。从最新 Release 下载 dmg 安装即可，App 未做 Developer ID 签名或公证。
推荐理由：原文给出了从 PDF 解析到双语精读和证据问答的完整做法，读者可以照此搭建自己的本地论文精读流程。
GitHub 用户 3310zx 发布了开源仓库 3310zx/talkroom，这是一个 Flutter 风格、类似 Chatbox 的第三方 LLM 对话软件，可导入任意 OpenAI 兼容 API，界面模仿微信。当前版本包含 M0 对话闭环（发送消息、SSE 流式回复、Markdown 渲染）、P1 主动消息（本地定时任务触发 LLM 主动生成并写入会话、本地通知、静默时段、启动补跑）与 P1 局域网同步（电脑端 SQLite 为权威源，支持 6 位配对码、设备白名单、WebSocket 实时推送加 30 秒轮询兜底、增量同步与冲突裁决）。API Key 经系统安全存储加密，仓库附中文 README、TODO 清单与常见报错处理说明。
推荐理由：开源的 Flutter 第三方 LLM 对话应用，把主动消息和局域网双端同步做进同一套本地架构，可自行部署参考。
enapt 发布开源应用 SwarmLLM，可在本地运行 Llama、Qwen、Mistral、Gemma 等开放模型，并让多台电脑通过互联网接力分担模型各层，共同运行单机装不下的大模型。应用免费、无账号无广告，支持 Windows、Linux 和 Apple 芯片 Mac，提供 OpenAI/Anthropic 兼容端点、MCP server 和 Private Mode；目前 swarm 只能跑中等规模模型，目标是约十台普通电脑协同运行 70B 以上的巨型模型，项目由人类开发者与 Claude Code 协作构建，采用 MIT 和 Apache 2.0 双许可。
推荐理由：原文详细说明了多机分层接力跑大模型的机制、隐私边界和带宽开销，读者可以据此评估是否加入这个社区算力网络。
Aravind0403 在 GitHub 开源 AetherControl，一个连接 GPU 硬件执行与后训练开发管线的 LLM 生产级控制平面，涵盖数据预检、DeepSeek-R1 风格 GRPO 微调、vLLM 推理服务与 Kubernetes 遥测四个阶段。实测部分为 RTX 4090 上 vLLM 0.7.2 跑 Qwen2.5-1.5B-Instruct，达到 1,141.41 tokens/s、TTFT P50 22.1ms，成本 $0.08–$0.10 每 1M tokens；GRPO 训练批数学准确率从 42% 提到 70%（作者注明非 held-out 测试）。仓库提供 64 个 CPU 可跑的单元测试、指标溯源注册表和 HuggingFace 上的微调模型与数据集，MIT 协议。
推荐理由：仓库把每项指标都标注了实测、训练批或分析模型分类并附复现路径，还提供零 GPU 的 CPU 单测入口，便于读者自行验证。
hey345327-boop 在 GitHub 发布 futuresearch-gateway，一个非官方网关，将 FutureSearch 的提交任务、等待、读取结果流程转换成 OpenAI Chat Completions 和 MCP 接口，覆盖 143 个上游模型档位、35 个家族入口和 7 个研究/预测预设，可接入 Claude、GPT、Gemini、Grok、GLM 等家族。支持 Docker、二进制和源码三种部署方式，内置中文网页控制台，提供多账号管理、余额查看与异常冷却、租户额度与并发限制、全局或指定模型的前置指令，以及可控制读写和执行权限的本地文件 MCP 与 HTML 预览入口。
推荐理由：把 FutureSearch 研究能力封装成 OpenAI 兼容接口和 MCP，部署、账号池和租户管理细节写得完整，适合想自建研究工作台的读者参考。
AlexBormotov 在 GitHub 发布开源工具 ai-doc-editor，让 LLM 按 指令或预设编辑 .docx/.doc/.pdf，只改文字、保留表格样式页眉图片等版式，Word 输出带 tracked changes，并自动做结构校验。工具把文档解析为带稳定 ID 的分段，模型只返回 {id, new_text} 形式的编辑；支持 Ollama、LM Studio 本地离线运行（如 qwen3.5:9b）及 OpenAI、Anthropic、Google API 和 claude/codex/agy 订阅 CLI。实测 8 项任务中 cli:claude haiku 8/8 通过，qwen3.5:9b 7/8 且推荐为本地默认，失败均为内容过度编辑而非格式问题。
推荐理由：原文给出了分段定位、写回与结构校验的完整做法和实测结果，读者可以照此思路让大模型改文档而不破坏排版。
cliproxy-rs 发布，它是 CLIProxyAPI 的 Rust 重写版，通过一个本地端点让 Codex CLI、Claude Code 等工具使用自有账号或 API key，并可在 OpenAI、Anthropic 和 Gemini API 之间转换。安装脚本或 Homebrew 均可部署，仪表盘地址 http://127.0.0.1:8317/management.html。与 Go 版兼容性测试共 1,687 项，835 项已覆盖、707 项部分覆盖、145 项缺失。基准测试中其流式吞吐为 793 streams/s，高于 Go 的 564，但非流式吞吐和 256 慢流下的 p99 延迟逊于 Go 版；支持多账户轮询路由和 429 自动切换凭据。
推荐理由：原文同时给出与 Go 版的兼容性差距、内存与吞吐基准数据和多账户配置方法，读者可以据此判断是否迁移。
o3willard-AI 在 GitHub 发布 PairAdmin，一个集成本地 shell、SSH 与远程 Windows（WinRM）的标签页终端，AI 助手可读取当前终端内容但无任何执行接口，命令建议仅以 Save/Copy/Execute 三按钮的文本呈现。发送给模型前先做进程内凭据脱敏，覆盖 AWS、GitHub、OpenAI 等 15 类内置模式并支持自定义 regex，API 密钥经 memguard 加密存储于 OS keychain，支持 OpenAI、Anthropic、Ollama、LM Studio、OpenRouter 可切换，全部提示与响应写入本地 JSONL 审计日志。
推荐理由：这款终端把 AI 建议限定为文本加三个按钮，凭据先脱敏再传输，安全设计的取舍写得具体可查。
ByteChef 发布其开源工作流平台，将 AI Agent 作为工作流中的一等步骤，支持模型选择、工具调用、流式输出，失败或等待人工审批的运行可从断点恢复。核心为 Apache 2.0，支持 12 个 LLM 提供商或本地 Ollama、250+ 连接器、12 种护栏、8 种聊天记忆后端和 14 个向量库，可通过一条 Docker 命令或 Docker Compose 自托管，EE 版提供 AI Copilot、嵌入式 iPaaS 等能力。
推荐理由：原文给出了从一条 Docker 命令到构建 AI Agent 工作流的完整部署路径，还对比了 n8n 与 LangGraph 的差异，方法可直接迁移。