方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,762 条
YuhuanStudio 在 GitHub 发布了面向 Apple Silicon 的本地 LLM/VLM 推理引擎 Yunshu，单进程通过 MLX 运行，兼容 OpenAI、Anthropic 和 Ollama API，采用 Apache 2.0 许可。核心特性包括无损投机解码（DFlash2 或 MTP 起草，batch-invariant kernels 保证贪心输出与不开投机时逐 token 一致）、支持 attention 加 GatedDeltaNet 混合模型的 RAM/SSD 多层前缀缓存，以及 Claude Code、Codex、opencode 等编码智能体的原生支持。
推荐理由：README 给出与 TensorFold 的实测对比表并直陈差距所在，读者可据此评估该引擎在 Apple Silicon 上的适用场景。
Maxlumiere 在 GitHub 发布 bot-relay-mcp，一个本地优先的 AI 编程智能体协调总线，为 Claude Code、Cursor、Cline、Codex 风格 CLI、脚本和 webhook 提供持久收件箱、任务队列与唤醒机制。所有组件通过 stdio MCP 或 HTTP+SSE 读写同一个 SQLite 文件 ~/.bot-relay/relay.db，无需云服务或常驻守护进程；主打功能是 LLM 无关的自动唤醒，配合 Tether VSCode 扩展和跨进程 outbox，不同模型的智能体收到消息即可自唤醒协作，无需手动轮询。
推荐理由：原文详细给出了跨模型多智能体协调的架构、MCP 工具清单和安全边界，读者可以据此评估这套本地总线是否适合自己的混合智能体工作流。
popcatwhu 在 GitHub 开源 chest-evidence-agent，一个结合病史和胸片生成候选诊断报告的本地 Agent，使用 Lingshu、LangGraph 和 FastAPI，报告保留支持依据、反对依据、资料来源和执行记录。默认本地运行 Lingshu-32B NF4，也支持 7B 模型和 OpenAI 兼容接口，测试硬件为 RTX 5090 32 GB。在 20 位独立公开测试患者上，选择题结论答对 15/20，报告完成 20/20，耗时中位数 58.25 秒，GPU 峰值保留显存 21.62 GiB；18 份报告被标记为仍需复核，存在结核误判等问题，项目未经临床验证，代码使用 MIT 许可。
推荐理由：项目给出在20例公开患者上的完整评测数据和已知误判问题，读者可以自行判断这个本地诊断Agent的可用边界。
adghrera 在 GitHub 发布 llmctl，一个用纯 Go 标准库编写的单二进制管理器，可把 llama.cpp、vLLM、Ollama、LM Studio 等多个推理后端统一挂在同一个 OpenAI 兼容 API 端点之后，面向高并发流量设计。单静态二进制约 10 MB，采用 goroutine-per-connection 和零缓冲 SSE 流式转发，内置认证、令牌桶限流与全局并发上限；go test 含 100 并发流式客户端压测及对真实 1.5B 模型的 8 路同时推理检查，README 提供安装与快速上手命令。
推荐理由：原文给出了架构选择理由、压测数据和完整命令清单，想自建多后端本地 LLM 网关的读者可直接照着部署。
josephniel 在 GitHub 开源了 majordomo，一个运行在 Telegram 的自托管 AI 助手框架，可接 Gemini、Claude、GPT、Groq、DeepSeek 或经 Ollama 的本地模型。框架不信任模型声称的动作，会检测未兑现的工具调用并给出纠正提示；所有写入操作需人工 Approve/Deny 确认，默认拒绝无人值守自动批准。检索采用全文加 pgvector 混合方案，附带评测工具，当前成绩为 recall@4 100%、MRR 0.975、false-injection 0%。项目以 MIT 许可发布，文档提示 prompt injection 是核心威胁模型，不提供可执行技能和市场。
推荐理由：作者围绕模型不可信这一前提设计了验证与审批机制，并给出可复现的召回评测数字，适合关注 Agent 可靠性工程的读者参考。
Quodeq 是一个 MIT 协议的开源本地代码审计工具，用 AI 从安全、可靠性、可维护性、性能、灵活性、可用性六个 ISO 25010 维度扫描代码库，每条发现映射 CWE 标识并给出违规行号和修复计划。支持 Ollama、llama.cpp 本地模型和 Claude Code、Codex CLI、Gemini CLI、GitHub Copilot CLI 等云端 Agent，无账号、无遥测，结果以 JSON 存在本地，并可导出 SARIF 2.1.0 上传 GitHub code scanning。
推荐理由：原文完整给出了安装、模型配置和评分机制的细节，读者可以据此在本地跑通这套开源代码审计工具。
Onemanmountain 在 GitHub 发布 pdf-to-epub v0.2.0，一条把扫描版 PDF 转成可重排 EPUB 的本地流水线，目标是能顺利经亚马逊服务器转 Kindle KFX。流程含视觉侦察、MinerU 解析、结构重建、三级校验与整页仲裁、pandoc 封装和自动质检；规则零硬编码，每本书的结构规律由运行时发现并用完即弃。v0.2.0 提供单引擎双模式（auto 批量智能 / guided 主动审阅）与 CLI/GUI 双接口，当前针对现代简体中文图书调优。两本实测书中 TOC 分别 40/40 和 66/66 命中；仓库不含任何书籍内容，采用 MIT 许可证。
推荐理由：作者本人发布的转换流水线，给出了实测数据和已知不足清单，读者可评估其在简体中文扫描书上的适用范围。
ch405canova-sudo 发布了 Lex-Bash-Agent v0.2.0，一个仅用 bash、jq、curl 构建的本地 llama-server 终端 Agent，无 Docker、无 Python 运行时、无编译依赖。
推荐理由：原文完整给出了依赖清单、llama-server 启动参数和 16 GB 显存的运行参考，可直接照着在本地搭建这套纯 Bash 终端 Agent。
Blackfrost 发布了 Qwen3.8-27B 的 abliterated 版本 GGUF 量化包，权重级降低拒绝行为，附完整 K-quant 阶梯（Q2_K 至 Q8_0）和视觉投影文件。450例拒绝基准（150 AdvBench、150 StrongREJECT、150 XSTest）经人工复核后残留11例真拒绝，占2.4%；W4A4 NVFP4 衍生版的 WikiText-2 词困惑度为9.3677，上游 BF16 为8.4764。每个主量化内嵌 MTP 投机头，可单文件在 llama.cpp 运行；可选 BF16 DFlash2 sidecar 在 RTX PRO 6000 上配 Q4_K_M 达到109.31 tok/s 中位解码速度，需固定实验性 llama.cpp 实现。
推荐理由：原文给出450例拒绝基准的分阶段残留数据和量化档位清单，读者可据此判断该去对齐版本的拒绝率与部署成本。
作者开源了 LLM-Inference-Engine 项目，在单张 A10G 上从零构建 Qwen3-8B 推理引擎，容量较朴素服务提升 17.2 倍（0.33 到 5.70 req/s），p95 首 token 延迟从 25.1 秒降到 336 毫秒。项目先写预测再实测，约三分之一预测出错；核心发现是每个优化没有固定加速比，同一量化标记在短请求上值 1.07 倍、长请求上值 2.35 倍，prefix cache 在唯一提示上无收益、对话中达 35 倍，并用 Nsight 定位与 vLLM 的 6 毫秒差距主要来自 2,079 次未融合的 kernel 启动。
推荐理由：作者把每个优化都给出预测、实测和误差解释，量化或缓存的收益取决于工作负载这一点有对照数据支撑，方法可直接迁移到自己的推理项目。
DigitalEnterpriseTransformation 在 GitHub 发布 llm-gateway，用统一入口对接 vLLM、SGLang、DeepSeek、OpenRouter、阿里百炼和 KIMI，对外只暴露一个 reasoning_effort 思考开关，并把三种上游思考流形态归一为 delta_reasoning / delta_content 双通道。库用法提供可插中间件的对象流，HTTP 用法兼容 OpenAI SDK，附带模型目录归一、结构化日志与等价性测试。
推荐理由：原文详细说明了把六家不同思考参数与思考流形态归一成统一双通道接口的做法，适合关心多供应商路由与流式中间件插入的读者参考。
futuregene 在 GitHub 开源了 FutureOS，一个用 Rust 编写的统一 Agent，通过单个 gRPC 后端驱动终端 TUI、桌面、移动端、CLI 和 IM 机器人，共享会话、记忆与技能。工具内置可配置的文件访问审批与 OS 沙箱（macOS Seatbelt、Linux Bubblewrap、Windows 受限令牌），支持 24 小时以上的长时运行控制平面、15+ 内置技能、JSONL 会话分叉克隆，并提供 BYOK 或 FutureOS 托管两种模型配置方式。
推荐理由：README 详细写明了沙箱分级、会话分叉和长时运行控制机制，适合评估这类开源 Agent 工具的工程取舍。
GitHub 项目 airoute 发布，是一款 Go 语言构建的自托管 LLM 与全模态智能网关，支持 OpenAI、Anthropic、Gemini 协议 Any-to-Any 双向转译。提供智能探测下游自动建渠道、多渠道优先级 failover 与三态熔断、首字前无感容灾，单二进制内嵌 React 19 管理台，支持 SQLite 与 PostgreSQL 部署，涵盖对话、生图、TTS、Whisper STT 与视频生成接口，基于 MIT 许可证开源。
推荐理由：原文详细给出了协议双向转译、三态熔断与零数据库热路径等实现细节，读者可以直接评估这套自托管 LLM 网关是否适合接入自己的多供应商渠道。
mausa-ai 在 GitHub 发布 neosian 1.6.0，一个面向 LLM Agent 的状态层，提供持久会话、Agent 自管记忆、技能、共享台账，存储可落在本地目录、Postgres 或自托管状态进程。通过 MCP 和 hooks 可接入 Claude Code、Codex、OpenCode、Cursor 等客户端，一次 setup 后各客户端共享同一存储并互相接续会话；记忆为带版本行的 markdown 文档，支持 revert_memory 回退，Python >= 3.12，Apache-2.0 许可，无账号即可用 Model.FAKE 验证安装。
推荐理由：原文详细说明了给已有 Agent 加持久记忆和技能的存储层设计，包括会话台账、记忆版本回退和多客户端衔接机制。
开发者发布 Python 量化库 Octuma（前身为 TinyQ），用 GPTQ+AWQ、每组 32 权重把模型量化到 INT4/INT8，可导出 GGUF（Q4_1）供 llama.cpp 和 Android 使用，Qwen2.5-3B 从 6.18 GB 压到 2.40 GB、质量损失 2.4%。作者给出同引擎对比：在 3B 上质量损失仅为 Q4_K_M 的约 1/2.6，但文件大 24%-33%，且 0.5B 上 Q4_K_M 更优；也注明 PyTorch 内不加速（4.2 tok/s 对 14.4）、未与 AutoGPTQ 对比、GGUF 导出仅支持 llama/qwen2/mistral/gemma 四种架构。
推荐理由：作者用同一引擎和语料把自家的 INT4 与 llama.cpp、bitsandbytes 实测对比，还写清了局限，适合想本地量化的读者参考。
Neeeophytee 发布 awesome-ai-workflows 仓库，收录真实可运行的 AI 工作流，覆盖编码智能体、RAG、本地推理、自动化和安全等类别。区别于普通清单的是 135 条配方由 CI 在每次变更时自动验证确定性步骤，失败即自动降级徽章；另设 author-tested 徽章标注作者实测但未接入 CI 的条目，AI 生成步骤单独标注、不声称机器验证。许可证为 CC0-1.0。
推荐理由：这个仓库把每条工作流的确定性部分接进 CI，坏一步就掉徽章，为筛选长期可用的 AI 配方提供了可复用的验证思路。
WeatherCore 在 GitHub 发布 mini OpenClaw，复刻并优化 OpenClaw 核心体验，以本地文件系统为唯一数据源，记忆存于 memory/MEMORY.md、会话存于 sessions/*.，摒弃数据库黑盒。技术栈为 FastAPI + LangChain 1.x create_agent + Next.js 14，技能遵循 Anthropic Agent Skills 范式，Agent 通过 read_file 读 SKILL.md 自学能力；System Prompt 由六文件动态拼接，支持 Monaco 在线编辑即时生效、对话压缩归档、tiktoken Token 统计，最低配置只需一个 DEEPSEEK_API_KEY。
推荐理由：原文完整给出了文件式记忆、技能即插件和六文件 System Prompt 的实现方式，读者可以直接复用这套透明 Agent 架构。
akirilyuk 在 GitHub 开源 node-webrtc-rust，一套用于构建实时语音 Agent 的原生 WebRTC 栈，支持电话机器人、浏览器语音助手和多租户 worker pod。Node 负责业务逻辑与 LLM 调用，Rust 处理音频时序、VAD、barge-in 和 TTS 播放，无需单独的 SFU 集群；SDK 经 npm 安装，预置 Deepgram、OpenAI、ElevenLabs 等厂商适配及免 API key 的本地 Sherpa STT/TTS，支持 48 kHz 16-bit PCM 20 ms 帧、会话中途切换 STT/TTS、Sherpa 语言识别和 OpenTelemetry 延迟指标。
推荐理由：为 Node.js 实时语音智能体提供一套自带的 WebRTC 与 Rust 媒体时序方案，读者可对比独立 SFU 架构评估进程内部署思路。
GitHub 仓库 apis-gratis-es 发布面向西语社区的免费 API 目录，覆盖免密钥 API、LLM 免费额度与本地模型，最近一次核查为 2026-09-19。23 个免密钥 API 均经真实调用验证并测量 CORS，CI 每周复验；LLM 部分记录 OpenRouter 22 个 :free 模型、Groq 免费档 30 RPM 等额度，并列出 Groq、OpenRouter、SambaNova 等已取消免费额度的变化，另收录 self-host 聚合器 FreeLLMAPI 与 Ollama 本地模型方案。
推荐理由：这份西班牙语免费 API 目录给出了逐项核查标记、验证方法和LLM免费额度现状，读者可以直接复用其核对思路来筛掉已失效的额度信息。
tokenhop 在 GitHub 发布，是自托管的 AI 路由网关，提供 OpenAI 兼容端点 /v1/*，聚合 40+ 上游提供商，支持格式转换、模型组合 fallback、多账号轮换、OAuth 凭证管理和用量追踪，附 Next.js 仪表盘。项目由 9Router 按 MIT 协议 fork 而来，旧版数据、密钥和工具配置可直接迁移；提供 Docker 快速启动，镜像发布到 GHCR，文档见 https://tokenhop.dev 。
推荐理由：自托管 AI 网关把 40 多家上游收敛成一个 OpenAI 兼容端点，配置细节写得具体，部署和故障排查都能直接照用。