方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
lodsb 在 GitHub 开源 prax，一个管理论文、网页、手册和笔记的个人知识库，提供关键词加向量混合检索、带证据的图谱和带引用的问答，可从浏览器、shell、MCP 或 agent 调用，全部可在本地机器上用自己的模型运行。作者的真实实例含 13,000 份文档、1,486,000 个段落和 216,000 条关系，62 个真实查询上组合检索 MRR 0.90、hit@1 0.87；图谱保留被否决关系的历史，数据库拒绝删除或改写链接。项目用 Claude Code 构建数周，MIT 许可（浏览器扩展为 AGPL-3.0）。
推荐理由：一个可自托管的知识库工具，原文给出了实际运行规模和检索指标，并与其他图谱系统逐项对比，可作选型参考。
作者在 GitHub 开源 CtxGuard，一个部署在客户端与 OpenAI、Anthropic、Google Gemini、xAI Grok、DeepSeek 等服务商之间的透明反向代理网关，通过 Tree-sitter 语法树折叠、工具增量差分、日志 Head-Tail 截断和思考链透传等手段压缩 Agent 上下文并稳定云端 Prompt Cache。作者给出基准数据（如 2500+ Tokens 状态刷新压至 30 Tokens、日志 Token 降低 80%+）和生产实测：10,868 次请求累计节省约 11.5 亿 Tokens，综合压缩率 65.97%，网关中位延迟 0.14 ms，MIT 许可证开源。
推荐理由：原文给出各压缩模块的实现细节、基准数据和万次请求生产实测，读者可以评估这套上下文网关在自家 Agent 工作流中的压缩与缓存收益。
Base Compute 在 GitHub 开源了 superfluid，一个面向本地 LLM agent 的 serving 守护进程，在 llama.cpp、MLX 和 baseRT 之上提供统一调度器、可持久化的会话日志，以及 OpenAI、Anthropic、Ollama 兼容 API。在 Apple M5 Pro 上实测，八个 agent 预填 6k token 提示时聊天首 token 为 0.97 s，对比 llama-server 的 67 s、Ollama 的 64 s、mlx_lm.server 的 120 s；会话可在 worker 崩溃或服务器重启后恢复，八个场景全部通过，且经 superfluid 转发的吞吐与直连运行时几乎持平。
推荐理由：原文在八个故障与并发场景下给出四个方案的全部实测数字，读者可以据此判断这个本地 serving 层是否真的解决了调度与会话持久问题。
tomcounsell 在 GitHub 开源 Popoto，一套以原语形式编程的 LLM Agent 记忆库，记录随时间衰减、置信度随证据变化、支持关联和按 token 预算的上下文组装，pip install popoto 即装，运行在用户自己的 Redis 或 Valkey 上，共 3 个包约 9.0 MB，无需 API key。在 LongMemEval-S 全部 500 题上 Recall@1 0.892、MRR 0.931，检索 p50 3.0 ms（1,000 记录）；实测显示原始轮次注入的 judged 准确率 0.3636 高于 Claude 系抽取臂（Sonnet 0.1948 等），故 LLM 抽取默认关闭。底层是类 Django 语法的 Redis/Valkey ORM，MIT 协议。
推荐理由：这个开源库把 Agent 记忆做成可编程原语并附带基准数据，还实测了 LLM 抽取反而不如原始轮次注入，方法细节可迁移。
PrisacariuRobert 发布开源项目 Sidemates 0.42.0 公测版（原名 OpenBot），在 Mac 本地运行一组有名字、有分工的 AI 智能体，可操作 Mail、Calendar 和 Notes。重要操作默认需确认，支持 ChatGPT、Grok、Claude Code、Gemini key 或 Ollama 本地模型，MIT 开源，并提供与 OpenAI dots、Grok Bot、Siri AI 等产品的对比表。
推荐理由：开源本地方案与云代理、Siri AI 等现有产品逐项对比价格、能力与开源程度，读者可据此评估是否值得在自己 Mac 上部署。
CodeCora 团队在 GitHub 发布 Rust 单二进制本地记忆工具 Uteke v0.20.0，为 AI 智能体提供完全离线的持久记忆，数据不出本机。在 LongMemEval-S 基准上 recall_any@5 达 98.2%，warm 查询约 45ms，每次查询消耗 0 个 LLM token；通过 MCP server 接入 Claude Code、Cursor、Hermes，支持多智能体共享 Rooms、时间回溯和混合检索（HNSW + FTS5 + RRF），Apache 2.0 开源。
推荐理由：仓库自带完整基准数据和可复现脚本，读者可以据此核对这款本地记忆工具的检索质量与离线性是否属实。
TacitGraph 在 GitHub 开源，是一套端到端 RAG 管线，可将 Outlook PST 归档及 PDF、Word、Excel 等附件重建为可自然语言提问的知识图谱。系统提供向量、GraphRAG、PathRAG、混合融合和 ReAct 五种检索策略并附来源引用；支持本地模式（spaCy、Presidio、bge-m3、Ollama 运行 Llama 3.1 8B）与 GPT-4o 云模式，本地模式下邮件内容不出本机，检索质量用 RAGAS 评估。
推荐理由：项目给出从 PST 邮件归档到可对话知识图谱的完整流程，含五种检索策略与本地/云双模式对比，方法可直接迁移复用。
UClone-AI 在 GitHub 开源了本地多智能体工作区 UClone-X，支持在自有电脑上通过 Ollama 运行本地模型或接入 Gemini、Claude、OpenAI 密钥，无需账号。内置六个 clone，支持群聊、长期记忆、文件读写、本地图像生成（SDXL）和 MCP 服务器连接；仓库采用 Apache 2.0 许可，项目为 pre-1.0 活跃开发状态，A2A/ACP 服务器为部分实现。
推荐理由：原文完整给出了本地多智能体工作区的安装方式、内存与模型配置对照和数据留存位置，读者可据此评估自托管部署成本。
rikkrollins 发布开源项目 pandora-mmo，把 Telegram 群变成一个持续运行的 5E 风格文字 MMORPG，AI 叙述者负责描述、确定性 Python 骰子和结算决定结果。玩家和 AI 智能体都可直接用自然语言玩，官方群 t.me/PandoraMMO 的 @PandoraMMO_Bot 已上线；游戏世界定义在 campaigns/default/campaign. 单一数据文件中，也支持按 SETUP_GUIDE.md 自托管 Ollama 实例。
推荐理由：原文给出了从规则引擎到 AI 边界的完整设计，想搭 AI 驱动跑团的人能直接复用这套结构化做法。
kinorai 在 GitHub 开源 omnifeed，基于自托管 SearXNG 和 crawl4ai 为 AI Agent 提供搜索、URL、内容抓取的完整研究链路，支持 MCP 和 Open WebUI。其 Reddit 引擎用真实无头浏览器绕过 403 反爬，返回完整评论树并展开 /api/morechildren（最多 40 轮、约 4k 评论），输出为 TOON 格式，比 JSON 少约 40% token 且无需 Reddit API key；另有 Hacker News、GitHub、Bluesky、Discourse 专用引擎。
推荐理由：自托管搜索加抓取一站式方案，Reddit 全评论树用 TOON 输出省约 40% token，对搭 Agent 研究流水线的人有直接参考价值。
GEMISIS 发布了 Leviath，一个用于 AI 智能体的结构化运行时，把上下文窗口拆成命名区域，避免单次大文件读取挤掉系统提示词。内置 coder、deep-researcher 等 11 个开箱即用的多阶段智能体，数千个智能体可运行在单个 bevy_ecs 进程中，无需 Node、Python 或 Docker；支持 REST + WebSocket API、TUI 仪表盘、沙箱执行与 OpenTelemetry 可观测性，MIT 协议开源。
推荐理由：原文给出了结构化上下文区域、多阶段工作流和单进程 ECS 引擎的具体设计，读者可以据此评估这个 Agent 运行时与框架、编排器的差异。
tanvoid0 发布 llmwire 2.2，一个零运行时依赖的 TypeScript LLM 客户端，统一接入 OpenAI、Anthropic、Gemini、Ollama、LM Studio 及任意 OpenAI 兼容 API，支持流式输出、工具调用、结构化输出、Agent、MCP 客户端、会话、嵌入和定时任务。/core 加单个供应商打包仅 12.4 kB gzipped，Ollama 与 LM Studio 零配置可用，附 npx CLI 管理 Ollama 模型与 API key，README 提供 2026-10-07 与 Vercel AI SDK、LangChain.js 等同类库的对比。
推荐理由：原文给出性能数字和与 Vercel AI SDK 等同类库的逐项对比，读者可以评估这个零依赖 LLM 客户端是否适合自己的多供应商场景。
作者开源了在 RTX 3060 12GB 与 RTX 3090 24GB 两套本地平台上、用 llama.cpp、ik-llama.cpp、moe-cache 分支、vLLM 0.29.0 容器栈和 Strata 引擎跑本地模型的基准报告，含量化档位、上下文长度、prefill/decode 速度表，以及一个基于 Shoko-WebUI 重写任务的 agentic 编码基准，附完整测量方法与逐引擎参数说明。
推荐理由：作者在两套消费级 GPU 配置上实测多个 llama.cpp 分支与引擎的本地推理速度，方法、参数和完整数据公开，结果可直接对比参考。
作者发布了 local-llm-gateway 仓库，用 Docker 把本机已下载的 qwen2.5:7b-instruct-q4_K_M 和 qwen2.5-coder:14b 两个 Ollama 模型暴露为 OpenAI 兼容 API（http://localhost:11434/v1）和聊天 UI，聊天历史存于 Postgres。两个模型合计约需 21GB VRAM，16GB 显卡只能一次加载一个，切换需约 60-90 秒；默认开启 OLLAMA_FLASH_ATTENTION=1 和 OLLAMA_KEEP_ALIVE=-1 以避免停顿 5 分钟后的重复加载。
推荐理由：作者把本机已有的 Ollama 模型封装成 Docker 化本地 API 和聊天界面，并写清了模型切换和慢响应的真实原因。
mirthfulLee 发布 mini-rsglang，一个用 Rust 和 CUDA 从零实现的推理引擎，受 mini-sglang 启发，支持 Qwen3 dense/MoE 与实验性 GPT-OSS 模型，提供单 GPU 和 NCCL 张量并行执行、离线生成及 OpenAI 风格 HTTP API。项目支持连续批处理、chunked prefill、radix 前缀共享和分页 GQA，BF16 权重与 KV，实测 Qwen3-30B-A3B 在 TP 8、gpt-oss-120b 在单卡和 TP 2 上运行。
推荐理由：受 mini-sglang 启发的纯 Rust 推理引擎，给出 Qwen3 与 GPT-OSS 的 TP 支持和诚实的验证状态，想读引擎实现细节可以看。
作者开源 lab1 仓库，在四张 RTX 4090 上完成十五个实验：95M/201M 从零预训练（FineWeb-Ede 困惑度 30.2/18.1）、GSM8K 上 GRPO 使 Qwen2.5-1.5B-Instruct pass@1 提升 0.21、Countdown pass@1 从 0.02 提至 0.98，以及四阶段编码 Agent 课程。报告给出每个实验的完整设置、表格与预测账本，bench_observation_price.py 可在一小时内测量任意 Hugging Face 模型移除可见测试后的性能损失（RL 模型损失 0.16 且全部落在修复环节）。
推荐理由：作者在四张 RTX 4090 上跑通十五个实验并开放全部脚本与预测账本，读者可逐条对照复现 RL 与 SFT 的真实增益。
2lab-ai 发布开源工具 llmux，本地代理监听 localhost:3456，按模型名路由请求，让一个 Claude Code 或 Codex CLI 会话调用 Claude、Codex（GPT）、Grok 和 OpenRouter 多个账号，配套 macOS 菜单栏应用 Islands 显示每个账号 5 小时和 7 天窗口的剩余用量。工具在账号组内按资格门槛加 headroom×urgency 评分切换账号，优先用即将过期的额度；通过 Claude Code 自定义 agent 的 model 字段可实现 Claude 写代码、GPT 和 Grok 分别评审。
推荐理由：README 给出了账号调度、模型路由规则和跨模型协作的具体配置方法，读者可以直接照着在一个 Claude Code 会话里接入多模型。
TokenFlux 发布开源大模型统一网关 TokenRouter，用一个 API Key 聚合 Anthropic、OpenAI、Gemini 等厂商模型。兼容 Anthropic Messages、OpenAI Responses/Chat 与 Gemini 协议并支持互相转换，上游出错自动切换，含访问控制、按用量计费、内容审核与管理后台；提供 Docker Compose 一键部署，采用 LGPL v3.0 许可证，地址 https://github.com/TokenFlux/TokenRouter。
推荐理由：原文完整列出可接入的上游厂商、协议转换和计费审核等能力，并给出 Docker Compose 部署命令，方便自建网关的人对照评估。
marcreichel 发布了 laya-php，一个面向 Laya 决策引擎的 PHP SDK，可在自有服务器上以 choice/score/yesNo 三类问题对 100+ 语言文本做分类，返回 enum、int、bool 类型化结果，无需按 token 付费的 LLM API。SDK 通过 PSR-18 客户端调用 laya-serve HTTP 服务，兼容 TypeSafe Jev 的 /v1/systemone 协议；要求 PHP 8.4+，提供校准置信度与 minConfidence 弃答门控、Laravel 13+ 自动发现、laya:try/laya:health 命令、Laya::fake() 单元测试、缓存与事件支持，实验性 predictMany() 支持最多 64 状态共享前向批次。
推荐理由：这是一个 PHP 侧可直接复用的自托管文本分类 SDK，给出从安装到 Laravel 集成与测试 fake 的完整用法。
作者在 GitHub 发布 TorchLLMTuner（Python 包名 llmtuner），一个面向 HuggingFace 模型的混合并行分布式训练框架，支持 FSDP2/HSDP、TP、PP（1F1B 与 Interleaved1F1B）、CP（kv_allgather 与 ulysses 双策略）和 EP（HF MoE 置换、AllToAll dispatcher），并提供 TP×FSDP、TP×EP×CP 等多种并行组合，不支持的组合由 parallel/matrix.py 统一 loud-raise。
推荐理由：作者完整给出了混合并行框架的五族并行实现、组合矩阵与已知限制，读者可据此评估是否用于分布式训练。