方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
mlx-node 项目开源，可在 Node.js 中运行 MLX 模型，公开 API 为 TypeScript，原生层用 Rust 和 C++，运行时无需 Python。支持语言和多模态推理、HTTP 服务器、模型转换及 GRPO/SFT 训练，主要面向 Apple Silicon Metal，另有在 NVIDIA GB10 / DGX Spark 上的实验性 CUDA 后端（仅推理）。CLI 需 Node.js 22.19+，macOS 二进制要求 macOS 26+。
推荐理由：在 Node.js 里跑 MLX 模型的完整工具链，推理、训练、多模态一站式覆盖，对 Apple Silicon 本地部署有直接参考价值。
lablup 在 GitHub 发布本地推理引擎 mlxcel（当前 main 为 v0.7.0 加未发布工作），用 Rust 实现 CLI 与服务器，通过 MLX C++ 绑定直接加载 MLX SafeTensors 权重，请求路径无 Python、无需转换 checkpoint。支持文本、多模态、embedding、重排、语音推理，提供 continuous batching、prompt caching、投机解码、多模型路由和 OpenAI/Anthropic/Vertex 兼容接口，Apple Silicon 为主目标，Linux/CUDA 为次要目标，AMD ROCm 为实验性源码构建支持。
推荐理由：这个 Rust 原生推理引擎给出了与 mlx-lm 同机对照的逐模型数据，读者可按 MoE 与稠密模型分开评估是否值得迁移。
v1kr4m-ai 在 GitHub 发布 Cursed_Ai，一个离线优先的本地 AI 工作室，通过 node-llama-cpp 在本机运行 GGUF 模型，附带长期记忆、语音助手、PDF/DOCX 附件和经 ComfyUI 的本地图像与 LTX-Video 视频生成，另有 Kotlin Android 端。Web 端聊天、语音、记忆/RAG、模型下载和本地 ComfyUI 图像视频均经过端到端实测，云图像视频需 GEMINI_API_KEY 尚未完整运行；README 明确列出已知缺口，如能力标记为尽力猜测、扫描 PDF 不做 OCR、Android 端仅 CPU 推理且无历史记录。
推荐理由：README 详细列出各功能端到端测试状态和已知缺口，读者可以直接对照判断哪些本地能力实际可用。
johnhenry 发布了开源工具 objectify，可将 TypeScript 或 Python 类即时变为 CLI 工具，方法调用接受 JSON 参数，状态由 SQLite 持久化并自动版本化，支持 rewind、fork、diff 和过期清理。目标是让 LLM Agent 通过写一个类获得可调用的有状态工具，无需服务器或 SDK；文档还对比了它与 Cloudflare Durable Objects 及 MCP 的适用场景，TypeScript 类运行在 Deno 沙箱中，Python 类需显式传入 --allow-unsandboxed-python 才会执行。项目地址 https://github.com/johnhenry/objectify，MIT 许可。
推荐理由：文档详细对比了 objectify 与 MCP 和 Cloudflare Durable Objects 的差异，读者可以据此判断何时用它给 Agent 做状态层。
mn3-99 在 GitHub 发布 keyless-llm-stack，通过公开无密钥端点提供 OpenAI 兼容的大模型访问，零 API key、零注册，本地启动 freellmpool（:18090）和 g4f（:18091）两个网关，另有 Kilo 免认证网关和每日自动跑基准的 GitHub Actions 工作流。实测探测 329 条路由，64 条响应正常、49 条回答正确（7+8=15），最快为 llm7/codestral-latest 0.34s，质量速度较优的是 kilo/nvidia/nemotron-3-ultra-550b-a55b:free 约 1.2s；其余 g4f 路由失败原因是需要真实认证。
推荐理由：仓库实测了329条无密钥公开端点，给出存活数、正确率和延迟数据，读者可直接复用脚本自行验证可用性。
作者在 GitHub 发布 llm-wiki-plugin，一个跑在 Obsidian 上、用 Claude Code 操作的专案文件管理插件，提供 /wiki-init、/wiki-ingest、/wiki-query、/wiki-coach、/wiki-start 等指令，让用户用自然语言查找文件、记日程、管理进度，文件留在原地不搬不抄。系统附带 Python 脚本可独立执行，凭据档不收、不复制会变动的数值；选装的 pixel-office 插件用 function hooks 把多个 Claude Code session 视觉化为像素办公室，可看出谁在做什么、谁卡住，MIT 授权。
推荐理由：这是一个可直接安装的 Claude Code 插件，读者能从完整的指令和脚本清单了解如何把 AI 接入现有文件工作流。
NVIDIA 基于 Nemotron 3，通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600，高于 361.12 的金牌线和 498.27 的人类最高分；IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42，超过 29 分金牌线，全程仅用自然语言，无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。
推荐理由：原文完整给出了两个项目的训练数据规模、各阶段分数和可复用的四步特化配方，权重、数据和推理管线都已开放。
nkootstra 在 GitHub 发布 via，一个运行在本机 127.0.0.1:8317 的 OpenAI 兼容网关，把 ChatGPT 订阅（经 Codex 后端设备码登录）、OpenCode Go 密钥及 OpenRouter、Ollama 等提供方池化，发放自己的 API 密钥并服务 /v1/responses、/v1/chat/completions、/v1/models 和 Ollama 的 /v1/systemone。请求按 fill-first 顺序在账号间轮转，触发限流即切到下一个账号，支持故障回退模型、web UI 管理、Docker 镜像和 admin API。
推荐理由：原文详述了把 ChatGPT/Codex 订阅与多个 OpenAI 兼容上游池化到本地端点的部署与账号调度机制，也明确了条款风险。
作者发布开源终端编码智能体 Kolkrabbi（二进制名 kolk），定位为 Claude Code 与 Codex CLI 的替代品，可在同一会话中使用 Claude Pro/Max、ChatGPT Plus/Pro（Codex）和 GitHub Copilot 订阅（经各家自有 CLI、无需 API key）、OpenRouter 任意模型或 Ollama、vLLM 等本地模型，某一额度用尽时自动切换到下一订阅。提供 chat、code、agent 三种模式，/effort 分档跨供应商映射到不同模型层并设定工具轮数与 shell 超时；每次调用记录到本地 JSONL（~/.config/kolk/stats.l），无遥测、无后台联网。
推荐理由：作者详细说明了多订阅切换、effort 分档映射和本地用量统计的实现方式，读者可以直接安装复现这套终端编码智能体工作流。
Keys（drowzeys）在 GitHub 发布完整 4-bit 推理配方，将 abliterated 版 aday777/Qwen3.8-27B-ARA 通过 eugr vLLM 0.27 GB10 构建部署在单台 NVIDIA DGX Spark（121 GB UMA）上。核心是把 vLLM PR #49891 的 FA2 NVFP4-KV 路径回移植到 sm_121a，使 KV 池从约 2.1M token 翻倍到 4.34M，实现 1M 上下文约 4.14× 并发；A4Q 原生 fp4-QKᵀ 带来 48–96K 下 prefill +8–10%、TTFT −7–9%，decode 中性（同模型 A/B 实测）。
推荐理由：原文给出单卡 DGX Spark 跑通 1M 上下文的完整方法、逐项实测日志和未奏效的记录，可作为 GB10 量化推理栈的可复现参考。
开发者在 GitHub 开源 StoryMoss（草苔），一款基于 Tauri 的 AI 小说创作桌面应用，采用主创、管理、编辑审计三代理黑板协作，每章经 Gate v2 四级 grader 质量门（阈值 0.75）交付。v0.64.6 对中文称谓导致同一角色重复建档做两层归一合并；应用还包含章节语义摘要与全书纲要的分层记忆、角色/关系/世界观自动回流资产库、OpenAI / Anthropic / Ollama 多模型适配，安装包可从 https://storymoss.top 或 GitHub Releases 下载。
推荐理由：项目用质量门加资产回流解决长篇续写吃书问题，其分层记忆与分时介入设计对同类创作工具开发有参考价值。
bitbeen 在 GitHub 发布 llm-min-train 仓库，从随机初始化训练一个约 0.75B 的解码器 TinyLM（24 层、隐层 1536、24 头），不加载任何第三方权重，涵盖分词器、RMSNorm、RoPE、SwiGLU、第 2 层 4 专家 MoE、视觉补块和工具调用循环。训练按预训练、监督微调、DPO、LoRA、图像视频、工具调用等阶段推进，DPO 用冻结参考拷贝，GRPO 默认关闭，LoRA 秩 8、α=16，算术由程序解析 <工具> 调用完成而非网络内计算。语料为手写中文样本加 WikiText-2，仓库明确说明只够跑通机制，不与千亿参数模型比通用能力，也不附带语料和权重。
推荐理由：仓库把预训练、SFT、DPO、GRPO、LoRA、MoE 和工具调用全部摊在一个目录里，想通读训练链路实现细节的读者可以直接对照源码。
作者 M1r0er 在 GitHub 发布墨参（moshen），一个本地优先的个人写作 Agent，把模型放在编辑位置：核对设定与人物、追踪伏笔、诊断文风，不生成正文。项目以 Electron + Python FastAPI + Vue 3 构建，支持任意 OpenAI 兼容接口并按职能分配模型，数据存于本地工作区文件，写入带来源标注且不覆盖手工维护内容，当前仅提供 Windows 构建且安装包未签名。
推荐理由：原文完整说明了这款本地写作 Agent 的功能边界与数据隐私设计，读者可以了解不代笔型写作工具的实际做法。
作者发布了完全从零编写的语言模型 AARUL：15.74M 参数的 decoder-only transformer，采用 Llama 同款设计，在 RTX 3070 Ti 笔记本 GPU 上用 TinyStories 数据训练 2.6 小时、229M tokens，验证损失从 8.40 降到 1.274。浏览器端以 19 KB 无依赖 JavaScript 运行 int8 量化模型（约 40-50 tokens/s），可实时展示 48 个注意力头的权重和各 token 概率分布，并通过与 PyTorch 对照的测试验证实现一致性。仓库 MIT 许可，含完整复现脚本。
推荐理由：作者从零实现训练与浏览器推理并用 PyTorch 浮点精度做一致性测试，展示了可复现的小模型全流程做法。
manojanuragi 发布 Adaptive LLM Router（ALR）Phase-1 MVP，一个基于规则的路由器，把任务按确定性工具 → 本地 LLM（Ollama）→ 前沿 LLM（Claude）分层派发，置信度低于 0.70 时自动升级到前沿模型。Tier 2 支持 Claude CLI（按 Pro/Max 订阅计费，可用 CLAUDE_CODE_OAUTH_TOKEN 无头认证）或 Anthropic Messages API 两种传输。内置上下文防火墙、策略引擎、API 鉴权、限流、Postgres/Redis 多副本扩缩容和完整评测框架。
推荐理由：README 详细列出了已实现与未实现组件、成本基准和局限说明，读者可以借此了解分层路由方案的实际可复用程度。
tinyhumansai 在 GitHub 发布开源智能体框架 OpenHuman，采用 Rust 核心，同一核心提供桌面应用、浏览器 UI、终端客户端和 Rust 嵌入库，GPL-3.0 协议。单进程承载 500 个 Agent 时每增加一个仅约 1,770 KiB，比 500 个独立进程密度高约 25 倍；冷启动一轮 102 ms。LLM、嵌入、记忆、搜索引擎均可配置插拔，支持 Ollama、LM Studio、Claude Code 等 26 家 BYOK 提供商；内置小决策模型 Jev 将工具检索 top-1 准确率从 BM25 的 22.5% 提升到 62.0%，Composio 场景下两段式选择达 80.3%。项目上线一周内连续九天居 GitHub 趋势榜第一，目前处于 early beta。
推荐理由：README给出了进程内多Agent的实测内存与延迟数据，以及工具检索的准确率对比，读者可以据此评估这个Rust智能体框架的工程取舍。
dangranaz 发布 engine-mlx，一个用 Rust 基于 Apple MLX C API 编写的 Apple Silicon 本地 LLM 推理引擎，提供 OpenAI 兼容 HTTP API 与 SSE 流式输出。引擎在 temperature 0 下与 mlx_lm 逐 token 一致，已验证 Qwen3-0.6B 与 1.7B 的 4-bit/8-bit MLX 格式；MacBook Air M1 16GB 上 Qwen3-1.7B-MLX-4bit 生成速度约 34-41 t/s，绝对吞吐仍低于 mlx_lm，作者归因于 kernel 效率差距。项目附带可复现基准，采用 MIT 许可证，开发过程主要由 AI 编码智能体在可验证的验收标准下完成。
推荐理由：作者给出与 mlx_lm 逐 token 一致的验证方法和可复现基准，读者可在自己的 Mac 上核验性能而非只听宣传。
orrinwitt 在 GitHub 发布了 nanobot 的非官方社区 Docker 镜像，nanobot 本身由 HKUDS 团队开发，镜像与其无官方关联。镜像基于 nanobot v0.3.5，预装 Fabric 257+ 模式、gws（Gmail/Calendar/Drive）、GitHub CLI、PinchTab 无头浏览器自动化、Obsidian 与 Memory MCP 服务器、nextcloudcmd、lightrag-hku、Ollama 客户端等工具，通过 docker pull ghcr.io/orrinwitt/nanobot-docker 即可部署。
推荐理由：这是一个预集成 Fabric、MCP、浏览器自动化等常用工具的 nanobot 镜像，一次 docker pull 就能搭起完整 Agent 环境。
RakhilML 在 GitHub 发布 Scout，一个用本地 LLM（支持 LM Studio、Ollama、llama.cpp、vLLM）做私有网络研究、事实核查与定期监控的工具。每个事实必须附带从网页复制的引文并与页面逐字核对（数字不符即无效），支持 scout factcheck 事实核查、scout watch 定时监控变更告警、scout ask 记忆查询，并可通过 MCP 供 Claude Code 等 AI 助手调用；页面文本未变化时不调用模型以降低成本，搜索与页面下载之外的请求均不出本机。
推荐理由：原文详细给出了引文逐字核验与页面变更判定的机制说明，读者可以据此评估这个本地模型研究工具是否值得部署。
apache/skywalking-ai-sessionizer 将碎片化的 Agent 遥测装配成持久会话结构，以 Conversation 为所有权边界、ExecutionStream 为有序连续性边界，并区分父与子 Agent 的执行谱系。所有断言带 observed_replayable、proposed、unavailable 等限定，所有关联带 exact_unique、unresolved 等解决状态，不做静默推断。
推荐理由：原文给出了会话级聚合模型与适配器落地情况，做长时 AI Agent 可观测的读者可参考其证据分级与装配设计。