方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,762 条
samyfodil 在 GitHub 发布 jitllm，一个面向大语言模型推理的引擎，所有内核在加载时按 CPU（AVX2、SSE、NEON）或 GPU（CUDA、Vulkan、Metal）JIT 生成。磁盘、RAM 和 VRAM 组成统一内存系统，权重、MoE 专家和 KV 状态按需分页，可在 CPU 与 GPU 之间移动且不丢对话历史。提供 OpenAI 和 Anthropic 兼容 API 的单二进制 jitllmd，支持 Linux、macOS、Windows 的 x86-64 和 arm64，也可作为 Go 库嵌入，附桌面和终端应用。
推荐理由：开源推理引擎 jitllm 的发布说明，读者可从中了解 JIT 内核生成、跨 CPU 与 GPU 的内存分页和单二进制部署思路。
GitHub 项目 dorrabbkhan/llm-proxy 是一个放在 LLM API 前面的代理，把请求/响应格式在不同 provider 之间互转，例如让 OpenAI 客户端调用 Gemini、Ollama 或 Anthropic，目前支持 OpenAI、Google Gemini、Ollama、Anthropic 四种。所有请求经由统一 canonical 格式中转，每新增一个 provider 只需一个 adapter 文件；项目用 Zod schema 做契约测试，自动跑通全部 16 种 provider 组合，共约 260 个测试。已知限制包括不支持流式响应转换、每实例只服务一个 source→target 对，技术栈为 Express 5、TypeScript、pino、zod 等。
推荐理由：原文用统一中间格式替代 N×N 转换函数，并用契约测试保证任意 provider 组合可用，方法可迁移到类似代理场景。
GitHub 项目 ANEDVD 用 Zig 实现了不依赖 CoreML 的 Apple Neural Engine 大语言模型推理，通过私有 AppleNeuralEngine.framework 编译自生成的 MIL 程序，并用 IOSurface 做零拷贝张量 I/O。它支持 GGUF 和 HuggingFace safetensors 模型，提供 OpenAI 与 Anthropic 兼容的 HTTP API 和内置 WebUI；在 A18 Pro 上 SmolLM2-135M Q8_0 实测 prefill 400 tok/s、decode 31.7 tok/s，Qwen2.5-0.5B decode 17.4 tok/s。
推荐理由：作者实测给出了 ANE 上的推理速度、带宽上限和数值误差数据，想绕过 CoreML 直接驱动 Apple Neural Engine 的读者可以从中借鉴可复现的做法。
GitHub 上的 gribanoveu/kibo-agent 是一个桌面编码 Agent，基于 Tauri v2、Rust 和 React，可读取和搜索代码、编辑文件、运行命令和测试，提供 Agent、Plan、Ask 三种模式，支持 OpenAI 兼容提供商（DeepSeek、OpenRouter、自有网关）和 Anthropic 模型。代码索引与内置 embedding 模型在本地离线运行，俄语提问可匹配英文代码；命令审批按行为分级，rm -rf、git push --force 等始终需要确认；文件只有在读取且 hash 未变后才能被编辑，写入前展示 diff；MCP 服务器和 Claude Code 格式的 skills、hooks 可直接粘贴配置。许可为 GPL-3.0-only，文档为俄语。
推荐理由：仓库完整说明了三种工作模式、按命令风险的审批机制与本地语义搜索实现，开发者可以据此评估是否适合自己接入自选模型。
Finn-Hecker 在 GitHub 发布 Ryokan，一款原生 AI 角色扮演应用，支持 Windows x64 和 Android arm64。可连接 LM Studio、llama.cpp、KoboldCPP、Ollama 等本地模型或 OpenRouter 等 API，支持 V3 角色卡导入导出、lorebooks、滚动摘要和聊天克隆，数据本地存储在 SQLite。多人模式下好友通过邀请链接从浏览器加入同一会话，无需安装或 API key，会话内容经客户端端到端加密后经 relay 同步。项目采用 Tauri v2 + Rust + Svelte 5，遵循 GPLv3 协议。
推荐理由：原文给出了完整的功能清单、多人模式和端到端加密做法，读者可以据此评估这个原生角色扮演应用是否适合替代传统前端。
作者发布了 Qwen/Qwen3.8-Flash-Next 的 mlx-serve 4-bit 混合量化包（4-bit experts、8-bit 其余），该模型为 Qwen4 preview 架构（model_type: qwen4_exp），全量 checkpoint 为 125B trunk + 51B n-gram + 4B MTP，共 180B（bf16 360 GB）。实测在 M4 Max 128 GB 上常驻约 67-69 GB，decode 29-34 tok/s，25k token prompt prefill 约 400 tok/s。n-gram 表以单独 4-bit 文件 mmap 方式按需反量化，不占常驻显存；MTP 头可加载但当前比串行 decode 慢，默认关闭。
推荐理由：作者在 M4 Max 上给出了显存占用、decode 与 prefill 速度等实测数据，读者可以据此评估这个 180B 模型能否在自己机器上跑。
GitHub 仓库 ZlaylowZ/modelroster 发布了 modelroster Python 包，pip install modelroster 后离线即可查询 anthropic、openai、xai、mistral、google、cohere、nvidia、inception 共 382 个模型的 id、上下文窗口与能力数据，每日管线从各厂商官方 API 和文档刷新。
推荐理由：原文详述了modelroster的数据来源、三方态能力标注与溯源设计，读者可评估用数据包替代手维护模型清单的可行性。
Alisio 发布首个稳定版 0.1.0，是一个可扩展、provider 无关的终端 coding-agent 框架，接任何 OpenAI 兼容模型，需 Node.js >= 22.16 或 Bun。本地工具默认只读，写操作、进程和网络调用需逐次确认，长对话压缩为结构化 checkpoint，并内置可禁用的 SQLite FTS5 持久记忆插件 @alisio/plugin-memory。提供类型化插件 SDK、plan mode、MCP 支持和 Linux/macOS/Windows 独立二进制，MIT 协议。
推荐理由：README 明确列出了权限模型、上下文压缩结构和插件 SDK 的设计细节，想研究终端 coding-agent 搭法可以参考它的取舍。
Synapse 是一个在 .NET 10 环境下用 C# 和 Rust 在本机运行大语言模型的开源推理引擎，不需要 Python、服务器或网络。它借鉴果蝇脑连接组的按需激活思路，只加载 token 所需的区域，冷区域留在磁盘按需读取。
推荐理由：项目用问答基准给出与 llama.cpp、MLX 的速度和内存逐项对比，读者可以据此判断这个 C# 推理引擎目前适用的场景。
AINode 开源了 System One 决策模型 Jebadiah，基于 Qwen3.5 和 Qwen3.8 做 LoRA 微调，从单个 label token 的 logits 直接输出校准概率而非生成文本，权重发布在 Hugging Face 的 frontier-infra 集合下。完整仓库包含训练器、数据构建器、评测器与每个 run 的结果记录，全部基于公开许可数据训练；27B 版在五个零样本集上宏观准确率 78.95，JevBench 公开项 0.866 与 Jev 1.13.0 持平，并提供 GGUF、MLX 量化与本地部署方案，代码采用 Apache License 2.0。
推荐理由：原文完整公开了训练配方、消融记录与逐项评测数据，读者可以据此复现这个决策模型并判断各版本取舍。
kekzl 发布了开源推理引擎 imp（MIT 协议），专为 RTX 5090 一代芯片（sm_120a）编写，直接在 NVFP4 4-bit 格式上计算，一个 docker run 即可部署，提供 OpenAI 和 Anthropic 兼容 API 及内置聊天。基准测试中 Qwen3-8B Q8_0 达 385.4 tokens/s，比 llama.cpp 默认快 +141%；还支持将 56.25 GiB 专家权重放在主机内存的 Qwen3.8-Flash-Next NVFP4，以 65.31 tokens/s 运行超出 32 GB 显存的模型。
推荐理由：README 给出了与 llama.cpp 的逐行基准数据和设计取舍说明，可据此判断这类单卡专用推理引擎是否值得替代通用方案。
DevAnimecx发布free-ai-agent-stack仓库，收录384项免费资源，其中222项无需信用卡，全部链接在30天内经人工核验并每日自动检查。清单覆盖70项免费LLM API、64个MCP服务器、82项Agent工具、90项免费基础设施和78项技能资源，并保留OpenAI、Anthropic、xAI、DeepSeek等15项已不再免费的条目及原因；数据以YAML存储，按CC BY 4.0提供JSON接口和llms.txt供AI直接消费。
推荐理由：作者逐条人工核验了384项免费资源并保留已停止免费的条目，方法透明，适合想零成本搭建AI Agent的开发者直接取用。
Tosin Akinosho 发布开源桌面应用 Vault（local-knowledge-vault），支持在本地与自己的笔记对话，每个答案以编号引用标注来源笔记，笔记存于本地 SQLite，默认通过 Ollama 或 LM Studio 调用本地模型（推荐 qwen3:8b），也可接入 OpenAI、Anthropic、Groq 等云端服务商。应用支持 macOS、Windows、Linux 安装包，提供 YouTube/本地媒体字幕问答、间隔复习的 Study 模式、Obsidian 导入与桥接，声明式插件不能运行代码；检索为 SQLite FTS5 关键词搜索，无嵌入向量，项目以 Apache License 2.0 开源。
推荐理由：项目完整说明了引用溯源、本地 SQLite 存储和模型接入方式，还坦率列出自身短板，适合关注本地知识库方案的人参考。
etemiz 在 Hugging Face 发布基于 Qwen 3.8 27B 的 Ostrich-261008 abliterated 版本，提供 3.0 至 6.0 bpw 四档 EXL3 量化（13 到 22 GB），可通过 ExLlamaV3 / TabbyAPI 在消费级 GPU 本地运行。该版本经 abliteration 移除拒绝行为，官方数据显示整体对齐率从基座的 37% 升至 82%，并新增了 Agentic RAG 训练、真值打分适配器和 0.928 分的自动化 9 项人格化测试；训练采用进化搜索管线，累计 841 代、9500 条谱系，蒸馏领域覆盖健康、宗教、比特币等。
推荐理由：原文给出了按领域的对齐率对比和拒绝率数据，读者可以据此判断这个 abliterated 版本的实际去对齐程度和量化选择。
个人开源项目 Snotra Agent（原名 Snotra AI）发布，这是一个围绕单一文件夹工作的桌面 Agent，支持 OpenAI、Anthropic、Google、Ollama 及任意 OpenAI 兼容 API，无需账号、无遥测。默认 Smart 模式下读取不需询问，但改文件、碰敏感文件、执行命令都先弹审批卡，命令执行默认关闭，macOS 与 Linux 提供沙箱，Windows 尚无沙箱；Auto 模式需用户手动开启。应用支持 SKILL.md 技能、MCP 服务器、Python 与 shell 工具、网页搜索与抓取，README 中与 Goose、LM Studio、AnythingLLM 等同类工具逐项对比，并给出从源码构建与 Linux 安装细节。
推荐理由：这个开源桌面 Agent 把命令执行默认关闭并逐条审批，作者还与 Goose、Claude Desktop 等同类逐项对比，可作选型参考。
iamvenuti 在 GitHub 发布 Garrick，一个运行在 Claude Code 或 Codex 之上的 macOS 知识工作 AI 幕僚长，所有记录以纯文件保存在用户自己的 Mac 文件夹中，跨会话可恢复，MIT 许可。它支持两类记忆、按 zone/project/thread 组织工作区，并可声明信息边界，在提交前对支持的文本文件检查是否跨墙泄露特定方信息；作者同时说明该检查有限制，改写后的内容、生成的 Word/PDF 等不在扫描范围内。
推荐理由：这个跑在 Claude Code 或 Codex 上的知识工作管家把信息隔离墙写成规则加提交前检查，原文也坦白说明了检查的局限。
magicnight 在 GitHub 发布 macMLX，一款基于 Apple MLX 的原生 macOS LLM 推理应用，提供 SwiftUI GUI、CLI 和常驻 OpenAI 兼容 API，约 50 MB 且全程无 Python。截至 v0.9 支持文本加 16 种 VLM 架构（最大约 70B）、分层 KV 缓存、连续批处理、投机解码、LoRA、MCP server、语音转文字与合成及 /v1/rerank，并以纯 Swift 移植了 DeepSeek V3.2 等架构，与 Python 参考实现按 1e-4 精度校验一致。项目与 LM Studio、Ollama、oMLX 逐项对比，称其独有 Swift 进程内引擎；DMG 尚未公证，首次启动需 xattr 清除 Gatekeeper 隔离。
推荐理由：原文给出与 LM Studio、Ollama、oMLX 的逐项功能对比和版本演进明细，可看出纯 Swift 无 Python 方案在 macOS 本地推理中的取舍。
Baicaicn23 在 GitHub 开源 StudyGraph，一个用 LangGraph 编排的面向大学生的学习助理，串联聊天、学科知识库检索、错题沉淀与出题复习闭环。核心包括意图路由到子智能体、SQLite + FTS5 与向量 RRF 混合检索、写操作 Human-in-the-Loop 确认、AsyncSqliteSaver 断点持久化、FastAPI SSE 接口和 Next.js 16 Web 界面；自带 Hit@K/MRR 与意图准确率评测门禁及 77 个 Mock 测试，默认确定性 Mock 模型、可切换任意 OpenAI 兼容平台。
推荐理由：仓库把 LangGraph 状态机、HITL、检索与评测门禁用在学习助理场景，分层与基线回归做法可以迁移到自己的 Agent 项目。
adithya-s-k 发布开源 RL 环境仓库 FineEnvs，提供从环境设计、部署、训练到评测的端到端可复现项目，素材同步发布在 huggingface.co/FineEnvs。包含 3 环境乘 6 框架的 RL Environments 101、用 GRPO 训练 Qwen3-VL-2B 做 LaTeX OCR、以审美偏好模型为奖励的水彩绘画项目、多轮 GeoGuesser（Qwen3.5-4B 在 200 题保留集上超过 gpt-5.4-mini 和 claude-haiku-4.5，成本约 $100）、5,394 个经真实沙盒验证的数据分析任务数据集，以及基于巴塞罗那港 2024 记录的 PortSimEnv。
推荐理由：这个仓库提供从环境设计到训练部署的完整可复现代码，还附上三个跨框架实现同一环境的对照样本。
jason-zzx 在 GitHub 发布 Hikaru Sub，一款将视频获取、本地日语语音转录、LLM 翻译、字幕校对与成片输出串成一条工作流的桌面应用，当前仅提供 Windows 版 NSIS 安装包和 portable zip。转录通过独立 Native worker 在 CPU 或 CUDA 上运行 Faster-Whisper 系列、Kotoba Whisper v2.0、Qwen3-ASR 1.7B + ForcedAligner 0.6B、日语 Parakeet 或 ReazonSpeech NeMo v2 生成 ASS 字幕；翻译调用用户配置的 AI 提供商接口，支持上下文窗口、自定义提示词和术语表；输出硬字幕 MP4 或软字幕 MKV。
推荐理由：原文完整交代了从下载、本地日语转录到双语字幕压制的工作流与模型选项，读者可以据此评估是否适合自建日语字幕流水线。