方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
开发者 M0j0Risin 在 GitHub 发布 NeonSidekick，一个优先支持本地大模型的 agentic 终端客户端，可连接 LM Studio、Ollama、llama.cpp 或 vLLM，也能通过内置 llama.cpp 直接下载并运行 Gemma、Qwen 等模型，支持 CUDA、Vulkan 或 CPU。它还提供 OpenAI 和 Anthropic API 及 Claude Code 接入，具备文件、Git、shell 等内置工具、四层技能系统、Whisper 语音输入和 Kokoro 语音输出，基于 .NET 10 NativeAOT 编译，免安装运行于 Windows x64 和 Apple Silicon Mac，采用 GPLv3 许可。
推荐理由：这是一个面向本地大模型的 agentic 终端客户端，功能覆盖嵌入式模型、技能系统和工具沙箱，想搭本地 Agent 环境的读者可以直接试用。
1broseidon 开源了 Hotline，一个自托管的 Agent 协作房间工具，可在本地给多个 Agent 各自的名字、项目目录和持续对话，Agent 之间能直接互相提问、请求审查和交接任务。
推荐理由：自托管的多智能体协作房间工具，支持混用多家模型和 Claude Code 等 harness，数据留在本地，适合想自己搭 Agent 工作流的读者。
jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版，基于 UkisAI 的 Swift 1.5（构建于 Qwen3.8-27B）的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight，含 MTP 草稿层，面向 12 GB 显卡约 200K 上下文。
推荐理由：发布者给出了拒绝率降低说明、KL 散度和 LiveCodeBench 实测对比，读者可以据此判断这个 2.3 bpw 极致量化在 12 GB 显卡上的实际表现。
goruck 在 GitHub 开源 Home Generative Agent（HGA），一个为 Home Assistant 打造的 LangGraph 智能体集成，可用自然语言控制实体、生成并注册自动化 YAML、分析摄像头画面并做人脸识别，支持 OpenAI、Gemini、Anthropic 或经 Ollama 等本地运行。它用 pgvector 保存长期语义记忆，Sentinel 异常引擎以确定性规则负责安全告警，LLM 只建议不直接执行，并内置 Home Assistant 安全审计，可检查未上锁的门锁、新管理员账号、长期 token 等问题。
推荐理由：README完整覆盖功能、架构和安装路径，能看出基于LangGraph的智能家居Agent与传统提示词透传集成的差异。
Tianao0110 在 GitHub 发布 Windows 桌面翻译工具 T-Translate，支持划词翻译、截图翻译、悬浮窗实时翻译、播放内容转字幕和 PDF、Word、EPUB 等整篇文档翻译。应用自带 Qwen3-1.7B（1.8 GB）和 Hy-MT2-1.8B（1.9 GB）本地模型可离线翻译，API 密钥用 Windows 系统加密存储，提供标准、无痕、离线三种隐私模式，另接入 OpenAI、Claude、Gemini、DeepSeek、DeepL 等 11 个翻译源，支持 134 种语言，许可证为禁止商业售卖的 T-Translate License 1.0。
推荐理由：作者本人发布的工具仓库，功能清单和模型文件大小写得具体，想搭本地隐私翻译环境的读者可以按需取用。
TAIPANBOX 在 GitHub 发布 stack-up 启动器，一条命令在本地无 Docker 构建并启动其开源 Agent 治理栈，含 tokenfuse 网关、cloud 控制面、dashboard、wardryx 策略点、scopyx 出口管控等，全部仅绑定 127.0.0.1。tokenfuse v1.5.0 的运行预算上限默认每 run 5.00 USD，实测可将声明 50 的调用钳制回 5.00；可选模块包括 vouchryx 委托令牌（撤销记录可跨重启保留）、costcrew FinOps、typryx 类型化回答（实测 jev 托管后端准确率 87.1% / ECE 0.042，本地 qwen2.5:7b 为 70.0% / 0.273）及 trailryx 记录封存平面。
推荐理由：原文给出了本地一键启动整套 Agent 治理栈的服务端口、预算钳制实测数据和各可选模块的取舍，读者可按需挑选模块上手。
TaskWraith 在 GitHub 发布，是一款免费开源、Apache-2.0 协议的本地优先桌面工作台，用于在自有仓库上运行和审查多家供应商的 AI 编码智能体。它支持将多个智能体席位并入同一会话，包括并行子线程和用于共同审议与审查的 Ensemble 模式，所有操作需经用户审批，可在本地查看活动与 diff。支持 macOS、Windows 和 Linux，兼容各供应商 CLI 账号及本地 Ollama 模型，另有处于 TestFlight 测试阶段的 iPhone/iPad 伴侣应用（非独立 AI 应用）。
推荐理由：这是一个可复用的开源工具，正文说明了多智能体协作的权限审批和本地化设计，对想集中管理编码智能体的开发者有直接参考价值。
1CatAI 宣布 1Cat-vLLM 更名为 1Cat-LLM，将 NVIDIA Volta / SM70 / Tesla V100 作为一等优化目标，最新发布为 2026 年 10 月 3 日的 v1.5.1。4× V100-SXM2-32GB 上 Qwen3.8-27B-NVFP4 + DFlash2 演示约 260 tok/s，v1.5.1 相比 v1.5.0 在 32K 单请求解码从 49.04 提到 201.18 tok/s；长上下文 Attention 有效算力从 17.92 提升到约 60.8、最高 71 TFLOP/s。新 GGUF 支持带来更多社区量化模型选择，仓库含 MBPP/HumanEval、GSM8K 等质量门与完整基准契约。
推荐理由：同一代 V100 上靠软件栈重写把长上下文 Attention 有效算力从 17.92 提到约 60.8 TFLOP/s，对仍在用旧卡的部署者有直接参考价值。
GitHub 用户 trhlikfilip 发布 llm-bayesian-coherence 工具，检验因果语言模型的事实条件概率能否来自同一联合分布。核心是 Emerson (2026) 提出的四元组对数比证书，LR 不为 0 即证明两个方向的条件概率不相容；仓库提供 run.py、scorer.py、certificate.py 等 23 个测试覆盖的完整流水线，以及来自 Wikidata、ConceptNet 和 WordNet 的 140,751 个四元组（约 603,000 个 prompt-continuation 对），支持任意 Hugging Face 因果语言模型，输出 LR、F、B、R、K 等指标，并带评分缓存与断点续跑。
推荐理由：工具把概率一致性检验做成了可直接运行的开源命令行，附带 14 万四元组数据和缓存续跑设计，便于复现和移植。
开发者 Past-da-king 在 GitHub 发布开源 Android Agent（Agent-0.11.4，MIT 协议），APK 约 317 MB，要求 Android 10 及以上 arm64 手机，需侧载安装。它以前台服务运行自己的浏览器，把学到的信息写成手机本地 wiki 记忆，可定时或按通知触发例行任务，并能把重活通过 SSH 交给用户自己的电脑。模型可接 API key、ChatGPT 或 Claude 订阅（作者注明 Claude 订阅登录未经官方认可）、也可连 Ollama 等自建服务器；密钥存于 EncryptedSharedPreferences，花钱和代发操作需手动批准。
推荐理由：作者本人详述了这款开源手机 Agent 的记忆 wiki、SSH 派工、订阅接入与隐私设计，安装和自建服务器的方法都可直接照做。
e42101ex 在 GitHub 发布 news_LLM（auto_report_news），抓取 24 个中英文科技媒体的 AI 新闻，用 TF-IDF + cosine 质心式分群把同一主题的报道合并，生成静态网页部署到 GitHub Pages。分群处理了简繁差异、中英夹杂和数字对照，无需 API key；摘要支持无 LLM、OpenAI-compatible 端点和 Claude 润稿三种模式，实测 40 个主题约 3 分钟，缩图覆盖率约 80%；另含 Google Trends、Bluesky 等免 key 的社群热门分页。
推荐理由：作者完整公开了从抓取、分群到部署的全流程细节，包括简繁归一和三种摘要模式，方法可直接复用。
sblattj 开源了 llm-ferry（MIT 许可），将一台 Mac 的本地 GPU（MLX 推理）与云 API 密钥聚合为一个 OpenAI 兼容端点，供局域网内所有设备共享，密钥只留在主机上。单条命令即可完成客户端接入，支持八条命名车道与严格回退链、Claude Pro/Max 订阅 OAuth 车道、每设备可撤销密钥与用量限额、模型和文件跨机传输及正向代理。在 128 GB M5 Max 的 121k-token 智能体会话中，KV-cache 调优将峰值 GPU 占用从 97 GB 降至 56 GB，解码快约 60%。本地 MLX 推理仅支持 macOS Apple Silicon，Linux 上自动降级为纯云模式。
推荐理由：作者给出多条实测数据，如 KV-cache 调优后 128 GB M5 Max 上峰值 GPU 占用从 97 GB 降到 56 GB，读者可评估这套 LAN 网关是否值得部署。
Kottos AI 在 GitHub 开源了 C++ 编写的 LLM 网关 llmbridge（v0.53.0，Alpha，Apache 2.0），把 OpenAI 格式请求实时翻译为 Anthropic、Gemini、Cohere 等上游方言。README 给出第三方 ENTERPILOT 基准与自测数据：单核非流式约 84k RPS，100 RPS 下 p99 延迟 80 µs，对比 LiteLLM 1.95.0 的 87 ms（对 1.99 版约 300 倍）；流式 16,384 并发流单 worker 交付 99.96% token。
推荐理由：这是一个开源的 C++ LLM 网关，附第三方基准和自测数据，读者可以对比各网关的延迟与吞吐后再决定是否采用。
vieenrose 发布 PULSAR-ASM 仓库，在 Raspberry Pi 4 上用单个静态 AArch64 汇编二进制推理 Gemma-3 检查点（270m 约 6.8 tok/s，1B 约 1.8 tok/s），并在 DGX Spark 上以 C + NEON 纯 CPU 端口运行 Ternary-Bonsai 三元权重模型（27B PTQ1_0 约 7.9 tok/s，8B 约 28 tok/s）。仓库给出与 transformers 及参考服务器逐 token 一致的贪心对齐验证、固定种子下逐字节可复现的输出、从 GGUF/safetensors 头读取维度的单二进制设计，另含 K2-Horizon-0.9B 的纯汇编端口及其会议纪要微调版本演示。
推荐理由：纯汇编与 NEON 移植在 Pi 和 DGX Spark 上跑通多个开源模型，并给出与参考实现逐 token 对齐的验证细节。
Echo-Smith 在 GitHub 开源了面向中文内容创作的自托管 AI 写作工作台 LuminWrite-OSS，采用 MIT 协议。核心包括三层长期记忆加注入遥测、WritingContract 治理型写作运行时、基于 PostgreSQL 17（pgvector + ParadeDB）的自托管 RAG，支持 BYOK 接入 DeepSeek / Qwen / Kimi 等 OpenAI 兼容模型，Quickstart Compose 约 3 分钟可部署。
推荐理由：作者把中文写作拆成检索到成稿再到记忆沉淀的工程流程，分层记忆注入遥测与治理运行时设计可作同类系统的参考。
kstruzzieri 发布 go-llm v0.5.0，一套纯 Go、无 CGo 的本地优先 LLM 工具链，支持通过 llama.cpp 的 OpenAI 兼容服务或 Ollama 运行本地模型，也可自带密钥接入托管 API。内置 Golem 终端编码智能体，默认只读、写和执行需审批，提供 RAG 检索、MCP 服务器、FIM 补全、执行沙箱和零信任运行时，v0.5.0 重点是最小权限默认值与确定性工具防护。项目采用 Apache License 2.0。
推荐理由：作者详述了这套纯 Go 本地优先 LLM 工具链的安全设计，包括沙箱、最小权限默认值和零信任运行时，做法可迁移。
bio-colab 在 GitHub 开源了面向原版 GTA San Andreas v1.0 US 的具身 AI NPC 同伴系统，可招募任意行人并通过按住 T 的语音或 F6 文本栏实时交互。系统提供程序化人口身份、SQLite 情景记忆、Hitman/Medic/Heavy/Driver/Girlfriend 等动态人格，95% 以上战斗与驾驶反射由 CLEO Redux 本地 opcode 执行（0 API 成本），Groq Cloud 仅用于对话。项目在 i5-8350U 集成显卡笔记本上实测 60 FPS、Python 后端内存约 85-115 MB、CPU 占用低于 2%，采用 MIT 许可证。
推荐理由：项目把95%以上战斗与驾驶反射放在本地opcode执行，云LLM只处理对话，读者可借鉴这套低成本的混合自主架构思路。
开源 Django 中间件 django-explain-errors 在调试页直接显示 LLM 生成的报错解释，支持 OpenAI、Claude 及 Ollama 等任意 OpenAI 兼容端点，仅限 DEBUG=True 的本地开发环境。可选 RAG 层通过本地 sqlite-vec 索引检索项目源码，评测 harness 的 43 次盲评对比中 RAG 开启赢 35 次、关闭赢 5 次；在 10 个错误源自应用自身代码的 fixture 上，指向正确文件和函数为 26 比 13，避免编造细节为 26 比 17。该工具还支持 traceback 脱敏、滑动窗口限流、sync/async 视图和多语言解释，MIT 协议开源。
推荐理由：README 附带了 43 次对比评测数据，量化了 RAG 开启后 Django 错误解释指向正确函数的比例变化，可作同类工具选型参考。
terojleinonen 在 GitHub 发布 ai-knowledge-base-template，一个基于 Laravel 13 + React 19 的文档问答模板，答案仅基于用户上传内容生成并带编号引用。后端用 laravel/ai 支持 Claude、OpenAI、Gemini、Mistral、Ollama 等切换，向量以 float32 存在常规数据库，无需额外基础设施；内置 CitationRepairer 在生成后校验引用，README 实测 qwen2.5:3b 修复前 6 个答案引用全部出错，修复后 13 句引用全部指向正确段落，并附 kb:eval 评测、免费部署方案与用量限额配置。
推荐理由：README给出了完整的RAG实现与实测数据，包括引用修复前后对比和本地小模型的延迟，读者可直接评估是否复用这套方案。
Herald 是一个运行在自己 Mac 或 Linux 机器上的个人智能体，通过 Claude 或 Codex CLI 子进程工作，无需 API key 和按 token 计费，只需现有订阅。它能读取 Gmail、Google Calendar、Tasks、GitHub 活动和 iMessage，把结论写入本地 ledger，每天 06:30 发送摘要并在截止事项临近时通过 Telegram 或终端提醒。其记忆就是磁盘上一个 ~/.herald 文件夹，任何对外发送、花钱或永久操作都需要用户确认，项目采用 MIT 许可并支持 Docker 部署。
推荐理由：原文完整给出了 Herald 的部署方式、权限分级和数据存放设计，读者可以据此评估这个本地个人智能体的实际可用性。