方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
Yegor Kosyrev 在 GitHub 发布 Praxis/Hélène，一个可构建自有 Agent 的运行时，Agent 可同时存在于 Telegram 和桌面。Telegram 部分支持 Bot API 与 MTProto（Telethon）双通道、论坛话题路由、持久 outbox 和二十个消息工具；核心包含约 99 个工具（文件、代码、持久编码会话、自我修改、计算机驱动等）、文件式记忆与版本化自我编辑；每次模型调用被逐字节记录。Windows 与 macOS（Apple Silicon，自 0.7.1）均提供一键安装，Apache-2.0 许可，仓库 https://github.com/josephsteuerjr/praxis 。
推荐理由：原文详述了 Telegram 双通道、桌面控制、诚实隔离和逐帧调用记录等实现细节，读者可以了解一个生产级 Agent 运行时的完整工程构成。
GitHub 项目 dlroqa/Lightweight 发布 Hermes CPU Inference Gateway，一个仅依赖 CPU 和内存的本地 LLM 推理平台，提供 OpenAI 兼容网关、GGUF 模型管理和桌面 UI，全程不使用 GPU。
推荐理由：原文给出了实测细节，包括无 GPU 的 CPU 推理网关在 Qwen3-1.7B 上跑通完整 agent 循环，以及调度与内存准入的具体设计。
SiliconCoderJames 发布本地多智能体协作平台 MiderHive（1.2.1），让 Claude Code、Codex、Cursor、Copilot 等工具共享知识库、用户记忆、任务消息与错误日志，数据仅存于本机 127.0.0.1:8787。
推荐理由：原文给出了完整的架构、API、MCP 配置和测试规模，读者可以据此评估这套本地多智能体协作方案是否适合自己复用。
GitHub 项目 course2md 可将 YouTube、Bilibili 或本地课程/会议录像转成带幻灯片截图的 Markdown 与 HTML 讲义，支持 coreml、gpu、cpu、npu、api 五种语音识别后端，默认推荐 Qwen3-ASR 1.7B。
推荐理由：README 附带各 ASR 后端的实测功耗与耗时对比，以及 Qwen3-ASR 与 Whisper 的转写错误分析，便于按硬件选型。
TopherAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的去审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF，提供常规与 MTP 两种 NEO imatrix GGUF 量化。
推荐理由：原文给出 Heretic ARA 消融的拒绝率与 KL 散度前后数据，以及 8bit/4bit 下 ARC-C 等基准对比，可据此评估这个去对齐微调的实际效果。
作者发布一个 MoE offloading 研究补丁：路由器首选专家及 gate 权重 ≥ 0.15 的专家等待读取，其余用已在 VRAM 的次优专家替换，使 Qwen3-Next-80B-A3B Q4_K_M 在 RTX 3090 上解码明显快于原版 llama.cpp。
推荐理由：作者实测了 MoE 专家缺失时的替换策略，给出不同内存下与原版 llama.cpp 的解码速度和精度损失数据，可复现。
mixpeek 开源了 amux，一个用于 AI 编码智能体的本地优先控制平面，可用一个 Web 仪表盘或手机协调数十个并行 worker（支持 Claude Code、Codex、Gemini CLI、OpenCode、Ollama）。
推荐理由：原文完整给出了并行 Agent 编排的原子任务、消息溯源和自愈机制等设计细节，还附安装与权限配置说明，可作自托管多智能体工作台的参考实现。
927tanmay 发布开源 React 组件 react-ai-voice-avatar，以 npm install 替代 HeyGen、Tavus 等按分钟计费的实时头像 API，在用户浏览器本地渲染 3D 头像并驱动 52 个 ARKit 面部 blendshapes 实现 60 FPS 口型同步。
推荐理由：作者给出了各部署形态的下载量、延迟和包体实测数据，读者可以据此判断语音头像方案在浏览器端跑通的可行成本。
JeanVG23 发布 agent-harness-from-scratch 仓库，用纯 Python 标准库、零运行时依赖从零实现 LLM 工具执行引擎（Agent Harness）和评测基准，并经 Ollama 在 qwen2.5:3b 等小模型上与 Smolagents、Pydantic-AI 对比。
推荐理由：作者用纯标准库从零实现 Agent Harness 并给出与 Smolagents、Pydantic-AI 的实测对比，每步附失败记录和局限说明。
开源项目 Claude Burst 发布，这是一个运行在 Mac 本地的网关，介于 Claude Code 与 Anthropic 之间，面向 Pro/Max 订阅用户，在订阅限额耗尽时先切换到同计划的其他 Claude 模型，再溢出到 Together AI、OpenRouter、Amazon Bedrock 等自付费二级渠道，限额重置后回到订阅。
推荐理由：原文给出了压缩节省的具体账目和按仓库学习最优压缩点的公式，读者可以据此判断这个网关的取舍是否值得照搬。
作者 /u/jeeva1398 发布了 npm 包 eventa，基于 Qwen2.5-Coder-1.5B-Instruct 做 QLoRA 微调（Unsloth，r=16，2 epochs，Q4_K_M，986 MB），在免费 Kaggle T4 上训练约 9 分钟，可完全离线审查 Node.js 代码。
推荐理由：作者公开了数据构成、训练配置和保留集评测数字，还写明了微调版变差的一面，读者可以核对这套小模型微调流程。
开源项目 vinga 发布，这是一个可自托管的语音智能体服务器，通过 Waveshare ESP32-S3 板子对话，智能体驻留服务器端，可多板共享、跨板迁移。
推荐理由：自托管语音智能体服务器的完整实现文档，从固件刷写到全本地推理栈的配置路径都给出了可复现步骤。
开源平台 Rakazo 发布测试版，用于运行具备独立对话、记忆、例程和历史的持久化 AI 队友，提供网页、Electron 桌面端和 Expo 移动端。
推荐理由：原文完整列出了持久化 AI 队友的记忆、语音、沙箱与自托管部署方案，想自建这类平台的读者可以直接照着装。
dollarbr 发布 mobileLM，一个本地优先、运行在手机上的 AI Agent 应用，基于 PrivateLM 的端侧引擎，支持 llama.cpp 的 GGUF 模型和 LiteRT-LM 的 .litertlm 模型，无需云端推理。
推荐理由：原文详细说明了本地推理引擎、24 个内置工具和签名变更的升级注意事项，读者可据此判断是否安装及如何迁移。
ljedrz 在 GitHub 发布 nachalnik 智能体运行时和基于它的终端 Agent kamchatka，核心是把上下文、工具、权限和请求做成可读取、修改和回写的显式状态，任何调用（包括读文件）都需用户确认。
推荐理由：把上下文、工具和权限做成可读改的显式状态，并附五份逐字会话记录展示模型自省与被篡改后的表现。
TalBenAmii 在 GitHub 开源 llm-d-benchmarking-agent（Apache-2.0），用户用英文描述需求即可对 llm-d 做基准测试，例如约 500 并发用户、p99 延迟低于 500 ms。
推荐理由：原文给出了从安装、会话流程到命令策略与验证方式的完整说明，读者可以据此评估是否在本地复用这套基准测试流程。
/u/Cultural_Self8980 在 Ternary-Bonsai-4B 上搭建了本地 Jev 式 System One，单次前向即可对一条记录回答多选、评分或是否问题，通过树状注意力掩码共享记录前缀，权重冻结无微调，Apple Silicon 上 MLX 后端使用约 1.1 GB 的 2-bit 打包权重。
推荐理由：作者用 80 个样本对比了 Bonsai 与 omp 内置 judge 与 Claude Opus 标签的一致率和延迟，并自己列出了标注来源等局限。
微软在公开网页上证实 OpenAI 在 GPT-6 系列中使用了 Looped Transformers，印证了 The Information 此前的报道。GPT-6.1 Sol 使用 2 次 inference passes，并顺带提到"而不是三次"。
推荐理由：作者指出微软页面一度证实 GPT-6 系列采用 Looped Transformers，并澄清 6 与 6.1 是同一底座的不同后训练版本，页面随后被修改。
开发者 /u/Physical_Toe_2499 发布 YoungAi，一个原生 C/CUDA 推理引擎，将约 510 GB 的 DeepSeek V4.1 Flash 压缩为 113.6 GB VQ 基座 GGUF 加每个领域约 40 MB 的领域边车文件，在单台 NVIDIA DGX Spark（GB10，128 GB 统一内存）上运行。
推荐理由：作者给出了各领域 top-1 一致率、KL、PPL 和实测吞吐数据，还坦陈了后训练文件不泛化等局限，便于读者自行评估这套部署方案。
Devaretanmay 发布开源工具 Ink（Apache-2.0），用于识别生产 AI 智能体中重复且可独立验证的有界决策，如路由、工具选择和分类，经 shadow 对比和统计资格认证后在本地提供 Fast Path 服务，精确匹配延迟 0.18–0.19 ms，本地模型约 48 ms。基准显示 DecisionSite 内模型调用减少 19.9–40.4%，全应用调用减少 3.99–10.10%，检测到策略漂移时自动撤销 Fast Path，注入漂移下撤销前发生 7–8 次错误服务，低于静态缓存的 12.0–18.0% 错误率。
推荐理由：仓库用 18000 次决策的基准数据说明调用减少和延迟收益，也如实列出漂移前误判次数等局限，便于读者自行评估适用性。