方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,762 条
Braney 是一款面向本地模型的终端编码 Agent，可读取项目、编辑文件、运行代码、搜索网页并自查，支持 macOS、Windows 和 Linux。它与常规编码 Agent 不同，默认不给模型 shell，而是提供沙箱化 JavaScript 引擎，工具接口刻意收窄以防小模型误用，并用 nudge 机制捕捉模型循环、中途停止或虚报完成等常见失败。项目在 2B 到 35B 参数、32k 上下文的模型上做了验证，列出 qwen3.5、gemma-4、minicpm5 等经测试可用的模型清单，支持 LM Studio、llama.cpp、Ollama、vLLM、SGLang 等后端。程序用 Go 编写为单个可执行文件，配置集中在一个 .braney 文件中；源码目前闭源，二进制可免费用于个人和商业用途。
推荐理由：这个终端 Agent 专门为 2B 到 35B 的本地小模型设计了窄工具、沙箱和纠错机制，思路对跑本地模型的读者有参考价值。
OpenDCAI 开源了 LoopAI，一个让 LLM 在领域场景中自进化的闭环优化框架，把优化流水线重组为 Graph/Node/State 的节点化执行框架，覆盖评测、错误分析、数据获取到再训练的全流程自动化。v2 版本引入基于 codex-sdk 的 Starter，支持会话连续性、流式反馈和可配置模型池，可将对话意图转为可执行的优化工作流；核心节点包括 Judger（vLLM 评测）、Analyzer、ObtainerCLI/DataMixer 数据处理和 Trainer（支持 LLaMA-Factory 或 verl 训练），支持 human-in-the-loop 干预，采用 Apache 2.0 许可证。
推荐理由：原文给出了从评测、错误分析、数据获取到训练的完整节点化架构与部署细节，读者可以了解一条用自然语言驱动的模型优化闭环怎么搭。
pedrofariasx 在 GitHub 发布 qwenproxy，一个本地代理服务，通过 Playwright 浏览器自动化把 chat.qwen.ai 的 Qwen 模型封装成兼容 /v1/chat/completions、/v1/models 和 /v1/upload 的 OpenAI 接口。支持多账号负载感知路由与 cooldown、多用户 API key 限流配额、SQLite 持久化、reasoning_effort 思考模式控制、多模态上传、本地工具执行、React + shadcn/ui 管理面板、Prometheus 指标，可通过 npm 全局安装或 Docker 部署；混合会话模式复用 Qwen 服务端历史以减少发送的 token，并自动重试退化为“Yes”类回复的请求。
推荐理由：本地代理方案把 Qwen 网页版封装成 OpenAI 兼容接口，多账号路由、混合会话省 token 和多用户配额等实现细节讲得完整。
Ravikant 发布开源 VS Code 扩展 LLM Bridge，通过官方 Language Model Chat Provider API 将自托管或企业 LLM 端点接入原生 Chat 和 Agent 模式。支持 Ollama、OpenAI Chat Completions 与 Responses、Azure OpenAI v1 及 legacy 等协议，API 密钥存于 SecretStorage 并严格绑定 origin，无遥测、无运行时依赖，需 VS Code 1.104 及以上。
推荐理由：这个扩展把自托管或企业 LLM 端点直接接入 VS Code 原生 Chat 与 Agent 模式，密钥绑定 origin 且不带遥测，适合在意隐私的本地部署用户。
opencodex 是一个轻量本地代理，把 Codex 的 Responses API 翻译成各提供商的协议，支持流式、工具调用、推理 token 和图像双向转换，让 Claude Code、Claude Desktop、Grok Build 等工具运行 Claude、Gemini、DeepSeek、Kimi、Qwen、Ollama 等 40+ 内置提供商的任意 LLM。安装为 npm install -g @bitkyc08/opencodex 后运行 ocx start，本地仪表盘在 localhost:10100；还支持 ChatGPT 账号池配额路由与线程亲和、failover/加权轮询 Combo、任意模型的子智能体路由，macOS/Windows/Linux 提供桌面应用 beta。
推荐理由：原文详细说明了这个本地代理如何把任意 LLM 接入 Codex 和 Claude Code，包括账号池路由和内存管理设计，部署做法可直接复用。
jblacketter 在 GitHub 开源了 Bugalizer，一个通过 REST API 接收结构化 bug 报告并以多阶段 AI 流水线自动处理的独立服务器。流水线分四阶段：本地规则验证去重、Ollama 本地模型（默认 qwen2.5-coder:7b）分诊、基于 tree-sitter AST 仓库图的两遍代码定位，最后经 litellm 调用 claude-sonnet-4-6 生成 unified-diff 修复提案。项目带 13 状态工作流、异步队列、SQLite 存储、API key 认证与 token 用量统计，前四阶段已完成，Web 仪表盘和外部集成仍在规划中。
推荐理由：这个项目把 bug 报告处理拆成本地模型分诊定位加云端模型出修复提案的四段流水线，架构和配置写得完整，可作搭建同类系统的参考。
kr4ckhe4d 在 GitHub 公布消费级 AMD GPU 上的本地大模型实测数据，硬件为 RX 9070 XT 16GB 与 Radeon AI PRO R9700 32GB（均为 RDNA4/gfx1201），在 Linux 下用 ROCm 7.2 与 llama.cpp b11434 测得。双卡后 MoE 预设去掉 CPU offload，生成速度提升 38-183%；Qwen3.8-27B UD-Q6_K + MTP 达 57 tok/s、KLD 0.0020，并在 Claude Code 中与 Q8_0 相当且快 12%；Gemma 4 26B-A4B + MTP 在 128K 上下文下达 143 tok/s。
推荐理由：作者在消费级 AMD 双卡上实测多款本地模型，给出吞吐、量化 KLD、投机解码和编码 Agent 的第一手可复现数据。
SylphxAI 发布开源工具 anymd（前身为 pdf-reader-mcp），用 Rust 实现 PDF、Word、PowerPoint、Excel、EPUB、HTML、图片 OCR 和音视频字幕的本地转 Markdown，无需 API key，并通过一条命令接入 Claude Code、Codex、Cursor 等 MCP 客户端。自建基准 AgentDocBench 的 38 份文档上 anymd 总分 96.4、总耗时 11.5 秒，docling 93.0 分需 2,432.4 秒，marker 仅转换 30 份耗时 7,104.5 秒；输出带页码引用锚点并支持 token 预算分页。核心功能 MIT 协议免费，anyrd Pro 以 29 美元一次性付费增加视频时间线与 PDF 引用校验。
推荐理由：作者用同一 runner 上的自建基准给出与 docling、marker 等工具的总分和耗时对比，速度差异和局限都写得很具体，可以据此评估是否采用。
baijixu 发布了开源项目 Project-Glitch，一个完全本地运行的 3D AI 伴侣：Glitch 是 VRM 头像，带语音、口型同步、情绪表情和唇动，可接入 LM Studio、llama.cpp、Ollama 或任意 OpenAI 兼容服务，无云端 AI 参与。人格由用户自编的 soul.md 和 user.md 纯文本控制，长期记忆通过自建 Hindsight 服务器实现，并支持记忆训练审批、基于 👍/👎 的行为学习、静默后主动搭话的好奇心机制，以及与真实记忆完全隔离的角色扮演模式。作者日常在 RTX 3060（12GB）上用 Qwen3.5 9B（uncensored，Q8_0，65k 上下文）运行，约 23 tokens/秒，也可经局域网或 Tailscale 用手机对话。
推荐理由：原文完整给出了这个本地 3D AI 伴侣的架构、人格与记忆机制和硬件实测数据，可迁移到自建陪伴系统的部署参考。
Paweł Skierś 在 arXiv 论文中提出 Painter-Thinker（PaTh）：一个小型递归网络在每个去噪步骤内细化潜状态，经 ControlNet 适配器引导冻结的扩散模型，仅用重建损失训练，无需符号目标、求解器或验证器。PaTh 解决 92.5% 的困难 MNIST Sudoku（此前最优 75%）和 71.2% 的极难样本（此前最优 4.1%），参数量 10M 对比标准扩散模型的 82M，在迷宫、Queens 和 CLEVR 场景上也有提升。
推荐理由：论文把递归推理引入扩散模型且无需符号监督，并给出与既有最优方法的解题率对比，方法细节可直接参考。
arXiv 论文（2610.10049，被 IEEE CogMI 2026 接收）用 30 个情境、6 种偏差和 0/1024/4096/8192 token 思考上限在 4 个模型家族做了剂量反应研究，共 12,350 次 API 调用。结果发现推理模型并不比匹配的非推理模型更少偏差，偏差幅度也不随实际消耗的推理 token 增加而可靠下降；锚定是唯一沿人类方向的偏差（d = 1.89），其余偏差多反向；一条让模型先复述锚点的简单指令降低了全部锚定题目的偏差。作者据此主张不应把测试时推理当作理性保证，应对部署模型逐项审计偏差。
推荐理由：研究用 12,350 次 API 调用检验推理预算与决策偏差的关系，结论可迁移到对部署模型的偏差审计思路上。
arXiv 论文 2610.10114 提出 Mechanics of Long-Context Hybrid Models 系列的 Part 1.1，研究全注意力与滑动窗口注意力（SWA）或门控线性注意力（GLA、GDN）混合架构的工作原理。作者发现上下文扩展中的 Seesaw Effect：LA 混合更受益于长上下文持续预训练，SWA 混合在长度外推上表现更好，并归纳了 SWA 混合的 Short-Context Learning Trap、Short-Window Weariness 和 Long-Window Laziness，以及 LA 混合的 Matthew Effect。
推荐理由：论文解释了混合注意力架构为何在长上下文上有效，并给出可复用的 Sliding-Window Linear Attention 设计与外推结果。
Huishan Ji 在 arXiv 发布 YANchor-4B，一种以 Anchor 保存关键记忆的通用循环模型，实现 O(N) 时间生成与 O(1) 内存。该模型在 AIME 2024–2026 上平均 pass@1 达 82.93%，HMMT 达 63.64%，优于线性时间常数状态的同类模型包括更大的模型；在 H100 上批量长生成吞吐比 Transformer 与混合基线高数倍，并在数十个基准上展示通用能力。论文 24 页 8 图，代码与模型已开放。
推荐理由：论文给出了循环架构在长程推理基准上的具体成绩和吞吐对比，读者可以据此评估 O(N) 时间加 O(1) 内存的实用性。
论文提出 SemanticFold，一种在可学习边界折叠前缀隐藏状态的压缩方案，并在 Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B 五个规模上评测。固定目标协议下，压缩对各端点的影响非单调且不共享同一阈值，Qwen3-1.7B 在 R=1.7 时 NLL 降低 0.135，而 Pythia 两个模型的 NLL 基本不变；线性探针与推理指标变化小于 0.03。作者结论是潜在压缩下的能力保持没有单一标量证书，语言建模拟合、可解码性与推理在同一压缩操作下可能朝不同方向变化。
推荐理由：原文用固定目标协议把语言建模、可解码性与推理拆开评测，读者可以了解潜在压缩下各能力为何不同步。
arXiv 论文 2610.10536 提出 Exploration-Distillation（ExpDis）框架，将 RLVR 中的探索与优化解耦：训练带新颖性奖励的 explorer 策略，过滤轨迹后蒸馏进独立的 student 策略，student 训练时不带新颖性奖励，并多轮交替进行。在七个数学推理基准和两个模型家族上，ExpDis 在相同 wall-clock 预算下超过 DAPO，且 pass@$k$ 扩展更佳，表明生成的正确解更多样。代码与 checkpoints 已开放。
推荐理由：论文提出把探索与优化解耦的 ExpDis 框架，在七个数学推理基准和两个模型家族上与 DAPO 对比，方法描述完整可复现。
emirbartu 发布 jev-for-all 仓库，把 TypeSafe 的 System One 决策模型 Jev 接入 Claude Code、OpenCode、Hermes 和 pi，让智能体在约70至500毫秒内以约 $0.0001 的成本决定加载哪个技能、需要哪些工具及选用哪档模型。作者自测的12个小任务中，由 Jev 路由比始终用 Sonnet 省35%成本，lean 启动省37%输入token，但作者明确提示证据来自自写的小型单文件任务，每项仅跑一次，且提示词会发给 OpenRouter 的 alpha API。
推荐理由：作者不仅给出工具，还公开了基准脚本和失败记录，读者可以据此权衡token节省与选错模型的风险。
jedarden 发布 NEEDLE，一个用 Rust 编写的无头编码 CLI 智能体包装器，通过共享 bead 队列以确定性优先级顺序调度 Claude Code、OpenCode、Codex 和 Aider，每个 agent 输出结果（成功、失败、超时、崩溃）都有显式处理器，多 worker 经 SQLite 事务原子认领任务。内置 shipped-work 门控验证提交已推送，支持 OpenTelemetry 导出，默认适配 claude-sonnet-4-6 和 gpt-5.6-terra。代码以 Forgejo（git.ardenone.com）为主仓库，GitHub 为只读镜像，MIT 协议，作者称其为自用为主的 alpha 软件。
推荐理由：README 详述了状态机流转和每种 agent 输出的显式处理器设计，为搭建无人值守多智能体编码流水线提供了可直接复用的架构参考。
yuzhiqiang1993 在 GitHub 开源了 Antigravity Studio，一款为 Antigravity（IDE、桌面端、终端 CLI 和 VS Code 插件）设计的多账号管理与大模型代理工具，MIT 协议，全部操作在本地完成。工具把多个 Google 账号放入池子按故障转移、重置优先、粘性会话或负载均衡策略自动调度，主号额度低于 5% 或被 429 限流时备用号自动接力；支持 BYOK 接入 OpenAI、Anthropic、DeepSeek、Ollama、OpenRouter 等 34+ 平台预设，可调大上下文窗口、解析思考链，并按账号单独挂 HTTP/SOCKS5 代理，默认本地端口 8321 被占时自动顺延。
推荐理由：作者面向 Antigravity 多账号配额调度与第三方模型接入的痛点，给出了本地代理的完整方案和调度策略细节。
Headroom 开源发布，在本地压缩 AI Agent 读取的工具输出、日志、RAG 内容、文件和对话历史后再发给 LLM，压缩在用户机器上运行、不上传提示词或文件内容。提供 Python/TS 库、零改动代理 headroom proxy --port 8787、一行命令包裹 Claude Code、Codex、Cursor 等 Agent，以及 MCP server 和跨 Agent 共享记忆。内置场景实测包括 SRE 事件调试从 55,957 压到 24,340 token（省 57%）、代码库探索省 42%；压缩延迟 0.21 ms p50（10K token JSON），并支持可逆压缩 CCR 与输出 token 精简，项目采用 Apache 2.0 许可。
推荐理由：README给出多种真实工作负载的前后 token 对比和准确率评测数据，读者可以据此判断在哪些场景值得引入本地压缩。
damianvtran 在 GitHub 开源了 Local Operator，一个 MIT 协议的本地 Agent 组织运行时，支持角色受限的子 Agent、团队名册、跨会话消息传递和终端关闭后仍按时触发的计划唤醒。它可直接复用已有的 ChatGPT、Claude、Kimi、Grok、Z.AI 和 Qwen 订阅登录，账号自动池化与负载均衡，并通过稳定的提示词缓存布局降低长会话成本；默认写入和执行命令需人工批准，提供 TUI、桌面应用、手机远程访问和浏览器扩展。
推荐理由：原文完整给出了角色边界、跨会话通信和多账号订阅池的具体机制，读者可以直接了解这套本地 Agent 组织运行时怎么用。