方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,762 条
Jiachen Zhao 在 arXiv 发布论文提出 Persona Hierarchy Model，用共享默认人格解释微调行为在不同情境下的泛化差异。基于 Qwen3-4B 等共 120 个微调模型、4 种行为和 15 个训练情境的实验显示，泛化窄度与训练情境人格和默认人格的相似度正相关（Pearson's r = 0.72）；在默认情境下先微调可拓宽后续泛化。作者还提出 persona-preserving regularization（PPR），在 RL 中将 reward hacking 从 42-55% 降至最多 0.2%，同时保留准确率提升。论文链接 https://arxiv.org/abs/2610.09384v1
推荐理由：论文用 120 个微调模型的数据解释行为为何跨情境泛化，并给出能将 reward hacking 压到 0.2% 的正则化方法。
arXiv 论文 2610.09639 通过受控合成框架测量发现，reverse-KL 在线蒸馏（OPD）能在三个模型家族的四个模型上稳定迁移跨未见推理结构的组合性技能，但几乎不迁移事实知识。消融显示换用 forward KL 可恢复事实迁移，学生 rollout 则专门提升多步推理执行；在事实问答与竞赛数学实验中呈现同样的不对称。结论是 OPD 不扩充模型参数化知识，而是教会模型组织与组合已有知识。
推荐理由：论文用受控合成框架区分知识与技能两类能力，说明了 reverse-KL 在线蒸馏为何只迁移推理技能而不扩充事实记忆。
Jonghyun Han 在 arXiv 发布论文，发现持续预训练和微调中的灾难性遗忘集中在语料中罕见出现的 token 的输出嵌入，由 Adam 二阶矩归一化放大单侧 softmax 梯度所致。提出仅对输出投影提高 Adam epsilon 的干预，在 160M 到 12B 参数、四个模型族的八个设置中消除 39.4% 到 67.9% 的遗忘且不损害目标学习，与 replay 叠加后在 Qwen/Korean 上达到 79.8%，但事后编辑漂移行只能恢复不到 5%，因此必须在训练期间施加干预。
推荐理由：论文把灾难性遗忘定位于低频词的输出嵌入，并给出仅调 Adam epsilon 的单行干预及其跨 8 个设置的验证数据。
Sergei Polezhaev 在 arXiv 论文 arXiv:2610.09858 中提出 Caddie，通过强化学习训练批评模型，依据 Agent 接收反馈后最终是否成功来优化，不依赖步骤级标注，且基础模型保持冻结。基于 Qwen3-4B 训练的批评模型提升了四个不同规模与架构基础模型的成功率；在 MuSiQue 上使 Qwen3-4B 成功率提高超过 25 个百分点，超过无批评模型的 Kimi K3，并在 τ³、DeepDive 等域外交互基准上无需额外训练即有增益。
推荐理由：论文用任务最终成败而非步骤标注训练批评模型，读者可以了解一种可跨模型迁移的 Agent 反馈训练方法。
iopsystems 在 GitHub 发布了 llm-perf，一个用于 OpenAI 兼容 LLM 推理服务器（如 llama-server、vLLM、TGI）的高性能基准测试工具。它支持 SSE 流式 TTFT 测量、并发与固定 QPS 负载模式、uniform 和 Poisson 到达分布，输出 TTFT、TPOT、ITL 及端到端延迟的 mean/P50/P90/P95/P99 分位数，并可按输入上下文大小（small 到 xxlarge）分层统计。
推荐理由：这个开源压测工具覆盖 TTFT、TPOT、ITL 分位数和按上下文长度分层统计，还能把 Azure 编码智能体会话数据重放到 llama-server 或 vLLM 上。
VincentAZ 在 GitHub 发布 Prompt Maker，一个本地运行的提示词生成与渲染工具。它为 Krea 2 RAW、LTX 2.3、MiniMax H3、Wan Animate 2 等模型各维护一套提示词写法，由本地 LM Studio 模型按目标模型的风格写提示词，并可直接把提示词填入 ComfyUI 工作流渲染。支持图像参考、角色一致性、语音生成、Wan Animate 2 角色动作迁移、批量渲染和助手长任务，全程离线运行，无 npm 依赖。
推荐理由：这个本地工具按每个图像视频模型的提示词方言分别维护写法，并直连 ComfyUI 工作流渲染，读者可以借鉴其模型感知的提示词组织思路。
作者开源了 aimo3-agentic-inference，一个可在 vLLM 等 OpenAI 兼容服务上运行的 AIMO3 风格数学推理 Agent。它并行发出多路解答，各路可调用带时限的 Python 工具验算，先按票数、再按 token 熵破平局选出 \boxed{整数} 答案，并在达成一致时提前停止。项目为独立 clean-room 实现，不含竞赛数据或模型权重，Python 包无第三方运行时依赖，支持 JSONL 评测与无 GPU 的 mock 演示，MIT 许可。
推荐理由：作者以 clean-room 方式把采样、工具调用、投票与熵破平局这套推理循环写小到可读可测，方法可迁移到自有项目。
TheWiderLens Initiative 发布开源私人 AI 助手 Clara，在用户自己的 PC 上本地运行，配 Android 手机应用，免费无订阅，聊天、文件和记忆不离开本机。她以 Bonsai 2 27B 为大脑、Hermes 为智能体、Laya 路由器区分聊天与任务，可浏览网页、管理提醒、读邮件日历、写代码和做视频，高风险操作需手机确认；支持 Gmail、Outlook、Spotify、Notion、GitHub 等连接器，可选经 OpenRouter 的按任务批准的云端加速。要求 NVIDIA GPU 至少 12 GB VRAM、16 GB 内存、40 GB 磁盘、Ubuntu 24.04+，安装约 20-40 分钟，Apache-2.0 许可。
推荐理由：本地运行的私人 AI 伴侣兼智能体，原文给出了架构、硬件门槛和隐私边界说明，可了解全栈自托管陪伴产品的构建方式。
G-Mini-Agent 是一个开源的 Windows 桌面 AI 智能体，可查看屏幕、控制鼠标键盘和浏览器，具备长期记忆、语音对话和 24/7 后台任务能力。它通过统一路由支持 OpenAI、Anthropic、Gemini、Claude/ChatGPT 订阅及 Ollama 等本地模型共 30 家提供商，技术栈为 Electron 加 Python（FastAPI 和 Socket.IO），并提供 Linux AppImage、无头服务器模式与 MIT 许可。安全方面包含权限分级、代码沙箱和凭据系统存储。
推荐理由：仓库文档完整覆盖视觉操控、记忆、语音与权限沙箱等实现细节，想自建桌面智能体的读者可以直接参考其架构与部署方式。
Het-Joshi 在 GitHub 发布开源终端 Agent lotus，可在本地通过 Ollama 驱动 4–8B 小模型操作文件、shell、网页和真实浏览器，纯 Python 无依赖，数据不出本机。它用约 250-token 系统提示词和按需加载工具适配小模型，能容错小模型写坏的 JSON 工具调用、检测并切断推理循环，支持子 Agent 并行、Tor 浏览、钓鱼检测、截图视觉模型切换、定时 recipe 和 MCP 扩展，MIT 协议开源。
推荐理由：这是一个面向 4 到 8B 本地小模型的终端智能体工具，为小模型调整了提示词、工具调用容错和循环检测，可迁移到本地 Agent 部署。
zenithfoundry 发布开源工具 slm-gate， 在本地通过 Ollama 运行小模型， 作为编码助手与云 AI 之间的预处理和路由层：压缩发给付费云端的大文件、日志等冗余内容， 并让本地模型尝试回答对话首条简单消息以避免消耗付费配额。工具兼容 Claude Code、Codex、Cursor、Gemini CLI、Cline 及任何 MCP 客户端， 依赖 Node.js 22+、16 GB 以上内存， 用 SQLite 账本记录 token 节省量并提供本地 metrics 命令与可发布到 GitHub Pages 的仪表盘， 可选接入 Langfuse。MIT 许可。
推荐理由：开源工具在本地用小模型压缩上下文并拦截简单请求， README 给出完整架构、配置与度量方法， 思路可迁移到自己的编码工作流。
GitHub 项目 RobinBandit 发布了一个介于 Agent 与多个 LLM 提供商之间的自适应路由器，根据历史调用的质量、延迟、健康度、配额等信号动态重排提供商，而非固定 fallback 列表。打分公式结合 Thompson Sampling、Peak EWMA 与占用惩罚，无需 torch、sklearn 或 numpy；内置 41 个提供商目录（13 个免费额度、4 个本地、2 个订阅制），支持经 Claude Code 与 ChatGPT Codex 的已认证 CLI 会话接入，提供 /painel 面板与 OpenAI、Responses、Anthropic 三种协议端点，MIT 许可。
推荐理由：原文完整给出了打分公式、Thompson Sampling 与 Peak EWMA 等机制和实测数据，读者可以直接复用这套多提供商路由方法。
Pal AI Lab 在 GitHub 开源了 Cortico，一个围绕事件流设计的智能体框架，面向自主持续运行的 AI，适用人格机器人、AI 主播、角色扮演和陪伴等场景。框架按 Core、Persona、Memory、World 四层分离，内置 QQ、Bilibili Live、Minecraft、网页搜索等 World，支持 Responses 协议 API 和 llamacpp 本地模型，并提供 WebUI、多部署管理和 AI 辅助的 Cortina 扩展开发系统，项目采用 AGPL-3.0 + CLA 许可，要求 Node 22+。
推荐理由：原文详述了事件流架构的四层设计与World扩展机制，想搭建持续运行的AI伴侣或AI VTuber的读者可以据此评估上手路径。
magicsih 在 GitHub 发布 chda，一个带 git worktree 侧栏和实时状态板的终端，支持跟踪 Claude Code、Codex、Gemini CLI、GitHub Copilot CLI 和 OpenCode 的运行状态。终端核心基于 libghostty-vt，用 Rust 和 GPUI 编写，可从 worktree 面板完成创建、启动 agent、合并和清理，通过 hook 只转发会话 id、工作目录等元数据，不存储提示词和对话记录。当前支持 macOS 14 及以上（Apple silicon 和 Intel），内置 MCP 服务器供 agent 调用，MIT 协议开源。
推荐理由：README 详述了 worktree 侧栏和五种 coding agent 状态跟踪的实现方式，包括各 agent 的 hook 接入细节，可作终端管理多 agent 的参考。
dimpurr 在 GitHub 开源 chat-stasher，一个本地优先、加密、只增不改的 AI 对话归档工具，覆盖 Claude Code、Codex CLI、Gemini CLI、Cursor 及 ChatGPT、Claude、DeepSeek 等 5+ 平台的编码 Agent 和网页聊天。动机是 Gemini CLI 和 Claude Code 默认按 30 天删除会话记录，网页聊天存放在不受控账号中；CLI 读取各工具自身会话文件，浏览器扩展经本地 host 交付网页对话，加密后存入本地磁盘、SFTP 或 R2。目前仅有 macOS 预编译二进制，Linux 和 Windows 需 0.5.0；扩展尚未上架商店，且暂无写回工具的 restore 命令。
推荐理由：针对多个工具会自动删除会话记录这个常被忽略的问题给出本地加密、只增不改的归档方案，并如实标注各平台验证状态和局限。
/u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM，配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文，解码约 90 tok/s，配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。
推荐理由：作者在同一台机器上实测两套本地部署方案，把原始推理速度和真实智能体任务完成时间分开对比，思路对搭建类似配置有参考。
ExileAI 发布 model-audit（前身为 gguf-audit），一个针对 abliterated 模型产物的供应链审计工具，目前支持 GGUF 文件。工具提供 CLI 扫描、逐张量 SHA-256 指纹基线、与 Hugging Face 仓库哈希交叉核对及批量审计，并为非技术用户生成通俗 HTML 报告；可检出恶意聊天模板、隐藏指令、标签不匹配、缺少来源信息和附带可执行文件等问题。作者明确说明哈希只证明一致性而非安全，最可靠方式仍是从可信来源自行量化；路线图包括 safetensors 支持、统计化逐张量剖析和针对 abliteration 修改位点（ffn_down/ffn_out/attn_o）的基线差异定位。MIT 许可。
推荐理由：面向非技术用户解释了 abliterated 模型文件的供应链审计思路，明确了哈希能验证什么、不能证明什么，方法可直接复用。
作者开源了 DocRag，一个基于 LangChain、LangGraph、FAISS、BM25 和 Ollama 的本地优先 Agentic RAG 系统，集成混合检索、查询改写、父子分块、纠正式检索、自适应路由与 LangSmith 观测。在固定 10 题评测集上，Hit Rate@5 从 30% 提升到 80%，MRR 从 0.300 提升到 0.540；宽松的查询改写曾使 MRR 从 0.353 降到 0.303，收紧约束后恢复到约 0.350。作者强调每个检索改动都需实测，评测器本身也要被评测。
推荐理由：项目用固定基准逐版对比检索改动，还记录了查询改写引发检索漂移、评测器自身出错的教训，方法可迁移。
SocialCoach 开源发布，提供中英双语的 AI 社交沟通练习，覆盖 7 类生活情境的 58 个场景、34 项技能、42 条策略与 30 个案例，支持 3D 实景对练与基于原话的复盘反馈。技术栈为 Next.js 16、React 19 与 Three.js，可本地运行、Vercel 或 Docker Compose 部署，支持自带 Anthropic 或 OpenAI 兼容模型，练习数据保存在浏览器并可导出。项目基于 Wang 等人 2026 年论文 SocialCoach: Personalized Social Skill Learning with Agentic Tutoring and Practice，采用 Apache 2.0 许可。
推荐理由：这是一个可直接本地部署或自带模型使用的开源社交沟通练习应用，想实际体验 AI 情境对练的读者可以动手跑起来。
mmogr 发布了开源工具 GGLib（GitHub：https://github.com/mmogr/gglib），它读取每个 GGUF 的元数据和聊天模板自动确定启动参数、工具调用格式和采样默认值，通过在 llama-server 与客户端之间运行智能代理，让整个本地 GGUF 库以 OpenAI 兼容端点（http://127.0.0.1:8080/v1）的形式供 Cline、Aider、Zed 等客户端使用。
推荐理由：README 写清了工具调用修复的实测数据和采样、上下文、KV cache 各层的处理方式，适合想本地跑智能体客户端的人参考。