方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
WhoFlips 论文（arXiv:2606.16011）开源配套仓库与数据集，用两阶段协议测量 LLM 答案稳定性：先让模型为错误选项写论证，再用该论证挑战其原本正确的答案。实验覆盖 GPT-5.1、Gemma-4-26B、Llama-3.1-8B、Llama-3.3-70B 和 Qwen3.5 系列，变量包括论证长度 k ∈ {1,3,5,10}、归属（盲/自）与来源（同模型/跨模型），解码温度为 0 并禁用推理。数据集 nafisehNik/WhoFlips 约 1.18 GB、约 20.3 万行，含 self_mmlu、cross_mmlu 和 maxflip_mmlu 三个子集，CC BY 4.0 许可，每行保留两阶段完整信息可直接重算 AFR 等指标。
推荐理由：论文配套仓库同时放出了完整代码、复现脚本和约 203k 行的公开数据集，读者可直接复核答案翻转指标而不必重跑实验。
Kernel-Hunter 在 GitHub 开源 Mudroom，将 Claude Code、Codex、Gemini CLI、opencode、Aider 等编码智能体运行在 Linux micro-VM 与项目写时克隆中，真实目录不挂载，网络限定为白名单主机。智能体完成后可按全部、部分文件或部分 hunk 审查并应用 diff，且每次应用都可撤销。macOS 应用与 CLI 需 macOS 26+ 及 Apple silicon，Linux 仅 CLI（需 Docker 或 Podman）；项目状态为早期原型，作者提示 Apple 后端下 VM 可达宿主监听端口、会话运行期间密钥以明文落盘等限制。
推荐理由：README详细写明了隔离实现、网络白名单机制与已知的隔离缺口，读者可以据此评估在运行无权限约束的编码智能体时是否适用。
jackclub-cn 在 GitHub 开源了 OpenLLM Gateway，一个自托管 LLM 网关，提供多提供商聚合、模型路由、访问密钥、用量统计和管理控制台。后端为 Rust + Axum，数据存 SQLite，前端嵌入单个可执行文件，提供 Windows、Linux、macOS 预编译二进制；兼容 OpenAI /v1/chat/completions、/v1/responses、/v1/completions、/v1/embeddings 和 Anthropic Messages 协议并支持跨协议双向转换，支持多密钥故障切换、会话亲和路由、每日 Token/费用额度与请求日志查询导出。
推荐理由：README 讲清了网关的多上游聚合、协议互转和密钥限流设计，想自托管统一 LLM 入口的读者可以按需参考部署方式。
Showdar Router 在 GitHub 发布，为 OpenCode 及 OpenAI 兼容客户端提供本地路由网关，将多个提供商、凭证和模型统一到 http://127.0.0.1:21298/v1 单一端点。支持有序 combo fallback、健康感知冷却与恢复（half-open 探测、Retry-After 等恢复元数据）、空响应视为路由失败，默认端口 21298，可通过 npm install -g showdar-router 安装，MIT 协议，源自 decolua/9router 的独立 fork。
推荐理由：README 讲清了健康感知路由、有序 fallback 和恢复元数据的处理方式，想给多提供商工具做统一本地网关时可以参考这套做法。
GitHub 上的 local-llm-bench-lab（v0.11.0）发布，用一个 YAML 文件描述模型、llama.cpp 设置和变化参数，自动编译、下载模型、跑完所有组合并存入 SQLite，最后给出胜出配置和对应的 llama-server 部署命令。工具优先为 Raspberry Pi 5 设计，也可在任意 Linux PC 包括 WSL2 上运行，测量速度、延迟、质量与并发，每个结果记录 llama.cpp commit、模型 sha256、完整 flags 和机器信息，附带置信区间、运行间冷却和不稳定标记，并可选用 lm-evaluation-harness 与 LLM judge。
推荐理由：工具用单个 YAML 定义实验矩阵并自动记录 llama.cpp commit、模型 sha256 与硬件信息，可迁移到自己的本地模型对比流程。
Kujira 在 Hugging Face 发布 Underdog-Saluki-27B-1.0-MTP 的 abliterated GGUF 版，仅改动第 35–36 层的 4 个张量，其余 862 个张量与原文件字节级一致，未做训练。有害提示词拒绝率从 99% 降到 1%（开思考时 78% 到 2%），英语困惑度上升 1.6%、日语上升 1.8%，速度和显存与 MTP 版相同，约 58–62 tok/s，12 GB 显卡可用 40K 上下文。消融方法未公开。
推荐理由：原文列出消融改动的具体张量、拒绝率前后对比和困惑度变化，读者可以评估这个去对齐版本的代价。
作者开源了 Silver Tavern 自托管 AI 角色扮演平台 chino142/galstage，内测版本 v0.5.1，可直接吃 SillyTavern 生态的角色卡、世界书和预设，向 galgame 演出方向做深。项目零第三方依赖、纯 ESM 单文件，支持演出层指令驱动舞台、CG 解锁回廊、一键导出 Ren'Py 工程、ComfyUI 出图、MCP 服务器供 Codex / Claude Code 接入、多用户隔离与 AES-256-GCM 加密备份，可打包约 92 MB 单文件 exe 或在安卓 Termux 上运行；AGPL-3.0 协议，不接受 issue 和 PR，接口与数据结构仍会变化。
推荐理由：README 写清了兼容 SillyTavern 卡片的演出层设计与零依赖部署路径，想自建 galgame 式角色扮演酒馆的读者可以照着跑起来。
arXiv 论文 UPTURN（arXiv:2610.13672）提出无需微调的推理自纠错框架：用 130K 参数 MLP 头在冻结编码器上学习失败 rollout 的干预位置，再以新用户回合注入指令并重新生成后缀。研究发现固定生成预算下行内注入无法可靠重定向推理，而新回合注入可以；在四个推理模型和六个数学基准上，UPTURN 在所有设置下平均准确率均超过 32-rollout 基线，在匹配纠错预算下优于自纠错和反思 token 注入基线，并可跨模型迁移至 GPQA-Diamond，与 GRPO 和自纠错方法互补。
推荐理由：这篇论文提出了免微调的自纠错框架，用新用户回合而非行内注入来重定向推理，并给出了跨四个推理模型与六个数学基准的验证结果。
GitHub项目Guch1120/Local_LLM_by_using_MobilePhone发布，这是一个iOS应用，可将iPhone变成OpenAI兼容的本地推理服务器，供附近PC调用，推理数据留在设备上。项目基于LiteRT-LM v0.17.1和llama.cpp（Metal GPU后端），已在iPhone 16上验证Gemma 4 E2B文本推理，支持JPEG/PNG图像输入、USB端口转发、Hugging Face模型直接下载、诊断日志（最多500条、不记录提示词），并提供Ubuntu端辅助脚本和TestFlight部署流程。
推荐理由：原文给出了iPhone跑本地多模态模型的完整部署路径和实测机型，可作为在手机上搭OpenAI兼容推理API的可迁移方案。
作者开源 unseen-voice，在 Ubuntu 24.04 GNOME 46 Wayland 上按住右 Ctrl 即可说话，放开后自动贴上繁体中文，快速模式用本机 SenseVoice（CPU）全程离线，放开到贴上约 0.3 秒。整理模式把识别结果交给 LLM 依内置「小纸条」删赘词、条列、改写成 Email/Slack 或翻译成英文、日文、简体中文，默认方案 B 用本机辨识加 Groq gpt-oss-20b 整理，也支持本机 Ollama（默认 qwen3:4b-instruct-2507-q4_K_M）；提供 20 条历史纪录、替换字典、GNOME Shell extension、uninstall.sh 完整还原，MIT 授权。
推荐理由：README 完整给出安装、方案与耗时实测细节，想自建 GNOME Wayland 语音听写时可直接照着部署和比较本机与云端方案。
Tiago de Carvalho Vilas Boas 发布开源工具 Downshift（Beta，Apache 2.0），它以单个 Go 二进制作为 PreToolUse hook 运行，在 coding harness 生成子智能体时对任务文本打分，从会话可用模型中选出 small/mid/frontier 档位并只改写该子智能体的模型，父会话模型不变；无网络调用、不存提示词。示例中 Claude Sonnet 5.5 会话的三个子任务可分别路由到 Haiku、Sonnet 和 Opus，计费按子智能体档位。它还内置零依赖的本地上下文压缩器 downshift context compress。
推荐理由：这个路由工具用 hook 在子智能体生成前改写模型档位，还公开了各 harness 重写是否被实际执行的证据表。
论文提出 HOA（Humanize Olympiads Agent），一个开源的流程级框架，通过独立审稿、结构化 wiki 和 Lean 证明验证三条反馈通道协调多个智能体会话求解奥赛题。使用 GPT-5.6 Sol 时，HOA 在 IMO、IPhO、IOI 2026 满分，IChO 2026 接近满分，PutnamBench 672 题全部解出，并以 251/304（82.6%）位居 Lean-Eval 榜首；改用开源模型 Kimi-K3 也在 IMO、IPhO、IOI 满分，IChO 达 97.1% 金牌水平，部分超过闭源 GPT-5.6 Sol + /Goal 基线。论文地址 https://arxiv.org/abs/2610.13632v1。
推荐理由：论文提出多会话协作框架替代单会话求解，并给出用开源模型逼近闭源模型奥赛成绩的对比数据，方法可迁移到其他长程推理任务。
santosardr 在 GitHub 开源 RIS-Kernel，一个模型无关的稀疏注意力推理引擎，可在无加速的普通 CPU（16–128 GB RAM）上运行 64k+ token 的长上下文推理，无需修改模型权重。在 Qwen2-1.5B-Instruct 上 32,768 token 受控评测中，1% 密度、70 seeds 的 RIS-Stochastic 达到 75.00% 准确率，超过原生稠密注意力的 71.88%；65,536 token 时稠密注意力会显存溢出，RIS 相对零上下文基线（51.56%）最多提升 14.06 个百分点。GPU 环境下 40k token 峰值显存从 36.2 GB 降至约 9.4 GB。
推荐理由：仓库给出了在无加速 CPU 上跑 64k+ 上下文的实测精度与内存数据，读者可以据此评估稀疏注意力方案的可用性。
GitHub 用户 younis-y 发布 rolescan，一个直接读取雇主招聘站 ATS JSON 端点的求职扫描工具，用纯 Python 关键词预过滤丢弃大部分职位后再调用 LLM 打分并输出排名摘要。实测一次运行抓取 526 个职位，预过滤丢弃 93%，本地 Ollama 在 25 个职位基准上 verdict 准确率 72%、模型级 blocker 召回 50%，Claude Haiku 打分约每职位 0.003 美元。支持 facts 与 judge 两种模式、绿屋 Greenhouse/Lever/Ashby/Workable/SmartRecruiters/Workday 等数据源适配器、入口点插件扩展、verdict 缓存与离线测试，MIT 许可，需 Python 3.11+。
推荐理由：作者给出了一次真实运行的预过滤丢弃率和成本数字，读者可以借此评估确定性预过滤加两级打分这条成本控制思路是否可迁移。
dragonked2 发布开源 AI 编码智能体 AlphaCode（MIT 协议，Rust 编写），可在终端中读代码库、编辑文件、运行命令与测试、驱动真实 Firefox 浏览器和桌面应用，并自我验证结果。它支持 Swarm 多智能体、持久会话、Skills 与 MCP，可接入 Anthropic、OpenAI、Gemini 等多家模型，内置免费 AI 通道无需 API key 即可启动；官方自测单会话内存占用 27.8 MB，约为 Claude Code（386.6 MB）的 1/14。
推荐理由：README 给出了完整的安装、功能清单和与多款 CLI 工具的内存占用对照数据，读者可据此评估这个 Rust 编码智能体的适用场景。
KRLabsOrg 开源 verbatim-rag，一个溯源优先的抽取式 RAG 工具包，通过检索文档、抽取相关片段并带引用返回原文摘录来缩小生成面。其 150M 参数 ModernBERT 抽取器在 100 行 ACL-Verbatim 基准上取得 53.6 micro Word-F1，高于最强受测 LLM 抽取器的 48.7；README 强调这是溯源保证而非真实性保证，并支持 SPLADE 加本地抽取器在 CPU 上免 LLM API 运行，同时发布了数据集、训练管线与 MIT 许可的推理代码。
推荐理由：原文给出了抽取式 RAG 的架构、基准数字与部署方式，可帮助读者了解用逐字引用约束生成面的具体做法。
Nakano-official 在 GitHub 发布 Loop-Engine，一个让 AI 自主运行实现循环而不依赖测试自申告或权限越权的实验性执行基座，将 Planner、Runner、Solver、Critic 四个角色分离并用 uid 隔离权限。Runner（runner/loop.py，约2400行，仅标准库）已实现，2026-08-21 完成从6行需求到11步、零人工介入的完整执行；2026-09-01 用本地 Qwen3.5-9B（RTX 2060 6GB、41.6 tok/s）替换 Codex 作 Solver 的对照实验中，两者均为 11/11 绿灯、48件测试通过、零人工介入，本地模型耗时15分12秒反而快于 Codex 的19分37秒。
推荐理由：原文给出了完整的设计原则、角色分离方案和两组对照运行数据，读者可以据此评估不依赖自申告测试的 AI 实现循环是否可行。
开发者 vladimirrott 在 GitHub 发布 mojo-dllm，用 Mojo 语言实现的推理栈在 CPU 上运行扩散语言模型 LLaDA-8B 与 Dream-7B，无需 Python 和 GPU，从量化 GGUF 文件加载。
推荐理由：作者用同一台 CPU 上与 llama.cpp、diffuse-cpp 的对照数据和 CI 强制的可复现基准，让读者能核实 Mojo 实现的真实性能。
Joseph Egan 等人发布 arXiv 论文，提出无需预先知道特征即可从蒸馏学生模型的参数更新中无监督恢复隐性传递特征的方法，利用该特征在教师生成的多样数据上一致表达、而任务能力随数据变化的单一不对称性。该方法返回一个权重空间方向，可放大以解释特征或投影去除以抑制其表达；在 Cloud et al. (2026) 的 subliminal-learning 基准上，无需特征标签即恢复了传递的动物偏好特征，且抑制表达几乎不影响任务性能。论文地址 https://arxiv.org/abs/2610.13536v1。
推荐理由：提出无需预先知道对齐问题即可从参数更新中无监督发现并抑制蒸馏隐性传递特征的方法，为蒸馏继承对齐风险提供了可操作的缓解思路。
choiyounggi 在 GitHub 发布 groundwork，用四个 Claude Code 插件组成一套 harness：guardrails 在命令运行前拦截 curl | sh。
推荐理由：四个插件把 Claude Code 的安全护栏、编排、记忆和判断门做成可拆装的一套 harness，各插件的成本与验证数据原文都给了。