方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
Mørkyn（前身为 AI RPG Consistency Prototype）发布 0.9.12，当前开发中版本为 0.10.0-wip。它让模型只负责叙述，玩家、地点、物品、任务和 NPC 心理等世界状态存于 SQLite，模型通过封闭操作语言提议变更，由引擎校验是否与叙事一致，所有数值由服务端掷骰并写入审计表，支持回溯到相同骰子的 rewind。整个游戏可在家用 7B/8B 本地模型运行（Qwen3 8B Q4_K_M 经 MLE，典型回合约 18 秒），本地优先、数据不出机器，安装只需一个启动脚本，另支持 llama.cpp 和 OpenAI 兼容云 API。
推荐理由：原文讲清了用 SQLite 引擎而非模型来管世界状态和骰子的做法，对想解决长局一致性的开发者有可迁移的架构参考。
DaveEuson 发布 RigMatch，一款本地工具，通过 Ollama 在用户真实硬件上基准测试本地模型，按速度、答案质量和硬件契合度给出 0-100 Match Score 和等级，并选出 Top Match。应用提供面向新手的五步引导向导和含自定义测试套件、日志的 Advanced Mode，支持 Windows、macOS、Linux 和 Jetson，全程本地运行、无账号无遥测。许可为 source-available 而非开源，允许使用但不授权复制、修改或再分发；0.4.2 及之前的 macOS 版本未签名，首启可能需手动清除隔离并本地重签。
推荐理由：把选本地模型包装成相亲游戏，按你自己的硬件实测速度、质量和匹配度并给出 0-100 分，比看通用榜单更贴合实际。
GitHub 开源项目 narrated-explainers 可根据一个主题让 LLM 生成结构化脚本，再由本地渲染器输出 1080p 白板动画解说视频，用 Kokoro af_heart 配音，导出 H.264/AAC MP4。每段视频含 5–10 个场景，渲染器只接受数据，防止 LLM 注入渲染代码，支持 OpenAI 风格接口的任意 LLM 端点，源码 MIT 许可。
推荐理由：这个工具把脚本生成与渲染分离，渲染器只接受数据不接受代码，思路对想批量做解说视频的人有可迁移之处。
john-walks-slow 发布 token-speed-patrol，用 GitHub Actions 定时对 LLM API 服务商测速（TTFT、TPS、思考时长、成功率），结果以 JSONL 提交回仓库并通过 GitHub Pages 发布公开看板，零服务器零成本。支持动态模型发现、连续失败 5 次自动黑名单、OpenCode Zen 免费模型直连握手，默认配置 7 个免费端点（Groq、NVIDIA NIM、Cloudflare Workers AI、OpenRouter、ModelScope、Cerebras、OpenCode Zen），密钥只经 Secret 注入不落盘。
推荐理由：把 LLM API 测速跑在 GitHub Actions 上并自动发布看板，给出了可直接复用的零成本巡检方案和免费端点限额数据。
yack300 在 GitHub 发布 llm-platform-on-eks，一个在 Kubernetes（EKS）上运行 LLM 推理的参考平台，采用 Terraform 加 Argo CD 的 GitOps 模式。平台分五层：vLLM + KEDA 部署与自动扩缩、LiteLLM 多供应商网关、Qdrant RAG 管线、Prometheus + Grafana + OpenCost/Kubecost 成本观测（按请求/token 计费）、以及 Trivy/Checkov/Kyverno/GitLeaks 安全层。
推荐理由：原文给出五层架构与完整部署脚本，读者可按本地 kind 到 EKS 的顺序复现整套 LLM 平台。
AstraBox 是一个开源自托管的云 Agent 运行平台，可在自有基础设施上以任何模型运行 Claude Code、Codex、Hermes Agent、DeepSeek Harness 和 Pi，支持会话在数秒内启动与恢复，采用 Apache-2.0 协议。平台内置 LiteLLM 模型网关、Casdoor 团队登录、OpenSandbox 隔离沙箱、Vault 凭据注入，并提供 astrabox CLI 与 MCP 工具，可从定时、webhook、API 或消息平台触发 Agent。
推荐理由：README 讲清了部署流程、CLI 用法和可替换的插件接口，读者可以直接照着在自己主机上跑起来。
开源工具 Pandrator 发布 0.11.0，在浏览器界面中整合有声书生成、字幕校正翻译、配音和录音剪辑，Qt 桌面界面退役，改由 Pandrator Manager 打开，支持 Windows 10/11 与 Linux x86-64。新版按模型提供 745 条语言条目，自动转写优先 Parakeet，字幕编辑支持口播文本与显示文本分离，并新增被动 MCP 工作流，可让 Codex、Claude Code 等现有宿主模型直接完成校正与翻译。本地语音支持 audio.cpp 及 Qwen3 TTS、Kokoro-82M、XTTS v2 等引擎，转写支持 CrispASR 中的 Whisper large-v3 与 Parakeet TDT 0.6B v3，源代码以 MIT License 发布。
推荐理由：这条仓库主页完整列出了 Pandrator 0.11.0 的本地语音引擎、MCP 被动工作流和新版变更，方便评估它是否适合自建有声书与字幕流程。
Shuhao Li 等提出 Nucleus Speculative Decoding（NSD），在投机解码验证中引入目标模型的 nucleus 合理性判断，草稿 token 只要满足标准接受规则或属于目标模型 nucleus 即被接受，代码已开源。论文理论刻画了分布偏差，给出单步误差由草稿模型在目标 nucleus 内超额概率决定及序列级保真度界限；实验显示相对自回归解码加速最高 5.16 倍，相对标准投机解码最高 3.15 倍。arXiv:2610.07822。
推荐理由：论文给出了NSD的分布偏差理论刻画和与自回归、标准投机解码的具体加速倍数对比，方法可复用。
arXiv 论文（arXiv:2610.07853）审计 BitNet b1.58、Falcon-E、BitCPM 等三值语言模型的导出管线，发现潜在权重先转 bf16 的流程会翻转部分三值码：已发布检查点中 Falcon-E 与 BitCPM 有 0.83-1.77% 的码不一致，BitNet 2B-4T 为 1.530%。在低学习率微调端点，该导出使 Falcon-E-1B-Base 的 greedy GSM8K strict accuracy 从 58.79% 跌至 0.78%，BitCPM-CANN-0.5B 从 36.13% 跌至 0.39%；直接写入训练量化器的码或微调 bf16 输入两种补救方案均在三个模型上达到 4 点非劣性标准。
推荐理由：论文审计了三家实验室的导出管线，指出 bf16 转换会抵消低学习率微调的代码改动，并验证了两种补救方案。
Yupeng Su 等人在 arXiv 发布论文 ReFold（arXiv:2610.07863），提出一种免训练的渲染层，在不改动底层交互历史的前提下压缩长程 LLM 智能体每步重发的上下文。方法通过替换已展示内容为占位符、把智能体报告已完成的轮次折叠成一行摘要来消除跨轮冗余，删除均可逆，并采用分块渲染每隔几步才重写缓存前缀。在五个长程基准和两个前沿 LLM 上，ReFold 将 token 消耗最多降低 2.5 倍，每会话 KV-cache 内存减半且不损害任务成功率；在受限上下文预算下避免最多 92% 的强制压缩，并发服务下推理加速最多 1.7 倍、推理成本最多降低 3.4 倍。
推荐理由：论文提出无需训练的上下文压缩层 ReFold，长程智能体的成本与缓存数据都有可复用的量化参考。
论文提出 VisionWeave，让多模态大语言模型端到端学习在何处及以何种粒度分配视觉表征。方法结合门控空间池化器与粒度路由器，通过自蒸馏在 Qwen3.5-4B 上验证并扩展到 Qwen3.8-27B，训练耗资超过 30K A100 GPU 小时。基于 Qwen3.8-27B，该方法在八个基准上平均节省 43.0% token 并保留 98.9% 原生性能，优于固定 50% 节省目标下仅保留 88% 性能的 token 剪枝基线；部署于 SGLang 时吞吐提升 2.3x，平均 TTFT 降低 54.4%，平均 TPOT 降低 60.6%。
推荐理由：论文给出了弹性视觉表征的端到端训练方案与 token 节省、性能保持和部署吞吐的实测数据，读者可对比 token 剪枝基线评估其取舍。
wjf1 发布 multi-upstream-gateway v5.0.0，一个本地部署的多上游 AI 网关，从 wjf1/commandcode-proxy v4.22.4 分化而来，提供 OpenAI / Anthropic 双协议入口，当前仅 CommandCode 一个上游可用。项目完成 P0 语义移植（658 用例、覆盖率 65.87%、50 并发 P99 126ms），自带中文仪表盘、用量成本分析、多账号额度轮换、SSRF 防护、凭据 AES-256-GCM 加密与合规风险告知门；Freebuff 已移植未接线，腾讯 CodeBuddy 仍在规划中。
推荐理由：作者逐项列出了可用与不可用的能力边界，并给出测试、覆盖率和重试语义细节，便于评估这个网关的实际可用程度。
zhuzhaoyun 在 GitHub 开源了 Molio，一个把笔记、PDF、Word、网页、Obsidian 库乃至百万字书籍统一转成 Markdown 知识库的本地工具，供 Claude Code、Codex、Gemini CLI、Qwen Code 等 Agent 在其上检索、写作并把结果回写为 Markdown。全流程在本机运行，PDF 和 Office 转换由内置 docling 处理；项目还提供资治通鉴、红楼梦、中医经典等现成知识库一键导入，支持 Docker/NAS 自托管，许可为带商业限制的修改版 Apache 2.0。
推荐理由：README 详细列出了输入格式处理流程、Agent 接入方式和 Docker 部署限制，想给本地文档搭 AI 知识库的读者可以按需评估。
aksheyd 在 GitHub 发布 quantize，一个可用作 Rust crate 或 Python 包的快速量化库，支持对称与非对称量化、逐块自适应位宽和 scale 拟合，码字 2 到 16 位。附带从第一性原理推导的 8 个示例章节，质量与 candle 的 Q4_0 等格式持平，在 aarch64 上反量化更快，WikiText-2 上 SmolLM-135M 4-bit 困惑度为 26.44，fp32 为 18.93。
推荐理由：这是一个 Rust/Python 双可用的量化库，原文给出了与 candle 的质量与速度基准数据，方法可迁移。
作者在 GitHub 发布 stoneburner（PyPI 包名 stoneburner-atomics），一套本地优先的 LLM 评测 CLI，覆盖 token 成本、质量与安全测试套件，同一命令可跑笔记本上的 Ollama 或云 API。结果记录在 SQLite，部分运行时百分比显示为 n/a、JSON 头部为 null，避免把未完成的覆盖误读成完整分数。
推荐理由：作者发布了本地优先的 LLM 评测 CLI，同一套命令覆盖笔记本 Ollama 和云 API，并给出完整的首跑示例与安装命令。
ipsupport-llc 在 GitHub 开源 ipsupport-code，一个针对任意 OpenAI 兼容服务器的自学习编码智能体，打包为单个静态二进制，通过 reason → act → observe 循环驱动 file、run、git、web、calc 五个工具，并在任务后反思写入学到的经验。它内置 Claude-Code 风格的 Bubble Tea TUI、plan/auto 模式、权限策略加工作区沙箱、影子模式风险评分器（纯 Go 推理，普通调用误报 7.0%、漏报 3.4%）、子智能体委派（支持 codex/claude 等外部 CLI）、/goal 目标循环、/steer 运行中转向、MCP、skills、自更新与匿名遥测开关。
推荐理由：项目给出了权限策略、沙箱和风险评分器的具体设计与实测数据，对想在本地小模型上跑编码智能体的读者有参考价值。
liliang-cn 在 GitHub 发布 agent-go v3，一个用于运行 Agent 循环的 Go 库，涵盖 tools、memory、MCP、skills、sessions、checkpoints 与 long runs，无 CLI 和 UI，需将 pkg/agent 嵌入自有程序，要求 Go 1.25+。支持 svc.Ask、Chat、Stream、Run、RunSegments、Steer 等 API，兼容任意 OpenAI 兼容端点（OpenAI、DeepSeek、Ollama、vLLM、DashScope/Qwen 等）并提供 provider 池负载均衡，内存存储可选 file、mem0、qdrant、weaviate 等多种后端，License 为 MIT。
推荐理由：README 覆盖了工具、记忆、MCP、长任务和 provider 池等完整能力清单，Go 开发者可据此评估是否嵌入自己的 Agent 程序。
runningpixels 发布开源桌面 LLM 工作区 Conduit 的 1.0.0-rc.8 候选版，支持 17 家云服务商及 Ollama、LM Studio 本地模型，数据存于本地 SQLite，无账号、无后端、无遥测。功能包括可保存的个人应用、可编辑的幻灯片、带引用的文档问答与研究报告、写作、定时工作流和 MCP 连接器；基于 Tauri 2 与 Rust 构建，API 密钥存于系统钥匙串，提供可选 AES-256-GCM 静态加密，提供 Windows、macOS 和 Linux 安装包（未做系统代码签名），采用 AGPL v3.0 许可。
推荐理由：开源桌面 LLM 工作区进入 1.0 候选版，README 详列架构、信任边界与各功能状态，便于评估是否本地部署。
maci0 发布了用 Zig 编写的 LLM 推理引擎 Agave，所有内核、量化器、tokenizer 和模型实现都在仓库内，不依赖任何外部 ML 库，仅需一个 Zig 编译器即可构建。支持 7 种模型架构、6 种后端、20+ 量化类型和分布式推理，Qwen3.5 0.8B Q8_0 在 M4 Pro Metal 上达约 125 tok/s。项目处于 0.x 阶段，AMD RX 7900 XTX 上 ROCm 和 Vulkan 后端存在输出错误的已知缺陷，llama.cpp 的模型覆盖面仍更广。
推荐理由：作者用 Zig 从零实现全部内核并给出与 llama.cpp 的对比数据，同时坦承 ROCm 和 Vulkan 存在正确性缺陷，适合想读无依赖推理引擎代码的人。
guzhou079-arch 在 GitHub 发布 DeepSeek Harness 的安卓移植与增强版，打包为可直接安装的 APK，终端、文件访问和命令执行均在 App 内运行，无需 Termux、root 或配环境。基于上游 woaiys3 的安卓壳骨架做了 25 条适配补丁，内置 11 款随包技能，支持悬浮球桌宠、手机自动化，并可在手机内完成 javac 到 d8 到打包签名的自建出包链路（构建环境约 193MB 按需下载）。每个 Release 附 APK 的 SHA-256 供核对，仅可从本仓库 Releases 更新，否则会因签名冲突导致卸载重装清空私有数据。
推荐理由：README 详细列出安卓适配补丁、自建出包链路和第三方许可来源，开发者可以据此评估这个免 Termux 方案的实际能力与风险。