方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
Yuval Reif 在 arXiv 发布论文（arXiv:2610.05597，COLM 2026），提出组合式 tokenization 方法 CoBPE，将短语表示为词元基础 token 加一组可复用表面修饰符，在嵌入空间组合并在输出端联合预测。在 780M 和 1.3B 规模的从零对照预训练中，CoBPE 在相同训练算力下将序列缩短 30%，下游平均性能较标准 BPE 提升 1.2 分。
推荐理由：论文给出 780M 与 1.3B 两个规模的对照预训练数据，读者可以据此评估组合式 tokenization 在等算力下的实际收益。
arXiv 论文 2610.05685 提出 BreadthKV，研究长链式推理（CoT）解码时在固定内存预算下如何分配 KV 缓存的 token 数量与精度。
推荐理由：论文用 60 题端到端校准决定位宽分配，并给出 AIME 上 91% 对 40% 的触顶率对比，方法与数据都可复现。
arXiv 论文 2610.05774 提出 AdaSpark，一种在服务过程中在线学习验证宽度与候选接受概率的 DSpark 树验证调度器，无需预先 profile、校准或扫描。
推荐理由：论文给出在线学习调度器在多个数据集和目标模型上的加速对比，无需预先 profile 或校准即可接近最优树宽。
ben-thomas1 在 GitHub 发布 AIDM，一个由 LLM 担任桌面跑团 GM 的单人终端角色扮演游戏，含可见骰子、NPC 私有知识与说谎机制，示例剧本为 1784 年海港小镇 The Ashford Light。
推荐理由：作者公开了回合引擎、验证机制和 35B 本地模型的实测延迟与局限，读者可以据此评估这个 LLM 跑团项目的实际可用性。
7omoo 发布 wind-tunnel-cli（alpha 0.x），一个用数百个本地 AI persona 测试文案的 CLI 工具。
推荐理由：原文讲清了从 persona 抽样、反应打分到 PCA 聚类的完整流程，读者可以照着复现这套本地文案测试方法。
开源项目 Learny 发布 v0.7.0，七个路线图全部完成。它摄取 EPUB 和 PDF（扫描件走选择性 OCR），保留书籍结构，用流式 Claude 生成带段落级引用的回答与教学，检索采用 PostgreSQL 混合搜索加 RRF 融合，并内置 FSRS 间隔复习、笔记进检索回路和 Obsidian 导出。
推荐理由：项目以结构化语料和可审计引用为核心架构决策，32 份 ADR 记录了取舍过程，对自建 RAG 应用有可借鉴的工程路径。
开源项目 Taskuary（v0.3.7.7，MIT 协议）发布，定位为本地运行的个人 AI 助理，将邮件、聊天和工单整理为任务，交给 Claude Code、Codex、Gemini、Qwen Code 等编码 CLI 执行，发送前需用户批准。
推荐理由：开源本地助理把邮件和工单交给已有编码 CLI 处理，还给出了 LEARNED.md 记忆机制与凭据脱敏的具体实现细节。
RubenAmaury 在 GitHub 发布命令行工具 esbi-cli（sb），将保存的 PDF、网页、邮件和剪藏内容转成 Markdown wiki，包含执行摘要、关键概念、术语表、逐字引用和概念图，并每天生成索引笔记。
推荐理由：原文给出了笔记结构、隐私边界和本地/云端模型的具体取舍，读者可据此判断是否适合自己搭建个人知识库。
batman1m2001-cyber 在 GitHub 发布 Operonx，一个支持 yield 的 async DAG 工作流引擎，同一套图可跑 Airflow 式批任务和 VAD → STT → LLM → TTS 的流式语音流水线。
推荐理由：原文给出了 yield 流式调度、多供应商 LLM 一行切换和内置追踪等具体设计，读者可据此评估是否用于自己的流水线。
WaterGodFurina 发布了由 AstrBot 迁移而来的 Go 语言实现 Astrbot-golang，称核心功能已验证，当前以版本同步、兼容性修复和稳定性完善为主。
推荐理由：原文给出了插件进程隔离、崩溃自愈与工具链自动下载等具体实现细节，读者可以据此评估这个 Go 版聊天机器人框架是否适合自部署。
/u/Koksny 发布了本地模型服务前端管理工具 KLIF（MIT 协议，Rust 编写，AMD 优先），可将 llama.cpp、sd.cpp、vLLM、TTS 等本地推理后端集中到一个窗口和 CLI 管理，支持通过 web 面板操作，并能让 agent 按需开关后端而无需说明各服务端口。
推荐理由：原文讲清了 KLIF 不带后端和权重、只做前端管理的定位，以及让 agent 按需开关本地后端的用法，便于判断是否适合自己的工作流。
作者在 RX 580 8GB 上用 Mesa RADV 的 Vulkan 路线绕开已放弃 Polaris 的 ROCm，通过 OpenAI 兼容路由在单卡上运行 qwen2.5-coder 1.5B/7B。
推荐理由：作者用 Vulkan 绕开 ROCm 对 Polaris 的放弃，在 RX 580 8GB 上跑通多模型并给出完整实测数据，方法可迁移到同类老卡。
bytebunkerlabs 开源 ByteBunker Console，一个自托管模型的 Playground 控制台，用一份标准库 Python 和一页原生 JavaScript 实现，无构建步骤、无依赖、无账号。
推荐理由：自托管模型控制台用单文件标准库 Python 实现，无依赖无构建步骤，兼容 vLLM、Ollama 等多种 OpenAI 兼容后端。
smg-project 在 GitHub 发布 Shepherd Model Gateway（SMG），一个面向大规模 LLM 部署的模型路由网关，用 Rust 编写，支持 vLLM、SGLang、TensorRT-LLM、MLX 等自托管引擎及 OpenAI、Anthropic、Gemini、xAI 等云厂商，统一为一个端点。
推荐理由：原文列出了10种路由策略和缓存感知调度的具体实现，面向大规模LLM部署的读者可对照自身架构评估是否适用。
FreeBSE-Osaka 在 GitHub 开源了 mp_cod，一个让单个本地 LLM 以多个专业家人格独立生成见解、经相互反驳与调和后形成结论的 CoD 编排工具。
推荐理由：原文附带了完整命令示例与实机耗时、内存数据，读者可以照着在本地复现这套多人格辩论编排流程。
jimdawdy-hub 发布 Local-LLM-Launcher-GUI，一个基于 vLLM 和 llama.cpp 的浏览器本地控制面板，用于在自有硬件上下载和运行大语言模型。
推荐理由：作者基于 vllm-cli 做出带内存预估和红绿灯提示的本地模型启动面板，对不想反复试错参数的本地部署用户有直接参考。
deadboyccc 发布 book2md 工具，基于 Docling 和 uv 在本地把 PDF 书籍逐页转换为 Markdown 文本加整页 PNG 渲染图，全程不上传文件。
推荐理由：作者开源了一个把 PDF 书籍按页转成 Markdown 加 PNG 的本地工具，并给出参数、OCR 选项和与 LLM 配合的具体用法。
alexwkleung 开源了 Reika，一个面向本地与托管模型的 coding agent CLI，专为 8B–35B、Q2–Q4 量化、16–32k 上下文窗口的小本地模型设计，兼容 llama.cpp、MLX、vLLM 或云端 API。
推荐理由：作者用实测数据说明 harness 层面对小模型的实际作用边界，比如上下文重写与追加的成本差异，方法可迁移到本地部署场景。
Max17190 在 GitHub 开源了 Open Max，一个用于终端编码的自扩展 Rust Agent 框架，以单个二进制运行，支持本地（Ollama、LM Studio、vLLM、llama.cpp）、云端网关（OpenRouter 等）或私有代理端点。
推荐理由：作者给出了终端编码 Agent 的完整设计取舍，包括七工具原语、文件式扩展与记忆机制，可作自建 Agent 框架的参考。
开源项目 ResumeForge（简历通）发布 0.15.0 版本，定位本地优先的 AI 简历工作台，不注册不登录，数据只存在本机一个 SQLite 文件里，MIT 协议免费。
推荐理由：原文把事实台账与防虚构校验的设计写得很具体，还给出与在线简历工具的逐项对比，适合关心简历数据隐私的人参考。