方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
GD4AI 在 GitHub 发布 Obsidian 插件 obsidian-llm-wiki，将 Karpathy 的 LLM Wiki 想法做成一键插件，用 LLM 从笔记中提取实体和概念生成交联 wiki 页面，不改写原始笔记。检索不用向量嵌入，而是基于 [[wiki-link]] 图的 5 级级联加 Monte Carlo Personalized PageRank，项目自有语料上 PPR @5 为 27.1% 对纯 kNN 基线 24.1%；插件支持 16+ 家 LLM 提供商、11 种界面与输出语言、v1.27.0 起内置 MinerU 后端支持 PDF、图片和 Office 摄取，可经 Ollama 或 LM Studio 完全本地运行，无后端无追踪。
推荐理由：原文详细说明了用 Personalized PageRank 走 wiki-link 图替代向量 RAG 的取舍与实测数字，可作为个人知识库工具选型参考。
Maximilian228 在 Hugging Face 发布了 huihui-ai 消融版 Qwen3.8-Flash-Next 的 NVFP4 量化包，全部路由专家用 GPTQ（而非 RTN）从 BF16 检查点量化，可在单张 RTX 20-50 显卡（12 GB 以上显存、64 GB 以上内存）上通过 Strata NVFP4 运行 125B 混合 MoE。在留出 token 上，GPTQ 的加权相对误差为 RTN 的 33.5%，48 层全部优于 RTN；实测 182.8 tok/s 解码、2810 tok/s prefill，解码成本与 RTN 持平。
推荐理由：原文给出完整的 GPTQ 量化方法和 48 层误差对比数据，读者可以据此评估 NVFP4 消融模型的精度与部署成本。
PocketLLM 项目通过 JNI/NDK 调用 llama.cpp 并支持 Vulkan GPU 卸载，在 Android 上本地运行 GGUF 模型，暴露 OpenAI 兼容 API 供本机和局域网客户端使用。v0.3.0 新增基于 GBNF 语法约束的 Agent 工具调用，保证小模型输出的工具调用格式合法，并提供共享同一核心引擎的桌面 JVM CLI（chat/serve/agent）。项目还内置 Hugging Face 模型下载、断点续传、聊天界面与 API key 管理；已知限制包括单模型串行推理、当前仅打包 arm64-v8a，且小于 500M 的模型参数内容质量较差。
推荐理由：开源项目直接在 Android 上用 llama.cpp 跑 GGUF 并提供 OpenAI 兼容 API，还给出采样时 GBNF 约束小模型工具调用格式的做法。
wlejon 在 GitHub 发布 brolm，一个纯 C++20 的语言与文本模型推理库，是 brodiffusion 的文本侧对应物，基于 brotensor 和 bromath 构建。它支持编码器嵌入与解码器生成，内置 CLIP、T5、Qwen3、Qwen3.5-VL、Qwen3-VL、Mistral 3.1、Gemma-2、Whisper、NLLB-200 等模型组件，后端覆盖 CPU（FP32）、CUDA、Metal 和 Vulkan（FP16/BF16），可直接加载 safetensors 与 GGUF 权重（量化权重需 GPU 后端）。MIT 协议，Pre-1.0 版本，CI 只覆盖 CPU 构建且自包含测试通过，绿色构建不表示模型输出正确。
推荐理由：README 讲清了纯 C++20 推理库的组件构成、支持的模型族与 GGUF 量化加载方式，并说明 CI 绿色并不代表模型输出正确。
Maximilian228 在 Hugging Face 发布 OrcaRouter Qwen3.8-Flash-Next-Uncensored 的 NVFP4 (GPTQ) 量化包，供 Strata NVFP4 引擎在单张 12 GB 以上 VRAM 的 RTX 20-50 显卡加 64 GB 内存上运行这个 125B 混合 MoE 模型。模型为 abliterated 去对齐微调，权重中移除了拒绝方向，不拒绝有害请求。作者用 GPTQ 从 BF16 checkpoint 重量化全部路由专家， held-out 误差为 ModelOpt RTN 量化的 33.4%，48 层全部低于 RTN，解码速度与 ModelOpt 包基本持平（约 185.6 对 191.6 tok/s）。
推荐理由：作者给出完整的 GPTQ 重量化方法和逐层误差对比，NVFP4 去对齐版相对 ModelOpt 量化把误差降到约三分之一。
作者更新其 LoRA over GGUF 系列，现可在 40 GiB 显存内无 CPU offloading 地训练 Qwen3.8-Flash-Next（125B-A6B + 51B engram），engram 置于磁盘不拖慢训练。在 Strix Halo 上以 2048 上下文块达到 9.5 s/it（200 token/s），距已实现的 >1600 token/s PP 还有优化空间；transformers 5.18 起已合并对现代 GGUF 的初步支持，作者还预告 torch-ggml-ops 仓库中的 GGTensile 在 MMQ 内核上做汇编级优化，多数场景已快于 HIP。代码见 https://github.com/woct0rdho/transformers5-qwen3.5-recipe
推荐理由：作者给出了在 40 GiB 显存内训练 Qwen3.8-Flash-Next 的方法与实测速度，读者可复现这套 LoRA over GGUF 训练流程。
cezarc1 在 GitHub 发布 decodebench，基准测试真实推理栈上的 LLM 解码速度，核心结论是 NVFP4 在小批次下更快。在 vLLM v0.31.0、1× NVIDIA B200、Qwen3-32B（W4A4）上，batch 1/8/32 时 NVFP4 解码吞吐比 MXFP4 高 7.1%/7.5%/4.2%，batch 64–512 时两者差距在 ±2% 以内；大 GEMM 场景 NVFP4 高出约 9% TFLOPS。实验采用预注册假设与判定规则，固定 vLLM、FlashInfer 0.7.0.post1、PyTorch 2.13.0 等版本，并公开原始数据、RESULTS.md 与 fp4bench 工具供复现。
推荐理由：这个基准用预注册协议在真实 vLLM 栈上对比 NVFP4 与 MXFP4 的解码性能，并公开全部原始数据与复现流程，方法设计值得借鉴。
武汉晴辰天下开源 ClawPanel，这是一个支持 OpenClaw、Hermes Agent、DeepSeek Harness 等引擎的可视化管理面板，采用 Rust + Tauri v2 桌面端与零 GUI 依赖的 Web 版，AGPL-3.0 协议。内置 AI 助手提供 4 种操作模式和 8 大工具，可一键排障、生成 Issue 和修复 PR，并支持飞书、钉钉、Telegram、Discord、QQ 等消息渠道接入；Web 版兼容 ARM64 开发板，提供一键部署脚本与 Docker 镜像，地址 https://github.com/qingchencloud/clawpanel。
推荐理由：项目 README 给出了从桌面到 ARM64 开发板和 Docker 的完整部署与升级路径，读者可以照此评估这套多引擎 Agent 管理面板是否适配自己的环境。
开发者 Kam Lau 在 GitHub 开源 GoldenRetriever，一个带检索增强对话的个人知识库，支持从网页、URL、PDF 和 iOS Share Sheet 收集文章、笔记与书签，回答附带内联引用并可点击查看原文段落。技术栈为 Next.js 15、Postgres 17 + pgvector 和 Vercel AI Gateway，检索采用 pgvector 语义搜索与全文搜索经 Reciprocal Rank Fusion 合并后再由 LLM 重排，并包含防 SSRF 的 URL 校验、多租户数据模型和约 230 个测试，MIT 协议发布。
推荐理由：原文完整给出了摄取管线、混合检索和防SSRF等实现细节，读者可以参考这套个人知识库RAG的工程做法。
作者 Chien-Hsin Lin 在 GitHub 开源 HeliosLM，一个从零实现的 PyTorch 参考实现，涵盖 MLA 注意力、sigmoid 门控 MoE、混合线性注意力、FP8 训练、DualPipe、投机解码与 vLLM 风格推理引擎，全部可在 CPU 上运行并有 115+ 单元测试和位级等价校验。仓库同时是 RLCD 决策层范式的开源参考，在 8.5M/360M/Qwen3-0.6B 三个规模上测量错误答案上的过度自信（0.94 到约 1.0），在 7,193 条实例的 RLCDAlignBench 上开源读出器达到 0.726 中位 AUROC，并在 11/41 项基准上超过商业 Jev 检测器的零样本成绩，配套论文草稿与版本化基准数据。
推荐理由：这是一个可读可改的 DeepSeek-V3 级架构 CPU 参考实现，并附带 RLCD 决策层的开源校准审计数据，适合想拆解模型内部结构的人。
robmclarty 发布开源 Agent 编排库 Fascicle（Apache 2.0），把 LLM 调用、工具调用和普通函数统一为 Step<i, o>，提供 sequence、parallel、branch、retry、loop、ensemble_step、checkpoint 等 22 个组合原语。
推荐理由：README 清楚列出了 22 个组合原语、八家 provider 接入和可运行的零密钥示例，读者能据此评估这个 Agent 组合库是否合用。
开源项目 Connapse 发布，为 AI Agent 提供持久、可搜索的知识后端，解决会话间丢失上下文的问题。它支持上传文档或直连 Amazon S3 与本地文件系统，通过 11 个 MCP 工具、REST API 或 CLI 供 Agent 查询与构建语料，采用容器隔离与向量加关键词混合搜索，基于 .NET 10 和 PostgreSQL+pgvector，可用 Docker 一条命令自托管部署，当前版本 v0.3.2，MIT 许可。
推荐理由：这是一个自托管的开源 agent 记忆后端，支持通过 MCP 供 Claude 等客户端查询和构建知识库，可了解本地 RAG 基础设施的完整做法。
Gabriel Fernandes（@nayamonia）发布了开源工具 wrapper-code，可在不改动 Claude Code 配置的情况下，用 wrapper-code deepseek、wrapper-code ollama 等命令在单次会话中接入 DeepSeek、Ollama、Qwen Cloud、OpenRouter、Kimi、Z.ai GLM Coding Plan 等供应商，支持 Node.js 18+、macOS/Linux/Windows。工具只在会话环境里设置变量，不写入 ~/.claude，每次会话在本地记录 token 用量并可按供应商汇总；作者还与 claude-code-router（CCR）做了对比，定位为无后台服务、不做请求路由的轻量方案。
推荐理由：原文把 wrapper-code 与 claude-code-router 的架构差异、隐私边界和上下文坑位讲得很具体，读者可以据此判断是否适合自己的单会话场景。
作者发布并每日自用的本地优先 AI 邮件助手 Mail Triage，采用规则、小模型快速通道与工具调用 Agent 的分层架构，支持混合检索 RAG、可视化自动化流程、沙箱插件和 OAuth2 机构邮箱接入，Docker 部署且默认绑定 localhost 无内置认证。项目附带 600 个冻结用例的模型评测，结论包括 4B AgentMercury 通过助手和规则学习非劣性测试但未过分类门槛，且强工具调用不等于可靠的邮件分类；评测为针对该工作负载的实测，不代表通用模型排名。
推荐理由：作者自建的本地邮件 Agent，附 600 个冻结用例的模型评测，可看到小模型哪些任务能替代大模型、哪些不能。
小米 LLM-Core 团队在 arXiv 发布 MiMo-V2.6 系列全模态模型技术报告（arXiv:2610.11959），核心是通过扩展 RL 计算推动模型自我改进。RL 前先在多模态语料上做 mid-training，RL 计算沿三轴扩展：异步训练每步消耗 1,568 个样本、2.7-3.7B tokens，上下文最长 1M；环境覆盖代码、通用、视觉与 cyber 域；采用 groupwise agentic grading 提升长程任务奖励信号精度并引导更短的 token 高效解法。为稳定训练冻结了 MoE router 并建立多层防 reward hacking 机制，同时开源训练动态、RL 环境与 RL 框架。
推荐理由：报告系统拆解了沿数据、环境、评分三轴扩展 RL 计算的工程细节，并开源训练动态与环境框架，可作复现参考。
arXiv 论文 2610.12133 提出 Attic-KV，一种无需训练的 KV 缓存排练方法，核心原则是只排练将被读取的内容并按内容自适应控制排练量。论文显示在 3% 保留率下全量重读在 RULER 上仅得 96.5 分中的 31.5 分，在 LongBench 自然文本任务上低于完全不排练的方法；Attic-KV 在 RULER 和 LongBench 的八个测试设置中均为最佳免训练方法，接入 KVgrad 和 RestoreKV+ 分别最高提升 17.1 和 28.1 分，3% 保留率下领先全量重读 41.9 分。
推荐理由：论文指出 KV 缓存预算紧张时全量重读反而失忆，并以问答自测式排练提升多个主模型的压缩表现。
Datawhale 团队基于 Stanford CS336 (Spring 2026) 推出中文本土化课程 diy-llm，在线阅读地址为 https://datawhalechina.github.io/diy-llm/。课程共 16 章，覆盖分词器、MoE、GPU 高性能编程、分布式训练、Scaling Laws、数据工程、RLVR、多模态等内容，配套 6 个作业（手搓大模型、Triton 实现 FlashAttention-2、数据处理、GRPO 对齐、模型评估等），并加入 Qwen、DeepSeek 等国产模型案例。文档提供中英双语与 PDF 下载，采用 CC BY-NC-SA 4.0 许可。
推荐理由：斯坦福 CS336 的中文本土化课程，16 章配 6 个作业，覆盖从 tokenizer 到 RLVR 的完整 LLM 构建链条，适合想系统上手的学习者。
bpmforge 开源了 Dokima，一个本地优先的 Agent 开发工作台，v1.0.0 已打 tag 但尚未发布到 npm，目前需从源码安装（需 Node 22/24 与 pnpm 11）。用户描述需求后由 Dokima 访谈、生成蓝图并拆成看板，由 95 个专家 Agent 与 81 个验证器执行，优先用最便宜的模型；核心设计是平台持有门禁，Agent 会话默认不可信，所有状态变更需铸造收据，事件日志只追加且哈希链校验。支持本地 LM Studio 或 Ollama，无需联网与账号，存储用 SQLite，附 dokima doctor 九项健康检查；许可为 FSL-1.1-ALv2，两年后转 Apache-2.0。
推荐理由：作者详述了平台级门禁与收据机制的设计思路，对关心 Agent 工作流可信与本地部署的读者有可参考的架构方法。
Nirmitdagli 发布开源仓库 llm-serving-bench，用可重复的测试框架在相同硬件、模型、提示词和显存预算下对比 LLM 推理引擎。指标覆盖 TTFT、TPOT、端到端延迟、总吞吐和 GPU 峰值显存，支持 vLLM、SGLang 和 TensorRT-LLM，以及 fp16 与 AWQ int4 量化模型。方法上采用 1/4/16/64 并发的闭环压测，固定输出 128 token、输入裁剪到 512 token、随机提示词禁用前缀缓存，并用 mock 服务器和 pytest 做无 GPU 测试。
推荐理由：README 交代了固定输入输出长度、禁用前缀缓存等公平性设置，读者可据此判断各推理引擎跑分结果是否可比。
DPJX04 在 GitHub 发布 llm_panel，把 vllm bench serve --save-result 输出的 JSON 结果文件转成浏览器内可读的对比表格与图表，双击 index.html 即可使用、无需安装。面板支持多文件与多种 JSON 格式混入、读取 vLLM 日志补全模型权重与 KV cache 等信息，提供 Overview、Compare models、Model detail、Accuracy、Vector DB 等视图；内置 52 题的 Starter 测试集可在浏览器内对模型服务做准确率测试，另支持 VectorDBBench 结果对比，数据保存在浏览器本地并可导出工作区或 CSV。
推荐理由：原文完整说明了面板的功能、数据格式与指标口径，读者可据此评估是否适合整理自己的 vLLM 基准结果。