方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
wood-bison 在 GitHub 发布 llm-debug-dive，一个本地仪表盘，用于调试 Codex、Claude Code 及其他 API 兼容 Agent 的运行过程，可查看提示词、工具调用时间线、token 负载、缓存命中、延迟和估算成本。提供 codex-debug 和 claude-debug 包装脚本、Prompt Coach 提示词改进建议，以及可选的本地 Ollama 二次评审以避免云端 token 消耗；数据存于 Docker 中的本地 Postgres，定位是日常调试而非生产可观测性。
推荐理由：面向 Codex 和 Claude Code 的本地调试面板，作者给出了完整安装流程和架构说明，适合想排查 Agent 运行细节和降低 token 成本的读者。
DreamX 开源项目将 DeepSeek Harness（dsh）web UI 与 pi-durable agent 引擎对接，保留原有界面、工作区和插件市场的同时，让会话持久化到 SQLite、崩溃后自动恢复中断任务、支持任意历史节点 fork 分支与热切换模型 provider。仓库提供两个 dsh 插件（LLM 适配器和右侧边栏面板）、幂等补丁脚本、systemd 服务模板和完整部署指南 DEPLOY.md，要求 dsh 0.2.0-rc.2、Node.js ≥ 22，支持任何 OpenAI-completions 或 Anthropic-messages 模型 API，另有 Background Bash 与 MCP Tools 管理面板，代码采用 MIT 许可。
推荐理由：原文给出完整架构和部署步骤，读者可以据此把 DeepSeek Harness 前端接到自托管的持久化 agent 引擎上。
MedAdapt Lab 完成了 ADHD-01 至 ADHD-05 五项实验，在单台 Apple M2 Max 上用手写 MLX 训练循环和 LoRA 继续训练 Qwen3 Base 模型，数据为 269 篇模型发布后出现的 CC 许可 ADHD 论文及 400 个虚构试验。主要发现包括：约 1.65 遍训练后，已训练论文题目准确率比未训练论文多提升 3.8-5.0 个百分点；1.7B 模型在 3.3 遍时额外增益达 +8.7；真实论文训练使通用文本困惑度上升 7%-123%；虚构事实在约 4-8 遍后从 25% 几率突升到 44%-51%；同 exposure 下四份不同文本比一份重复四遍高 +4.5 到 +7.6 分；无 replay 的窄域新事实训练使通用困惑度升 37-94 倍。
推荐理由：原文用训练前冻结的考题和对照实验，量化了小模型读新论文能记住多少、忘掉多少，方法可复现可迁移。
KENIC-1 在 Hugging Face 发布 Qwen3.8-Flash-Next GSQ-RCO 的 abliterated GGUF 版本，采用字节级张量移植，将全部 48 层中的 144 个 write-to-residual-stream 投影张量替换为 orcarouter 消融权重，不重算任何 GSQ 学到的量化值。四个量化档位（IQ3_S / IQ3_XXS / IQ2_XS / Q2_0）保持上游逐张量类型分配不变，体积仅比上游多 0.25–0.44 GB；1223 个张量经逐张量 blake2b 核验，144 个目标全部改变、1079 个非目标逐字节一致，行为抽查显示上游拒答的提示词此版可详尽回答。
推荐理由：原文给出了逐张量的移植方法与blake2b核验数据，读者可以确切看到哪些张量被改、代价多大。
GitHub 上发布 Dialogia，一个本地优先的聊天与辅导工作区，纯静态站点可部署到 Cloudflare Pages、Netlify 等任意托管。密钥只存于浏览器 IndexedDB，支持粘贴 OpenRouter 或 Anthropic key，也可直连 Ollama、LM Studio、llama.cpp 或 vLLM 完全本地运行；附带可选的 Tutor 结构化学习模式、逐轮推理力度控制、ZDR 强制开关及显示首 token 延迟、token 数和成本的 colophon。项目基于 Vite、React 18、Zustand 和 Dexie 构建，MIT 许可。
推荐理由：原文完整给出了 BYOK 架构、本地部署方式与配置细节，读者可以按步骤直接部署这个纯静态聊天工作区。
Maxritz 在 GitHub 发布 KRAKEN，一个用 C++17 编写、直接构建在 ROCm HIP SDK 上的 GGUF 推理引擎，针对 Windows 11 和 Linux 上的 AMD RDNA 显卡，不依赖 PyTorch、hipBLAS 或 MIOpen，所有内核直接针对 ISA 编写。权重在 VRAM 中全程保持量化状态不反量化，7B Q4_K_M 模型仅占 4.4 GB；MoE 专家按 LFU with aging 策略按需分页，支持 --expert-warm-mb 二级页锁定内存。
推荐理由：原文不仅介绍工具，还给出 RX 9070 XT 上 8B Q4_K_M 达到带宽上限约 76% 的量化瓶颈拆解，可了解 AMD 本地推理的优化路径。
zekaizer 在 GitHub 发布 clip-llm，一个系统级剪贴板 LLM 助手：通过全局快捷键 Ctrl+Shift+C 截取文本，发送到 vLLM 或 xAI 端点，并把结果写回剪贴板。支持翻译、改写、总结、解释和转写五种模式，带图片输入（50MP 解码上限、长边缩至 1568px、单请求最多 4 图 8 MiB）、按模式思考开关、修订轮次、模型配置文件切换，以单一二进制提供 macOS 与 Windows 11 版本。
推荐理由：README 详细列出了全局快捷键、五种处理模式、图片处理预算与配置方式，读者可以直接评估这个剪贴板助手是否贴合自己的工作流。
Tylogi 在 GitHub 开源 MFQ（TyloQuant），一套结合 SQ/VQ 格式与细粒度混合精度校准的量化与 CUDA/Metal 推理基础设施，采用 Apache 2.0 许可。项目演示在 512 GB Apple M3 Ultra 上直接以 raw-HF Safetensors 运行 476 GB 的 DeepSeek V4.1 Flash，batch size 1、32,768 上下文下 TG 为 18.29 tok/s，启用高接受率 MTP 后达 33.46 tok/s（+83.0%）。
推荐理由：开源量化与推理工具，给出固定评测协议下与 Unsloth Dynamic 基线的 KLD 对比和 Apple silicon 实测吞吐，方法可复现。
kadirnar 在 GitHub 发布 kernel-agent，输入 Hugging Face 模型 URL 后自动分析 GPU 瓶颈，由 Claude 用 CUDA C++、CuTe DSL、Triton 或 TileLang 编写自定义 kernel，并尝试 static caches、CUDA graphs 等模型级优化，候选方案需通过正确性校验与基准测试，仅保留输出一致且更快者。支持 LLM、STT、TTS 和扩散模型，内置 VoxCPM2 工作负载（案例测得 11.3× vs eager、7.7× vs torch.compile），图中 Qwen3-0.6B 实测 2.03×（1,532.4→754.9 ms）。
推荐理由：这个项目把正确性验证讲得很细，读者可以借此了解自动生成 GPU kernel 时如何防作弊和保证输出一致。
H1manshu01 发布 trickle-，一个零依赖、带类型的增量式 partial-JSON 解析库，可在 LLM 流式输出的每个 chunk 上给出当前最佳有效值且永不抛错。支持路径订阅、通配符、append 事件、Zod 类型入口，并提供 OpenAI 与 Anthropic 的 SSE 适配器；对比表中指出现有主流包 partial- 自 2024 年 5 月未更新，自测快照称增量解析使 2,000 条记录文档的流式处理比逐块重解析快约 2,150×，基准可用 npm run bench 复现。
推荐理由：作者给出了与同类 partial-JSON 解析库的对比矩阵和基准入口，读者可复现测试来判断是否切换。
开发者独立构建的 LLM 生活模拟 Slow Vale 中国服已有 800+ AI 居民共享一座持续运行的城市，游戏内时间超过 350 天。每个角色每天约 300–400 次 LLM 调用，平均上下文约 30,000 token；10 月 7 日当天用 deepseek-flash 处理约 44.24 亿 token、163,742 次请求，费用 472.33 元人民币，缓存命中率超 90%。作者详述了并发推理与世界状态变更分离、动态动作空间改为普通文本 JSON 以保住前缀缓存、用 runbook 管理 AI 协作开发等做法；项目约 40 万行代码、2200 次提交、日均部署 3–5 次，中国服 DAU 从 9 月 10 日的 177 增至 10 月 7 日的 865。
推荐理由：开发者给出了持久多智能体系统的并发控制、动态动作空间与缓存命中率设计的具体做法，工程方法可直接迁移。
作者开源了 wb2go，一个把 WorkBuddy / CodeBuddy 订阅包装成 OpenAI 兼容 API 的自托管多账号网关，采用纯 Go 标准库零依赖、单二进制加内嵌 Web 控制台，MIT 协议发布。支持 /v1/chat/completions 与 /v1/responses（Codex / Claude Code 可直连）、多账号池调度、账号级/熔断/连败降权/模型级四维冷却、会话粘性、设备指纹派生与脱敏、定时任务、配置热生效和基于 GitHub Release 的热更新；Docker 一条命令即可部署。作者强调 accounts/ 存明文 accessToken，公网部署须设 api_key 并前置 HTTPS，反对二次打包、加壳售卖等用法，项目为非官方工具，账号风险由使用者自担。
推荐理由：原文完整给出了账号池调度、冷却、粘性会话等网关设计与部署方式，读者可以照此自行审计和复用这套自托管方案。
ayuvis 在 GitHub 发布 mobile-app-aws-terraform-v2 仓库，提供在 AWS 上部署移动应用后端与 vLLM 推理的 Terraform 配置，涵盖 VPC、EKS、Karpenter GPU 节点池、Aurora、Redis、CloudFront 等模块。vLLM 以 Argo Rollout 金丝雀方式发布，通过 AnalysisTemplate 检查 TTFT p95、队列深度、KV cache 和重启次数，并用 KEDA 按队列深度和 KV cache 扩缩容。
推荐理由：给出了在 AWS 上用 EKS、Karpenter、vLLM 部署 LLM 推理的完整 Terraform 与 K8s 配置，含金丝雀发布与 KEDA 扩缩的部署顺序和已知限制。
whykusanagi 在 GitHub 发布 Celeste CLI，一个带独立人格的 agentic 终端开发工具，基于 Bubble Tea 构建 TUI，内置 48 个工具，支持 chat、agent 与 orchestrator 三种运行模式。工具包含 MinHash+BM25 融合的代码图语义搜索与图结构代码审查，可将 codegraph 以 MCP 工具直接暴露给 Claude Code 等客户端；支持 Sakana AI（默认）、Grok/xAI、OpenAI、Anthropic、Gemini、Venice.ai 等 9 家对话服务商与本地 OpenAI 兼容服务器，提供多层权限门、会话持久化、文件 checkpoint 与 GPG 签名验证。
推荐理由：README 详细列出了代码图搜索、权限门与九家模型服务商的兼容矩阵，可当作带人格的终端 Agent 工具选型参考。
作者在约 16 GB 内存、无独立 GPU 的本机上对 Qwen2.5-0.5B-Instruct 做 4-bit QLoRA SFT/DPO，完成中文结构化抽取与意图分类实验，数据采用 MASSIVE 中文子集。v6 混合系统严格实体 F1 为 62.59%，首次达到预设绝对 F1 ≥60% 门槛，但相对旧 v5 混合的配对 95% 区间为 −3.58 至 +7.19，未通过相对收益门槛；v3 DPO 将无槽失败从 126/167 降至 28/167 但阳性句 F1 下降。仓库公开复现命令、选择锁与失败报告，不含权重和逐题预测，结果定位为后训练研究而非可自动上线服务。
推荐理由：作者在 16 GB 无 GPU 本机上完整跑通 QLoRA SFT/DPO 并公开预设门槛、配对区间和失败记录，方法与边界都可复用。
lodsb 在 GitHub 开源 prax，一个管理论文、网页、手册和笔记的个人知识库，提供关键词加向量混合检索、带证据的图谱和带引用的问答，可从浏览器、shell、MCP 或 agent 调用，全部可在本地机器上用自己的模型运行。作者的真实实例含 13,000 份文档、1,486,000 个段落和 216,000 条关系，62 个真实查询上组合检索 MRR 0.90、hit@1 0.87；图谱保留被否决关系的历史，数据库拒绝删除或改写链接。项目用 Claude Code 构建数周，MIT 许可（浏览器扩展为 AGPL-3.0）。
推荐理由：一个可自托管的知识库工具，原文给出了实际运行规模和检索指标，并与其他图谱系统逐项对比，可作选型参考。
作者在 GitHub 开源 CtxGuard，一个部署在客户端与 OpenAI、Anthropic、Google Gemini、xAI Grok、DeepSeek 等服务商之间的透明反向代理网关，通过 Tree-sitter 语法树折叠、工具增量差分、日志 Head-Tail 截断和思考链透传等手段压缩 Agent 上下文并稳定云端 Prompt Cache。作者给出基准数据（如 2500+ Tokens 状态刷新压至 30 Tokens、日志 Token 降低 80%+）和生产实测：10,868 次请求累计节省约 11.5 亿 Tokens，综合压缩率 65.97%，网关中位延迟 0.14 ms，MIT 许可证开源。
推荐理由：原文给出各压缩模块的实现细节、基准数据和万次请求生产实测，读者可以评估这套上下文网关在自家 Agent 工作流中的压缩与缓存收益。
Base Compute 在 GitHub 开源了 superfluid，一个面向本地 LLM agent 的 serving 守护进程，在 llama.cpp、MLX 和 baseRT 之上提供统一调度器、可持久化的会话日志，以及 OpenAI、Anthropic、Ollama 兼容 API。在 Apple M5 Pro 上实测，八个 agent 预填 6k token 提示时聊天首 token 为 0.97 s，对比 llama-server 的 67 s、Ollama 的 64 s、mlx_lm.server 的 120 s；会话可在 worker 崩溃或服务器重启后恢复，八个场景全部通过，且经 superfluid 转发的吞吐与直连运行时几乎持平。
推荐理由：原文在八个故障与并发场景下给出四个方案的全部实测数字，读者可以据此判断这个本地 serving 层是否真的解决了调度与会话持久问题。
tomcounsell 在 GitHub 开源 Popoto，一套以原语形式编程的 LLM Agent 记忆库，记录随时间衰减、置信度随证据变化、支持关联和按 token 预算的上下文组装，pip install popoto 即装，运行在用户自己的 Redis 或 Valkey 上，共 3 个包约 9.0 MB，无需 API key。在 LongMemEval-S 全部 500 题上 Recall@1 0.892、MRR 0.931，检索 p50 3.0 ms（1,000 记录）；实测显示原始轮次注入的 judged 准确率 0.3636 高于 Claude 系抽取臂（Sonnet 0.1948 等），故 LLM 抽取默认关闭。底层是类 Django 语法的 Redis/Valkey ORM，MIT 协议。
推荐理由：这个开源库把 Agent 记忆做成可编程原语并附带基准数据，还实测了 LLM 抽取反而不如原始轮次注入，方法细节可迁移。
PrisacariuRobert 发布开源项目 Sidemates 0.42.0 公测版（原名 OpenBot），在 Mac 本地运行一组有名字、有分工的 AI 智能体，可操作 Mail、Calendar 和 Notes。重要操作默认需确认，支持 ChatGPT、Grok、Claude Code、Gemini key 或 Ollama 本地模型，MIT 开源，并提供与 OpenAI dots、Grok Bot、Siri AI 等产品的对比表。
推荐理由：开源本地方案与云代理、Siri AI 等现有产品逐项对比价格、能力与开源程度，读者可据此评估是否值得在自己 Mac 上部署。