方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,564 条精选近 30 天 1,554 条共收录 5,723 条
/u/abarth23 发布了一个免费、无广告、客户端本地运行的网页版 LLM 显存计算器，主打把 KV cache 纳入估算。该工具支持 FP16、8-bit、4-bit/EXL2/GGUF 权重计算，按目标上下文长度与缓存精度（FP16 或 FP8/Q4 cache）动态估算 KV cache，加上约 1-1.5 GB 的 CUDA 运行时与系统开销，并推荐如单张 4090 24GB、双 3090 或卸载到系统内存的方案。作者称在线计算器普遍只按参数量乘量化精度，32k-128k 上下文的 KV cache 额外占 6-14 GB 显存。
推荐理由：针对常见显存计算器只算权重忽略 KV cache 的痛点，按上下文长度和缓存精度补全估算并给出 GPU 配置建议。
BigMoeOnEdge 是一个开源引擎，通过从闪存流式读取专家权重，让超过设备内存的 MoE 模型在本地运行，基于 llama.cpp 公共 API，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重；实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B（0.94 tok/s）、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s，16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。
推荐理由：仓库给出了各设备的实测解码速度表和与全内存加载输出一致性的测试说明，便于判断流式加载 MoE 的实际可用程度。
NekomyaDev 开源了 Nudge，一门面向 AI Agent 的类型化编程语言，提供原生字节码 VM 和独立编译器，可编译到 Python 和 TypeScript。语言层内置 LLM schema 一等类型、10 种编译期检查的显式效果、预算硬约束、par race 并发原语和确定性 NTF v1 trace 回放，可在 CI 中以 $0 做回归测试，还支持单二进制打包（约 2.09MB）、WASM 离线回放、MCP 集成、Computer Use 与 PII 脱敏，采用 Apache-2.0 许可证。
推荐理由：把 schema 校验、效果声明、预算上限和 $0 trace 回放做进语言层，对受够胶水代码的 Agent 开发者是一套可试的新思路。
Rodrigo Henriquez（@SirFassler）在 GitHub 开源 lukk-node，一个仅用 Python 标准库的客户端-服务端守护进程与 CLI，面向在专用 GPU 机器上通过 Ollama 跑本地 LLM 的开发者和玩家。它通过 nvidia-smi 提供实时 GPU 遥测（温度、功耗、负载、VRAM），支持委托式流式推理（NDJSON），并可在 1 秒内清空 VRAM 让 GPU 完全用于游戏；v1.2.0 加入可选 Bearer token 认证，另有 --auto-gaming 模式每 4 秒扫描游戏进程自动驱逐模型。项目采用 MIT 许可证。
推荐理由：作者开源了一个零依赖的 GPU 节点守护进程，把 Ollama 遥测、流式推理和秒级 VRAM 清空整合进一套 CLI，适合本地跑模型兼打游戏的场景。
GitHub 上的 OmniFree 项目把多家免费层资源整合成个人云，用故障转移路由聚合 Groq、Gemini、Mistral、OpenRouter 等免费 LLM API，并跨 R2、B2、GCS 等免费存储分散文件，还提供数据库、Pi-hole DNS 过滤和计算资源，通过暗色模式移动 PWA 管理。项目采用六边形架构，core/ 定义端口与智能路由，每个服务商是 plugins/ 下的适配器，配置集中在 config/providers.yaml。附带的免费额度核查表（2026-10-19 核对）记录了 Oracle A1 缩至 2 OCPU/12GB、Koyeb 被 Mistral 收购后取消免费层、Cerebras 改为 30 天 $5 试用、Gemini 限额两次下调等变化，并给出对应配置调整。
推荐理由：仓库附有 2026-10 逐家核对的免费额度变化表，读者可据此了解各免费层现状与部署成本。
GitHub 上的 fdanobey/OBEY-api-gateway 是一个 OpenAI 兼容的 AI 网关，提供多供应商路由、自动故障转移、熔断器与限流冷却，支持 OpenAI、Ollama、AWS Bedrock、Groq、vLLM 等供应商，单个 Rust 二进制、无运行时依赖。特性包括两级响应缓存、prompt-cache 感知路由、Codex OAuth 登录与网页搜索桥接、guardrail 管线、Agent 循环检测、虚拟密钥管理、token 与工具定义压缩，可通过 Windows 安装包、Docker、Railway 或源码构建部署。
推荐理由：单文件 Rust 网关把故障转移、限流冷却、缓存路由和虚拟密钥做进一个仓库，文档细到超时字段，适合自建多供应商路由时参考。
muguang1224 发布了用 Ollama 本地模型驱动的 QQ 聊天机器人项目 qq-ollama-bot，通过 NapCat 收发消息，不需要云端 API，支持 Windows / Linux / macOS。它用 qwen3.5-4b 聊天、qwen2.5vl:3b 看图，加 YOLO 做目标检测，具备情绪系统、长期记忆、人设进化、语音回复（edge-tts / GPT-SoVITS 声音克隆）、主动聊天和 QQ 空间发说说等功能；并用 Prompt 层加代码正则两层拦截，阻止模型编造「刚刷到视频」等假经历。README 附完整安装步骤、风控与账号安全提示，以及图片缩放实测，原图送模型需 46-200 秒，缩到 256px 后降到 4.4 秒。
推荐理由：README 讲清了情绪系统、长期记忆和两层防编造的构造方法，还给出图片缩放和显存的实测数据，做法可迁移。
作者开源 llm-inference，一个面向可测量的 LLM 服务栈，包含从零实现的 continuous batching 引擎、OpenAI 兼容服务器、开环负载生成器和自动生成报告的实验集。在 T4 上对 Qwen/Qwen2.5-0.5B-Instruct 实测，continuous-32 达 6 req/s SLO 容量，为 vLLM（12 req/s）的 50%，静态 KV 槽位加 CUDA graphs 后升至 10 req/s 达 vLLM 下界 83%；附逐 token 正确性测试、精度（fp16/int8/nf4）对比与复现脚本，仓库 MIT 协议。
推荐理由：作者自建推理服务栈并与 vLLM 同卡对比，给出 SLO、CUDA graphs 和前缀缓存的消融数据，可复现。
KaedeTai 将 SC117 制作的 abliterated 版 Occamy-1.0 从 BF16 GGUF 反向转回 HF 布局并量化为 MLX 4-bit，约 20 GB。仓库装回 Accio-Lab 原版的 vision tower，并从 KaedeTai/Ornith-1.5-35B-A3B-BigBang-MTP-zh-mlx-4bit 原样移植 MTP 草稿头；该头在 Occamy 上草稿接受率达 65.6%（每周期 2.13 个 token），高于其原本干的 Ornith 主干的 64.9%。作者用逐张量逆变换脚本还原 llama.cpp 转换改动，42 个对照张量中 40 个与未去对齐基座逐位一致，其余两个正是消融所改的矩阵。
推荐理由：作者给出了逐张量校验和同机对照的 TMMLU+ 分数，可以核对这套 GGUF 转 MLX 加移植 MTP 头的转换质量与速度收益。
/u/iam31337 在 RTX PRO 4000 Blackwell SFF（24 GB，工厂 70 W 无辅助供电）上用修改版 VBIOS 将功率提至 120 W，Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s（+67%），Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次，两模型量化与投机解码设置不同，非严格受控对比；作者提醒 120 W 超出 PCIe 75 W 槽位预算，属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark
推荐理由：作者实测同一款卡上两个模型的功耗超频收益差异，给出具体功率与频率参数，并坦承样本量与量化设置的局限。
作者在 RTX 4090 24 GB + 48 GB RAM 的 Windows 机器上对 Strata 0.1.43 运行 Qwen3.8-Flash-Next IQ3_S 量化包做了系统性网格调参，附完整 JSON 配置。三个关键参数 --adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2 合计把 160k 上下文下的解码速度提升 45%；同时给出负面结果，--expert-cache 按 MiB 而非槽位设置（填满显存时 −72%）、--ple-io ram 在 48 GB 下 −90%、--no-prefill-borrow −46%。
推荐理由：作者用自建 A/B 测量流程在 RTX 4090 上逐项测了 Strata 各参数的真实增益与坑位，附完整可用配置。
dealignai 在 Hugging Face 发布 Nanbeige4.3-33B 的 UNCensored GGUF 版本，移除基础模型的拒绝行为，提供 Q6_K（25.3 GB）、Q4_K_M（18.7 GB）、IQ2_XXS（8.7 GB）三种量化，均附带基于 1M token 校准内容的 imatrix，保留原生 think on/off 与 512K 上下文。与同量化基础版对比，MMLU chat 下降 Q6_K −1.74pp、Q4_K_M −1.09pp、IQ2_XXS −4.53pp；6 提示多轮合规测试三个量化均为 6/6 通过、0 次拒绝。
推荐理由：原文给出三种量化的 MMLU 前后对照和多轮拒绝率实测，读者可据此评估去掉拒绝行为的能力代价。
tom1030507 在 GitHub 发布 OpenNotebookLM，一个自托管的 Google NotebookLM 替代品，支持导入 PDF、Word、网页和 YouTube 字幕并基于来源给出带引用的回答。文档、嵌入向量与对话存于本地 SQLite，混合检索用 sqlite-vec 加 FTS5/BM25 并以 RRF 融合，支持 CJK 分词；LLM 可接 Claude、OpenAI 兼容 API 或本地 Ollama/llama.cpp/vLLM，未配置 provider 时返回 model_used 为 fallback 的抽取式回答。
推荐理由：README写清了混合检索、嵌入模型内存占用实测和未配LLM时的抽取式回退，读者可据此判断这个自托管 NotebookLM 替代品的实际能力边界。
作者发布 tether-sdk（GitHub igormcsouza/tether），一个默认零工具加载、面向小模型与小上下文窗口的 headless Agent 框架，通过单一 act(cmd, stdin) 命令通道、SQLite WAL 状态存储与 FTS5 BM25 检索、bwrap/unshare 内核沙箱和显式 done 终止门来降低 token 开销。在自主制作 YouTube Short 的基准中，同一 claude-sonnet-5-5 在 Tether 内消耗 5,318 tokens（48.7s），而 Claude Code CLI 消耗 211,355 tokens（97.4s）；本地 8B 模型 gemma4:e4b 仅用 3,073 tokens（53.1s）。
推荐理由：作者用同一 claude-sonnet-5-5 对比 Claude Code，同一模型 token 从 211,355 降到 5,318，且附了本地小模型实测与失败原因。
manu69x 发布 Trans v0.1.0-alpha，一个本地优先的 LLM 辅助文学 CAT 翻译工作台，支持将英文小说或文章结构化为章节与分段，构建受控术语表和翻译记忆，逐块翻译并人工审核批准。推理仅通过用户自控的 OpenAI 兼容网关（llama.cpp、vLLM、LM Studio 等），无云服务、无遥测；支持 PDF 导入与 OCR 回退、BookNLP 实体抽取、术语约束翻译、分段质量评估，可导出 DOCX、EPUB、PDF/HTML 及 XLIFF/TMX/CSV。技术栈为 Next.js + FastAPI + PostgreSQL/pgvector + Celery + MinIO，Docker Compose 部署，MIT 许可，当前处于 alpha 阶段，已用于真实英译意文学工作。
推荐理由：原文给出了完整的架构、端口和配置清单，读者可以据此评估这套本地文学翻译工作台是否适配自己的部署环境。
arcships 发布 Rust 编写的统一大模型接入层 aimux 0.3.0，把各家 provider 的 HTTP API 收敛为单一 dyn LanguageModel 接口，覆盖 327 个 provider 名称、282 个 OpenAI 兼容预设，并提供 Node、Python、Go、Swift 等 8 种语言绑定。新版本支持请求录制重放、会话分组、RouterModel/MoaModel 组合模型和实时转写会话；与官方 OpenAI SDK 同机对比，单次请求 Node 快 14.7 倍、Python 快 7.5 倍，2000 请求压测下 Python 内存零增长。项目以 MIT 许可开源，测试用 2800+ cassettes 离线回放，无需网络和 API key。
推荐理由：原文给出了与官方 OpenAI SDK 同机对比的延迟、P99 和内存数据，以及录制重放等工程细节，方法可复现可迁移。
roloVibes 在 GitHub 开源 Halo Harness（v3.2.1.0），一个 Claude Code 兼容的多模型 Agent harness 与编排平台，支持 OpenRouter、Databricks、Anthropic、OpenAI、Ollama、Hugging Face 等端点，并用 /model 在会话中切换模型。它直接读取 ~/.claude 现有设置、skills、commands 和 MCP 服务器，配套浏览器控制台 halo studio 可实时观看各 Agent 的思考、工具调用与成本，还提供 Fleet 跨机器协作和 Orchestra 多 Agent 并行写同一文件的能力，MIT 许可。
推荐理由：开源的 Claude Code 兼容 harness，可复用现有 ~/.claude 配置并在多提供商间切换模型，适合想保留工作流又自由选模型的开发者。
开源项目 Buddy 发布 Android 应用，通过悬浮窗让 Claude Code、Codex、OpenCode、Antigravity 或 Grok 直接操作手机，支持读屏、点按、输入语音等任务，无需 PC、adb、root 或 API key。智能体运行在应用内的 Alpine Linux（proot）中，通过 127.0.0.1 的本地 MCP 服务器调用无障碍服务的手机工具；发送、支付、删除等操作须用户审批，且从不输入密码。要求 64 位 Android 11+，可在 Google Play（封闭测试）下载或获取 APK，版本 2.2，采用 Apache-2.0 许可。
推荐理由：原文讲清了让 Claude Code 等智能体在 Android 上直接操作屏幕的架构与权限做法，含本地 MCP 和审批兜底等可迁移细节。
FRENCHFAKER 发布首个 abliterated 版 Nanbeige4.3-33B GGUF，用 refusal-direction ablation 移除原始模型对进攻性安全请求的拒绝行为。50 条有害提示词基准上拒绝率从 80%（40/50）降至 8%（4/50），安全/渗透测试类提示词拒绝率约 0%，推理与工具调用保持完整；IQ4_XS 量化约 17 GB，可在单张 24 GB GPU 上以约 33 tok/s 运行，基于 Apache-2.0 许可。
推荐理由：原文给出拒绝率前后对照和逐层消融方法，读者可据此评估这个去对齐版本的可靠程度。
开发者发布 Vocs，一款在 macOS 上用 whisper.cpp（large-v3-turbo）完全本地运行 Whisper 的听写应用，可将文本粘贴到任意应用。音频按静音边界分块边说边解码，短片段按实际长度开窗解码约提速 8 倍；还做了 [BLANK_AUDIO] 等音效标签剥离、重复循环检测重试、Rust 后处理（标点、大小写、口语命令、自定义词典）及约 120 MB 本地语法模型。转写路径无网络请求，macOS 13+，MIT 协议，基于 Tauri 和 Rust，源码在 GitHub。
推荐理由：开发者给出了流式分块解码和短片段约 8 倍加速等具体实现细节，本地语音听写方案有可参考的工程做法。