按兴趣浏览，循来源深入。
IsaacBreen 发布 GLRMask，一个面向高吞吐 LLM 服务的语法约束解码库，支持包括歧义文法在内的通用上下文无关文法，接受 JSON Schema、Lark 和原生 GLRM 格式，提供 Python、Rust、C++ 和 Node.js 绑定。基准测试显示其掩码计算尾延迟极低，静态模式下 TBM p99.9 为 24.9µs，对比 llguidance 的 754.2µs；动态模式基于 llguidance，以部分掩码速度换取更低冷启动延迟。测试于 2026 年 10 月 14 日在 AWS c8i.8xlarge 上进行，项目采用 MIT 或 Apache 2.0 双许可。
推荐理由：原文附上了与 llguidance 的 TBM 和 TTFM 对比基准数据及测试条件，读者可以据此评估这个语法约束解码库的适用场景。
BigMoeOnEdge 是一个开源引擎，通过从闪存流式读取专家权重，让超过设备内存的 MoE 模型在本地运行，基于 llama.cpp 公共 API，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重；实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B（0.94 tok/s）、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s，16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。
推荐理由：仓库给出了各设备的实测解码速度表和与全内存加载输出一致性的测试说明，便于判断流式加载 MoE 的实际可用程度。
Rodrigo Henriquez（@SirFassler）在 GitHub 开源 lukk-node，一个仅用 Python 标准库的客户端-服务端守护进程与 CLI，面向在专用 GPU 机器上通过 Ollama 跑本地 LLM 的开发者和玩家。它通过 nvidia-smi 提供实时 GPU 遥测（温度、功耗、负载、VRAM），支持委托式流式推理（NDJSON），并可在 1 秒内清空 VRAM 让 GPU 完全用于游戏；v1.2.0 加入可选 Bearer token 认证，另有 --auto-gaming 模式每 4 秒扫描游戏进程自动驱逐模型。项目采用 MIT 许可证。
推荐理由：作者开源了一个零依赖的 GPU 节点守护进程，把 Ollama 遥测、流式推理和秒级 VRAM 清空整合进一套 CLI，适合本地跑模型兼打游戏的场景。
作者开源 llm-inference，一个面向可测量的 LLM 服务栈，包含从零实现的 continuous batching 引擎、OpenAI 兼容服务器、开环负载生成器和自动生成报告的实验集。在 T4 上对 Qwen/Qwen2.5-0.5B-Instruct 实测，continuous-32 达 6 req/s SLO 容量，为 vLLM（12 req/s）的 50%，静态 KV 槽位加 CUDA graphs 后升至 10 req/s 达 vLLM 下界 83%；附逐 token 正确性测试、精度（fp16/int8/nf4）对比与复现脚本，仓库 MIT 协议。
推荐理由：作者自建推理服务栈并与 vLLM 同卡对比，给出 SLO、CUDA graphs 和前缀缓存的消融数据，可复现。
作者在 RTX 4090 24 GB + 48 GB RAM 的 Windows 机器上对 Strata 0.1.43 运行 Qwen3.8-Flash-Next IQ3_S 量化包做了系统性网格调参，附完整 JSON 配置。三个关键参数 --adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2 合计把 160k 上下文下的解码速度提升 45%；同时给出负面结果，--expert-cache 按 MiB 而非槽位设置（填满显存时 −72%）、--ple-io ram 在 48 GB 下 −90%、--no-prefill-borrow −46%。
推荐理由：作者用自建 A/B 测量流程在 RTX 4090 上逐项测了 Strata 各参数的真实增益与坑位，附完整可用配置。
arcships 发布 Rust 编写的统一大模型接入层 aimux 0.3.0，把各家 provider 的 HTTP API 收敛为单一 dyn LanguageModel 接口，覆盖 327 个 provider 名称、282 个 OpenAI 兼容预设，并提供 Node、Python、Go、Swift 等 8 种语言绑定。新版本支持请求录制重放、会话分组、RouterModel/MoaModel 组合模型和实时转写会话；与官方 OpenAI SDK 同机对比，单次请求 Node 快 14.7 倍、Python 快 7.5 倍，2000 请求压测下 Python 内存零增长。项目以 MIT 许可开源，测试用 2800+ cassettes 离线回放，无需网络和 API key。
推荐理由：原文给出了与官方 OpenAI SDK 同机对比的延迟、P99 和内存数据，以及录制重放等工程细节，方法可复现可迁移。
/u/nathannguyennng 解锁了 RTX 3080 20GB 的 reBAR 与 P2P，/u/No-Refrigerator-1672 在双卡张量并行下用 vllm 0.32.0 实测验证。8k 到 261900 token 长度的 prompt 预填充速度较原厂提升 71%-115%，其中 P2P 相对仅 gpu_unlock 另有最多约 70% 提升；开启 MTP 后 decode 速度基本在噪声范围内无明显变化。作者提示 3080 用户在长 prompt 场景（含 agentic coding）可关注该解锁，且需双卡均有完整 PCIe 连接才能获得同等收益。
推荐理由：作者实测了 reBAR 与 P2P 解锁在双 RTX 308 20GB 张量并行下的 TTFT 与 ITL 数据，可看清该解锁对长上下文预填充的实际收益边界。
meshapplied 发布开源工具 Goethe，可将带 NVIDIA GPU 的 Linux 机器变成自托管 API，兼容 OpenAI、Anthropic 和 LiteLLM 客户端，数据留在自有硬件上。模型基于 SGLang 运行，支持 continuous batching、prefix caching 和 CUDA graphs，并内置面向 Blackwell、Hopper、Ada 和 Ampere 的 NVFP4 内核，4-bit 模型显存占用约为全精度四分之一；支持按客户端发 key、限速与撤销，模型重启后自动恢复加载，仓库采用 Apache-2.0 许可，链接 https://github.com/meshapplied/goethe。
推荐理由：原文给出了从安装到共享 API 的完整命令流程，并说明基于 SGLang 加自研 NVFP4 内核的推理方案，便于自建 GPU 推理服务时参考。
understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型，无需 logits、隐藏状态或更小的同族模型，草稿一次猜测 4 个 token，由目标模型一步验证，输出不变。发布的草稿针对 Qwen3.5-4B 训练，实测每步接受 1.58 个 token，投影加速 1.43x；在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢（27 到 36 tok/s 对 69 tok/s），需支持 lookahead heads 的运行时才能兑现。
推荐理由：只靠目标模型的文本训练推测解码草稿模型，不用 logits 和隐藏状态，并给出接受的实测与局限说明。
Eric-Souza 在 GitHub 开源 gemini-rag-doc-processing，一个基于 Google Gemini、LangChain/LangGraph、Postgres + pgvector 的全栈 RAG 文档处理项目，支持文档上传、混合检索（向量 + 全文检索，RRF 融合、本地 cross-encoder 重排）、SSE 流式输出和 Langfuse 追踪。在 22 个案例的 golden set 上，混合检索加重排把 hit@1 从纯向量的 73% 提到 91%；7 案例 CI 子集上 RAGAS 评出 faithfulness 1.00、answer relevancy 0.90。
推荐理由：给出了完整可部署的 RAG 技术栈和实测检索指标，其中混合检索加 rerank 将 hit@1 从 73% 提升到 91%，也保留了 reranker 变差的分析。
guregodevo 发布 janis，一个用 Go 编写的开源权重模型本地推理模块，定位为 MLX 版 Ollama：Apple Silicon 上跑 MLX 后端，其他平台用纯 Go CPU 后端。janis serve 提供 OpenAI 兼容端点（http://127.0.0.1:8090/v1），支持流式 chat completions、tool calls、运行时切换已加载模型，权重从 huggingface.co/mlx-community 拉取，支持 Qwen3、Qwen3.5、Gemma 系列，另含 whisper、bge、reranker 和约束解码等组件。它也是终端编码 agent Memdoor 的底层模块。
推荐理由：作者用单个 Go 模块把 MLX 推理和 OpenAI 兼容服务封装到一起，说明了本地部署的工程取舍与用法。
/u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化，24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存，其余从 SSD 按需流式读取，支持 256K 上下文，解码平均 48.8 t/s（stock 为 28.8）。
推荐理由：作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案，给出解码速度、预填充和 LiveCodeBench 对照数据。
Swedish Embedded AB 开源 brain，用单个 Rust 程序在现有硬件上下载、运行、微调、量化模型，并通过 OpenAI 兼容 API 提供服务，无需 Python、PyTorch 或独立推理运行时。支持 Qwen3、GLM、YOLOv8、FLUX.2 Klein、Qwen3-TTS 等文本、视觉、语音和世界模型，内置 wgpu、vulkan、cuda、cpu 四个后端，可跑在 NVIDIA/AMD/Intel GPU、CPU、Intel NPU 和浏览器中；每个导入模型与参考实现逐步对比测试，训练用有限差分数值校验，后端间做一致性检查，许可证为 Apache-2.0。
推荐理由：一个 Rust 程序覆盖下载、推理、微调、量化和 OpenAI 兼容服务，不依赖 Python 或 PyTorch，并给出后端一致性等自检测试。
Warith Harchaoui 发布 best-engine-ai-helper，一个纯 Python 工具，可检测本机内存（Apple Silicon 统一内存、NVIDIA/AMD VRAM 或系统内存），从内置模型目录中选出得分最高且装得下的本地 LLM 或 VLM，并通过 Ollama 拉取。选型综合结构化输出能力、内存适配、任务基准和带宽估算的吞吐四要素，pull 与 validate 会用 Ralph Loop 文本缺陷检测和 Ralph Eyeball Loop 视觉缺陷检测两道质量门验证模型，通过后才写入环境文件；实测吞吐数据存入 measurements.yaml，在 Apple M2 Max 上将 gemma3:12b 的估算误差从 64-118% 降到 17-25%。
推荐理由：原文给出了选型四要素与实测校准数据，读者可以据此理解本地模型自动选型工具的取舍逻辑。
MoonLite-Br 发布 llmf（llmfree）0.5.1，一个仅依赖标准库的 Python 库和 CLI，可一行代码调用无需 API key 的 OpenAI 兼容公开端点，失败时自动在多提供商间回退。支持 fast/best/code/vision/reasoning 等模型别名、流式输出、OpenAI 形状接口、llmf serve 本地服务，以及 doctor 健康探测（约 24h 缓存）；0.5.0 新增 ch-at、rewind-ai 提供商和仅手动指定的 nottrack。该项目 MIT 许可，README 提醒端点非官方免费、可能随时失效，勿发送敏感数据，桌面端和 Termux 均可运行。
推荐理由：README 写清了多提供商回退机制、别名路由与 CLI 用法，读者可以直接pip装上试，也能了解免费端点不稳的风险提示。
juanqui 发布 Decidra，一个专为 26.1B 混合决策模型 vllm-sr/d3-turbo 打造的 CUDA 推理引擎，HTTP 服务与 CUDA 引擎在单个 Rust 进程内，运行路径无 Python、PyTorch 或 vLLM。状态编码一次后所有问题从缓存分叉，64 问基准比 vLLM-SR 快 2.4–5.2 倍，c8 下最高 5.2 倍吞吐；支持 RTX 4090、H100/H200、RTX PRO 6000，W4A8 视觉包需 24 GB 显存，MIT OR Apache-2.0 双许可，代码在 https://github.com/juanqui/decidra。
推荐理由：原文给出了与 vLLM-SR 同硬件同检查点的完整对比矩阵和校验方法，读者可以按自己的 GPU 档位查找对应延迟与吞吐数据。
GitHub 项目 phase 发布，可在本机直接测量本地 LLM 推理的每 token 能耗，分别报告 SoC 芯片功耗与 sys 整板 DC 输入，并扣除空闲基线，三平台后端均无需 sudo。首组数据在 Apple M5 Pro 24 GB 上测得：decode 每 token 能耗是 prefill 的 20 到 35 倍，仅计芯片封装会低估真实成本 2 倍以上。项目附 18 篇研究笔记，涵盖量化格式能耗、投机解码、批处理与长上下文等发现，Apache-2.0 许可，原始 JSON 在 results/ 目录。
推荐理由：工具把 prefill 与 decode 能耗分开实测，并给出芯片级与整板级两组数据，解释了为什么各家边缘模型能耗数字对不上。
/u/MaxDev0 将 sybil-solutions 的 GLM-5.3 低内存卸载方案移植到更轻量的 Qwen3.8-Flash-Next（125B），通过 NVMe SSD 直接卸载，在 16GB 显存加 8GB 系统内存的 RTX 4090 上实现约 20 tok/s 解码。8k 短上下文为 28–33 tok/s（散文）、19–22 tok/s（代码），prefill 约 1,080 tok/s；262k 满窗口下 20.0 tok/s 解码、约 1,627 tok/s prefill；RTX 3080 Laptop（16GB 显存、32GB 内存）100k 上下文约 18–21 tok/s，峰值显存 15.5GB。现有方案（如 Strata）需把 24k 专家全部驻留约 48–64GB 内存。
推荐理由：作者把 GLM 的高效 NVMe 卸载方案移植到 Qwen3.8-Flash-Next，给出多档显存和上下文下的实测速度数据，可复现。
Ollama 0.40.11 起支持文本转语音，首个语音模型是 Gradium 的 Phonon 系列，目前可用 macOS，Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上，Ollama 借助 MLX 加速，吞吐比次快的 Gradium ptts 运行时快 35%，词错率与 Hugging Face Transformers 参考实现持平；Phonon 采用 Apache 2.0 许可，40M 版本为 CC BY-NC 4.0 限非商用，支持英语、法语、德语、西班牙语、葡萄牙语，并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。
推荐理由：官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据，读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。
ziuus 在 GitHub 发布 GoRoute，一个用 Go 核心 + Rust SIMD 编写的 LLM 网关与多供应商路由器，支持 338+ 供应商预设和 35 个编码 Agent 的一键配置。官方基准显示在 500 并发流式请求下空闲内存 4.7MB、路由开销 0.86ms、冷启动 11ms，并支持 0.5 秒内从 OmniRoute 加密库同步账号、凭证与 failover 组合。
推荐理由：README 附带与 OmniRoute、LiteLLM 的同条件基准数据，空闲内存、路由延迟和冷启动差距都有具体数字可查。