新闻、仓库与研究，按时间排列。
一位用户在 r/LocalLLaMA 求助预算 $600–900 内升级 AI 服务器，目标是让 Gemma 4 31B Q5_K_M（约 23GB）在 16K 上下文下达到至少 15 t/s。现用 RTX 3060 12GB 混合卸载仅 2.3 t/s，计划加装 RTX 5060 Ti 16GB 组成 28GB VRAM 并把 3060 接到 PCIe 3.0 x1 转接卡，也在考虑双 Tesla P100 16GB 等替代方案。
trymirai 在 GitHub 开源了高性能推理引擎 uzu，主打在应用内直接部署 AI 模型，实现零延迟、数据完全私有且无推理成本。核心是 Rust 原生实现，通过 uniffi-rs、pyo3、napi-rs 提供 Swift、Python、TypeScript 绑定，支持 Metal 和 CPU 后端，利用 Apple 设备统一内存，示例覆盖流式对话、云端模型调用、共享实例复用、JSON 结构化输出和工具调用，并提供 OpenAI 兼容 HTTP 服务器与 CLI，采用 MIT 许可证。
Amir Husain 发布自定义推理引擎 Kindi 0.1.0，可在 NVIDIA Quadro K420（Kepler，1 GB）上以 20-23 tokens/s 运行 2B 参数三值权重模型 Ternary-Bonsai-2-2B，而 llama.cpp 在同卡仅 2.8 tokens/s，约快 7 倍。默认输出与 llama.cpp 逐 token 一致，提供 OpenAI 兼容服务器、fast 短名单输出头（快约 15%，99.4% 与全量头一致）、每 256 token 检查点的精确 prompt 缓存，支持工具调用与 thinking；AGPL-3.0 许可，模型来自 Prism ML（Apache 2.0，基座为 Qwen3.5-2B）。
推荐理由：作者给出与 llama.cpp 逐 token 一致的验证结果和同卡对比数据，读者可以据此评估这个推理引擎在老 GPU 上的实际收益。
Deliverance 是一个 Java 推理引擎，支持文本生成、tokenization、嵌入向量计算和文本分类，可作为嵌入式 API 或 HTTP 服务运行，并支持从 HuggingFace 自动下载模型。它支持 nvidia/Nemotron-Labs-Diffusion-3B 系列，可同时进行自回归和 block-diffusion 风格生成，并提供 KVCache2、实验性 TurboQuant KV 存储等特性。相比 VLLM 的 20GB 镜像和 60GB docker 层，Deliverance 更轻量，适合嵌入式推理场景。
bd4sur 在 GitHub 开源 Transformer 结构的小型语言模型项目 Nano，主要复刻自 Karpathy 的 nanoGPT，提供 Nano-56M、Nano-168M 等模型及 LoRA 插件。其纯 C 语言推理引擎支持 FP32、Q80、Q4K 量化，可离线部署在树莓派、红米 AX5 路由器、ESP32 单片机集群和浏览器 WASM 中，也适配 Qwen2-0.5B 与 Qwen3-0.6B/1.7B/4B。项目同时支持预训练与监督微调，实测单卡 A100 训练 58M 模型 MFU 约 25%。
该项目以 slime（THUDM，GLM-5.2 同款后训练栈）为蓝本，在无 GPU 的 CPU 节点上复现 RL 后训练的控制流与 CPU 负载画像，rollout 前向用 llama.cpp + Qwen3-4B 本地推理，training 反向 mock。设计原则是闭环可假、负载失真不可接受，涵盖 agentic RL sandbox 驱动方式、E0–E6 实验与双节点 SWE-bench 设计。
一位用户在 5090+4090（152GB 总内存）工作站和 128GB 内存的 Strix Halo 上测试 Qwen3.8-Flash-Next 的不同量化版本，发现 ISTA-DASLab 的 GSQ-RCO-GGUF（Q3_S）效果最好，unsloth 较大量化则出现大量 tool calling 问题。Strata 上没有这些问题，且其针对 QFN 调整了 LlamaCpp，但存在一类无法绕过的坏输出错误；Gufo 仅适用于 Strix Halo。作者询问 CUDA 平台还有哪些可选方案。
HaseebKhalid1507 发布 Axon，一个用 Rust 从零编写的 LLM 推理引擎，支持 Qwen2、Qwen3、Llama 3、Gemma 3 的 GGUF 模型在 CPU 和 NVIDIA GPU 上运行，另支持 Qwen3-30B-A3B 架构的 MoE 和 gpt-oss-20b（注意力在 GPU、专家在 CPU）。项目约 76k 行 Rust 和 7k 行 CUDA，不依赖 ggml、BLAS 或构建期 CUDA toolkit，GPU 内核经 NVRTC 运行时编译；每条优化路径与参考路径逐位一致，并用 gguf-py、Hugging Face tokenizer 和 Ollama 三个独立基准校验。
推荐理由：作者用 Rust 从零实现推理引擎，并给出与 llama.cpp 和 ollama 在多款 GPU 上的逐项对比数据，可据此评估其性能主张。
GitHub 项目 obaida7/aws-vllm-serving 提供了一套基于 AWS 的生产级 LLM 服务方案，在 EC2 g4dn.xlarge（NVIDIA T4 GPU）上用 vLLM 自托管推理，支持 Qwen2.5 / Llama，并可回退到 Amazon Bedrock（Llama 3.1 / Claude Haiku）。平台通过 LiteLLM 网关、Redis 限流、PostgreSQL 状态存储及 Prometheus + Grafana 监控组成 Docker Compose 技术栈，用 GitHub Actions CI/CD 和 Terraform 实现 GitOps 自动化部署。
PelerYuan 在 GitHub 开源 SlotServe，将一张 GPU 变成实验室或小团队共享的可预约推理服务。用户在网页日历上预订独占时段，通过 OpenAI 兼容端点和个人 API key 调用模型，系统自动托管 llama-server、学习各模型加载时间并在预约开始前预加载。支持 .gguf 模型下载、用量仪表盘、Telegram 通知、Prometheus 指标，单容器部署仅需 SQLite 和三个挂载目录，采用 MIT 许可证。
推荐理由：一个把实验室单张 GPU 变成可预约共享推理服务的开源自托管方案，按预约切换 llama-server 模型并预热，部署思路可直接照搬。
Reddit 用户 dimknaf 发布了一种让大语言模型思考过程自适应的开源方法：逐词测量熵，在模型不确定时通过 Jev 式门控决定是否触发思考块，并用并行对话树按同样逻辑选出最佳路径。项目已在 GitHub 开源，作者称适合能跑多路并行的本地模型场景。
一位用户在 Lenovo Legion 笔记本的 RTX 5090 Laptop GPU（24 GB VRAM）上运行 Linux Mint 跑本地 LLM 时，遭遇与 NVIDIA Xid 8 相关的 GPU 挂起。llama.cpp 的相关 issue 指出这是 CUDA graph 求值挂起问题，可用 GGML_CUDA_DISABLE_GRAPHS=1 规避，但会降低性能。用户使用 7.1.13 内核和 595.99.02 驱动，新内核与新驱动均未能正常工作，问题尚无修复。
/u/WeGoToMars7 发布 Tinkerbox 应用，可在 Apple Neural Engine 上运行 LiquidAI d1-3B 决策模型，M5 Pro 上热启动短上下文（<256 tokens）决策延迟约 40 ms。该实现用树结构单次评估多个决策以降低延迟，并集成 Shortcuts，可对收邮件、iMessage、文件修改、定时和闹钟等触发事件执行决策而无需写代码。源码与 AOT 编译模型已在 GitHub 和 Hugging Face 开放，作者还在开发基于 Qwen3.5 的 vLLM d3 模型集成，0.8B、2B 和 4B 版本即将推出。
推荐理由：作者实测给出 M5 Pro 上约 40 ms 的短上下文决策延迟，并解释了决策模型适配 ANE 的原因，方法可迁移到本地部署场景。
Mullassery 发布 PyInferenceManager 1.3.0（Beta），一个多供应商 LLM 推理编排库，Rust 核心约 11k 行加 PyO3 绑定，按任务复杂度、隐私和成本在本地 Ollama/vLLM 与 Anthropic Claude、OpenAI、Google Gemini、OpenRouter 之间路由，带硬预算上限、指数退避重试和语义缓存。支持 run_concurrent() 有界并发批处理、MCP 工具和硬件画像，privacy="high" 强制本地执行；作者实测与 LiteLLM 在同一本地 qwen2.5:7b-instruct 上延迟相当，差异在路由、预算与重试能力而非速度。
GitHub 上的 jaco-qwant-llm 是 JACO 的可移植模型运行时组件，通过 OpenAI 兼容接口对接真实上游模型（如 llama.cpp 或 Android 上的 Gemma 4 E2B / LiteRT-LM），并在 localhost 3131 端口提供 /v1/chat/completions 适配。项目保留实验性 ACFQ ARM/NEON GEMV 内核研究，但该内核未接入任何模型推理图，未证明任何 token/s 或能耗提升。文内还记录 Pixel 10 Pro 上 Bonsai-27B-Q1_0 CPU 模式约 0.35 prompt tokens/s 的设备实测。
Hugging Face 宣布 TorchNeuron 为 PyTorch 在 AWS Trainium 上的原生后端，自 2026 年 10 月 20 日起开放公测，可通过 pip install torch-neuronx 安装。
推荐理由：官方给出了 TorchNeuron 与 Optimum Neuron 的模型支持率对比和可直接复用的推理与训练脚本，便于评估是否迁移到 Trainium。
作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。
推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。
Inception 的扩散模型 Mercury 3 上线 OpenRouter，生成速度超 1,000 tok/s，支持 1M 上下文，是 Mercury 2.5 的 4 倍。Inception 称其在 IFBench、GPQA Diamond 和 SWE-Bench Atlas 上超过 GPT-6 Luna 和 Haiku 5.5。上线期五折，价格为 $0.10/M 输入、$0.35/M 输出。
香港小团队 Blockway 发布自研推理引擎 Agens Engine（MIT 协议）和 Volundr 32B 模型权重，72 层中 54 层用固定大小状态替代随 token 增长的 KV cache，长上下文溢出到系统内存。实测视频显示 110K token 小说冷读取约 69 秒，后续提问 0.5 秒内回答，GPU 显存峰值约 15.6 GiB；社区用户在 24 GB 卡上测得 86.4–106.7 tok/s。团队计划探索 MoE 变体、Windows/Apple Silicon 支持和紧凑桌面整机。引擎：https://github.com/BlockWayz/agens-engine
推荐理由：香港小团队公开自研推理引擎的实测数据与设计取舍，长会话显存占用和后续提问延迟都有具体数字可查。
Cohere 的 Nick 宣布，团队已将 North Micro Vision Instruct 的视觉编码器合并进 llama.cpp，至此其最新模型架构全部兼容 llama.cpp，其 LLM 部分与 North Mini Code 和 Command A+ 架构相同。North Micro Vision 将作为多个新版本的基础。此外，Cohere Transcribe 现已在 Unsloth 和 Unsloth Studio 中开放微调。
一位用户用两块 Quadro M6000 24GB（共 48GB VRAM）在 Strata 上运行 Qwen3.8-Flash-Next-GSQ-RCO-IQ1，因仅有 32GB 内存而采用 3.5 bits per weight 的量化版本。该推理引擎 prefill 表现出色，decode 在 Maxwell 旗舰卡上一直不错；作者修改 Strata 代码将架构限制从 60 降到 52，所有专家加载进 VRAM 后命中率接近 100%。
Reddit 用户 SeveralViolins 发布了面向 M5+ Mac 的新推理引擎 Ijah，受 Sushi 引擎启发并为其编写了新 kernel。在 5b-6/8b 模型上，其质量比 Jundot 的 oQ4e 更接近 bf16 约 4–5 倍（KLD 0.033/0.009/0.015 对 0.128/0.036/0.078），解码约 100 tok/s，配合 Inco 今日发布的 DFlash2 drafter 可达约 120 tok/s。
kevinelong 在 GitHub 发布 local-llm-lab 仓库，记录在一台 64 GB DDR5、RTX 5070 12 GB 的 Windows 桌面机上对本地大模型的系统实测，并列出 693 项检查的九套基准。最佳配置为 Qwen3.6-35B-A3B Q4_K_M 经 llama.cpp 预配置（context 131,072、--cpu-moe），以及由 Strata 流式从磁盘服务的 Qwen3.8-Flash-Next Q2_0，两者在排名指标 414/414、全部九套 692/693 上逐格持平，后者的 1,100 项知识测试快 31%。
推荐理由：作者在固定一台桌面机上实测本地模型的匹配度、速度和分数，并公开预测记录与纠错，方法可迁移到自己跑本地评测时参考。
Vector Institute 的 vector-inference 仓库提供基于 Slurm 集群的推理服务器部署方案，底层使用 vLLM 和 SGLang 等开源推理引擎。用户可通过 CLI 或 API 启动 OpenAI 兼容的推理服务，例如一条命令即可部署 Meta-Llama-3.1-8B-Instruct。软件包可通过 pip install vec-inf 安装，原生支持 Vector Institute 集群环境，也可通过配置文件或 Docker 镜像适配其他 Slurm 集群。
John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》提出优化策略以增强 LLM 在多任务间的上下文推理，实验显示在动态环境中适应性更优。论文正在 COAI 2025 审稿中，仓库即将发布实现代码、benchmark 结果与预训练模型 checkpoint。
michaelkrauty 在 GitHub 发布 llamesh，一个面向 llama.cpp 的 OpenAI 兼容网格代理，可跨一台或多台机器管理 llama-server 实例的生成、驱逐、负载均衡与集群路由，对客户端暴露标准 OpenAI API。
推荐理由：原文给出完整的配置示例与功能清单，读者可以直接照着部署一个跨机器的 llama.cpp 集群代理。
GitHub 仓库 qibin0506/llm_trainer 发布，是一个基于 PyTorch 与 DeepSpeed 的 LLM/VLM 训练框架，覆盖 Pretrain、SFT、DPO/ORPO/SimPO 到 PPO 与 GRPO 的完整流程，支持 8 种 GRPO 变体算子（grpo、bnpo、dr_grpo、cispo、dapo、luspo、sapo、vespo）。框架内置 Muon 优化器自动混合参数分组与多学习率比例调度，通过分块交叉熵、Active Token Filtering 和生成/评估分块降低显存峰值，支持多轮 Agent 强化学习交互与奖励折叠，并适配 NVIDIA CUDA、华为昇腾 NPU、寒武纪 MLU 和 Apple Silicon MPS 后端。
推荐理由：原文完整给出了从预训练到 GRPO 的训练流程与关键显存优化手段，读者可以对照自己的硬件环境判断哪些模块可直接迁移。
luftpause 在 Agent harness 与推理引擎之间增加运行时层，记住每次工具调用暂停的运行，让续接请求优先于批量任务调度。在一块 8 GB 笔记本 GPU 上引擎饱和时，交互式运行吞吐经代理为直连 SGLang router 的 2.0 倍、经 MCP 子 Agent 为 2.7 倍，批量吞吐分别损失 9% 和不变；关键在于严格运行亲和性把运行固定在持有其 KV cache 的副本上。支持 OpenAI 兼容代理与 MCP 两种接入，提供 spawn/await 子 Agent、运行日志恢复、预算与工具审批，已列入官方 MCP Registry，采用 Business Source License 1.1 并在发布四年后逐版本转为 Apache 2.0。
推荐理由：作者给出饱和负载下的对照实测数字和准入策略拆解，能看出调度收益来自哪一层，而非笼统跑分。
Reddit r/LocalLLaMA 用户分享 Strata 运行 QFN UD-Q4_K_XL 量化模型的多 GPU 实测：单 GPU 约 70 t/s、内存占用约 80 GB，用 --gpus all 加到 3 块 GPU 后速度升至约 100 t/s，但内存未下降。后续发现可在 strata json 中设置 --resident-budget-gib 参数（如 50）将部分专家卸载到磁盘以降低内存。
Reddit 用户实测 9070 XT 搭配 RTX 3080 双卡运行 LLM，效果不佳：3080 仅 PCIE 4.0 x4，ROCm 和 Vulkan 表现也差，Qwen3.8 28B Q4_K-M 仅 30-50 tok/s，64k 上下文比 128k 掉速明显。层拆分优于张量拆分，MTP 可带来约 2x 提升，显示器必须接在 9070 XT 上，两卡 GPU 占用仅约 60% 和 30%。
受 IBM Granite Switch 启发，开发者发布 rubick——一个指向 LLaMA 端点的代理网关，用同一模型通过 aLoRA 同时暴露常规 LLM、systemone（jev-like）与 embeddings 端点。它复用 KV cache、无需模型切换，支持即插即用 aLoRA，训练配方可在用户硬件上约 1 小时完成。项目为 POC，Apache2 开源，含 benchmark、用例与 Docker 配置。
/u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next（125B MoE、6B 激活）的各推理引擎 decode 速度，区分了本人验证与作者自报数据，capy-flash（DFlash2）在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×；按本月欧盟含税价折算，两张中端卡每欧元性能比 5090 高 3–10×，且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。
推荐理由：作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s，还指出 2026 年 RAM 涨价改变了性价比排序。
tashfeenahmed 发布 FreeLLMAPI，将 34 家提供商的 635 个免费模型端点聚合为单一 OpenAI 兼容 /v1 API，宣称合计约每月 74 亿 token 免费推理容量。路由器按速度、能力、可靠性评分选模型，429/5xx 时自动冷却并切换下一家，按 key 跟踪 RPM/RPD/TPM/TPD 以不超各免费档上限；密钥 AES-256-GCM 加密存于本地 SQLite，目录每日两次从 freellmapi.co 拉取签名更新，免费版滞后 30 天，Premium 实时目录 $19/年。
推荐理由：原文给出了聚合 34 家免费档位的具体规模和路由、限流跟踪机制，读者可以据此评估自建免费推理池的可行性。
GitHub 项目 kvscope 发布，包含一个 KV cache 感知的 LLM 推理网关和它的数字孪生调度模拟器，网关订阅 vLLM 的 KV 事件、维护全局前缀索引并按策略路由请求，孪生用网关记录的真实流量做影子评估、保真度检查和容量规划，再通过控制接口热切换策略。实测在 RTX 5070 上双 Qwen3-0.6B 实例中，从 round_robin 切到 prefix_affinity 后前缀命中从 78.0% 升至 87.6%，TTFT p90 从 15.6 ms 降到 9.9 ms；作者同时指出模拟器可比较策略与命中率，但绝对延迟低估 2 到 4 倍，不能用于预测真实延迟。
推荐理由：作者给出模拟器与真实集群在命中率和策略排序上的对照数据，也如实标注绝对延迟低估 2 到 4 倍的边界。
slipstream 是一个部署在 AWS EKS 上的自托管 LLM 推理平台，用 vLLM 在 Karpenter 调度的 g5 GPU 节点上服务 AWQ 量化的开源模型。它通过无人值守的两层参数扫描（引擎参数 × 客户端并发）找出每个配置在 SLO 下的持续并发上限，just stack-up / stack-down 可一键搭建和销毁整套环境，目标是在单 GPU、按需计费的预算下提升每美元 token 吞吐。
llama.cpp 自 v0.7.0 起，llama server 容器内默认端口从 8080 改为 9931（ggml）。未显式设置端口的用户升级后将遇到破坏性变更，硬编码 8080 端口的测试工具也可能受影响。
GitHub 上的 Micro-LLM-Engine 是一个轻量级 LLM 推理服务器，采用 INT8 量化，配有自定义 SIMD C++ kernel，且不受 GIL 限制。它支持在 Python 侧对请求做 continuous batching，以提升推理吞吐。项目采用 MIT 许可证开源。
Lautloserspieler 在 GitHub 发布 llm-server-benchmark，一个面向本地 LLM 推理的可复现基准测试框架，支持 llama.cpp 原生基准与 Docker 化 vLLM 后端，TGI 和 Ollama 处于未发布的 Beta 状态。框架在记录性能结果的同时保存硬件、驱动、后端、模型文件、量化、基准设置与 NVML/rocm-smi 遥测数据，提供 TTFT 与并发压测、长上下文 KV cache 基准、OOM 与多租户等压力测试，输出 HTML/PDF/CSV/JSON 报告，并通过配置指纹、模型 sha256 和 llama-bench 二进制哈希支持带严格校验的跨机器比较。
推荐理由：这个基准框架把硬件、驱动、量化、遥测等条件与性能结果一起记录，并用严格模式校验跨机器比较的可比性。
Mert Ayvazoglu 的试点研究探讨仅用结果奖励的 GRPO 是否降低 LLM 法条推理的因果忠实度。Qwen3-4B 经 60 步训练后，OpenExempt Task AE 的 300 个测试用例准确率从 33.3% 升至 55.3%，但移除推理后答案不变的样本从 6% 升至 24%，反事实忠实度从 0.54 降至 0.50。单种子探索性结果下 H1 尚待确证性重跑验证。
xberg-io 发布 liter-llm，通过单一客户端统一调用 174 家 LLM 提供商（含 OpenAI、Anthropic、Google、AWS Bedrock 等），换模型只需改名字、无需改代码。客户端提供 14 种语言绑定，全部基于同一 Rust 核心，并内置 OpenAI 兼容代理（22 个端点）和 MCP 工具服务器，打包在 35 MB 的二进制中。支持流式、工具调用、成本跟踪、限流缓存，以及 Ollama、vLLM 等本地模型。