新闻、仓库与研究，按时间排列。
Chopinfer 是一个提供 OpenAI 兼容 HTTP API 的 Rust LLM 服务器，面向 Linux x86_64 与 NVIDIA RTX PRO 6000 Blackwell 96 GB GPU（SM120）。已验证 MiMo V2.6 Flash、Qwen3.8 Flash 和 GLM 5.3 Flash 的多卡配置，其中 MiMo 与 Qwen 支持 2 或 4 卡，GLM 需 4 卡，并支持 AR、MTP、DFlash 等解码方式。
ziuus 在 GitHub 发布 GoRoute，一个用 Go 核心 + Rust SIMD 编写的 LLM 网关与多供应商路由器，支持 338+ 供应商预设和 35 个编码 Agent 的一键配置。官方基准显示在 500 并发流式请求下空闲内存 4.7MB、路由开销 0.86ms、冷启动 11ms，并支持 0.5 秒内从 OmniRoute 加密库同步账号、凭证与 failover 组合。
推荐理由：README 附带与 OmniRoute、LiteLLM 的同条件基准数据，空闲内存、路由延迟和冷启动差距都有具体数字可查。
GitHub 仓库 zazuss/jetson-orin-tuning 公布了在 Jetson Orin（Nano 8GB、Super、NX、AGX）上做 LLM 推理的实测调优结论，所有数字来自 7.3 GiB Orin Nano 的真实测量。
推荐理由：全部数据来自作者在 7.3 GiB Orin Nano 上的实测，给出了瓶颈诊断表和量化格式、词表、KV 缓存的具体调优结论。
作者发布 GitHub 仓库 zazuss/mlc-llm-on-jetson，记录在 Jetson Orin Nano 8GB（L4T R39.2.1 / JetPack 7）上从源码编译 MLC-LLM 并运行 Qwen3-1.7B q4f16_1 的完整流程。因该平台无预编译 aarch64 CUDA wheel，四条分发路线均不可用，只能源码编译。实测空 prompt 下单流 decode 53.7 tok/s，比 llama.cpp 同模型快 32%；但 8K 上下文时 decode 掉到 14.96 tok/s，32K 直接 OOM，归因于 MLC 缺少 KV cache 量化（每 token 固定 112 KB）及 TVM 通用 GEMM 模板的低效 attention kernel。
推荐理由：作者给出从源码编译到跑分的完整记录，并用 tegrastats 数据把长上下文掉速归因到反量化 ALU 瓶颈。
GitHub 开源项目 Conjecture-Gym 包含两部分：PolyForge 通过符号前向推导生成图论猜想，仅当 .lean 文件通过 Lean 4 kernel 编译（无 sorry、仅标准公理）时才写入语料，全程无 LLM 参与；下游对小型代码 LLM 做 LoRA SFT 微调，并用真实 Lean pass@k 评分。两阶段仅通过 output/train_corpus.jsonl 文件连接，语料按公式去重、持续累积。
GeulPU 是一个在本地 GPU 上运行 GGUF 模型的推理引擎，通过书面精度契约保证同一请求在任意批量、slot、prompt 缓存和投机解码下输出逐位一致，exact 模式下 NVIDIA 与 AMD GPU 结果也一致。它自带调试器，可录制 agent 会话、逐位重放、从任意 token 分支并按请求对比不同量化版本；默认设置下速度多数场景快于 llama.cpp，投机解码在代码编辑任务上快 3.5-4 倍且输出逐位相同。引擎以韩语关键字编程语言 글(geul) 编写，下载约 1.5 MB，仅依赖显卡驱动，支持 Qwen3.6-35B-A3B、Qwen3.5、Qwen2.5、DeepSeek-R1-Distill、Llama 3 和 Mistral，提供 OpenAI 兼容 API，MIT 许可开源。
推荐理由：同一个请求在批量、缓存、投机解码甚至不同 GPU 上都得到逐位相同的结果，这个确定性契约让本地模型可以像程序一样调试和对比。
TokenBatch-Lab 推出 Stochastic-Gittins-Barrier-v239.2 GPU 调度策略，在 200 条生产级负载 trace 上实现 40.5% SLA Goodput，高于 EDF 的 38.0% 和 vLLM FCFS 的 33.5%，相对 FCFS 提升约 20.9% GPU 服务容量，P99 尾延迟为 2048.5 ms。该策略以近似 Stochastic Gittins Index、Sigmoid 松弛时间函数和凸二次 KV-Cache 压力屏障为核心，可嵌入 vLLM、TGI 调度循环。在 8x H100 集群上可释放约 $34,480 的等值算力，商业许可包经 Polar.sh 下载。
Relayna 发布 Gateway v1.0.0，这是一个用 Rust 编写的 AI 流量代理与控制平面，可对调用方进行认证、应用策略，并将请求路由到 LiteLLM、直连提供商或注册服务，提供 OpenAI 和 Anthropic 端点、HTTP/SSE 流式传输及可选 WebSocket 传输。该版本扩展了操作员控制台，支持全项目 Usage、协议感知 Traffic 和实时网关容量监控，并保持与 v0.1.49 的代理与计费契约兼容。部署需要 PostgreSQL 14+、Redis 6+，新版本须通过原生 body-admission benchmark 验证。
NeonMC23 的 forgeCORE 是一个基于 llama.cpp/ggml 的轻量 Rust 抽象层，自身不含计算逻辑，负责打开 ggml backend、管理 tensor 与计算图、通过 libllama 加载 .gguf 模型，并运行 Model → Context → Batch → decode → Logits → sample 的最小 CPU 推理路径。它暴露 tokenizer、KV/state 原语（state snapshot、position shift、KV cache dtype）、GPU offload 选项（默认 CPU，无 GPU 时显式报错），并内置冻结的标量 oracle 用于交叉验证；目前 CPU 推理路径已通过验证。
GitHub 用户 cameronbiggelaar-rgb 发布了 llm-smart-router 仓库，用于 LLM 智能路由。仓库包含 model-providers、SKILL.md、ARCHITECTURE.md 等目录和文件，并配有 GitHub Actions workflows、测试与文档。
一位 LocalLLaMA 网友晒出由 4x 5060ti 16GB、4x 3060 12GB 和 256GB DDR4 3200（4 通道）组成的推理平台，成本与 DGX Spark 相当。其规划是 5060 组 TP4 接 pipeline 到 3060 组，把不常用的专家卸载到内存，engram 放 NVMe SSD，询问此方案能否高速高精度跑大 MoE 模型，还是远逊于统一显存/内存架构。
just-core 是一个全家桶应用的内部共享库（不发布到 npm），检测硬件、推荐并下载 GGUF 模型，自动拉起 OpenAI 兼容的 llama-server（预编译包内置 CUDA 运行时）。它以纯 JavaScript 运行在 Node 24 上，包含 @delebash/core 服务端套件、Vue 共享 UI 与应用模板，并于 2026-10-18 从 just-llm-runner 更名。模型启动配置按四级规则解析：估算仅作准入、引擎默认 fit、用户显式设置精确生效、实测调优以超过 5% 平局的严格优势获胜。
ANEMLL Forge 0.2.1 发布，Qwen3.8-27B 在 M6 32GB 的 Neural Engine 上最高可跑 192K 上下文。新增 INT8 K/V cache（为 FP16 一半）并用共享输出 head 的更小 drafter 节省 0.86 GB ANE 内存；decode 依内容为 JSON 35–62 tok/s、code 18–32、prose 10–17，prefill 短上下文 260 tok/s、192K 时 62；作者称 96K 是 32GB 下的甜点位（123 tok/s prefill、约 27 tok/s decode、约 21.4 GB 内存），完整 192K 首次编译约需 2 小时，用 --ctx 只编译所需条目时 16K 从下载到运行约 10 分钟。
TensorSharp 开发者在 MiniMax-M3.1-Flash 开放权重发布当天加入支持，支持 GGUF 推理、MiniMax Sparse Attention 专用 CUDA kernel、图文输入、tool calling、多 GPU 拆分与张量并行、DSpark 投机解码和 MoE 专家 CPU offload。在 8× NVIDIA A40、双方使用相同 Unsloth UD-Q4_K_XL GGUF 的对比中，64K executor prefill 达 2,567 tok/s，对比被测 llama.cpp 分支的 262 tok/s 提升约 9.8 倍，server 首字时间从 293.4 秒降至 40.0 秒；64K decode 提升 1.49 倍，短对话 decode 基本持平。
推荐理由：开发者给出两引擎在8× A40上的prefill与decode实测，并解释长上下文差距来自稀疏注意力的实现差异，可复现。
新开源仓库 Magnetar 发布 v0.1 本地运行时基线，这是一个用 Rust 编写的可移植本地 AI 执行运行时，包含 magnetar-runtime 和 magnetar-cli 两个 crate。其外部 CUDA Provider 已在真实硬件上通过端到端验证，并支持加载生产级 Qwen 模型工件，实测通过公开下载的 Qwen2.5-0.5B-Instruct checkpoint 在 Reference CPU 与真实 CUDA 硬件上运行。项目另提供 WGPU、ROCm、Metal、NPU、TPU 等外部 Provider 基线，部分仅实现设备发现且尚未在对应硬件上验证，官方说明其还不是通用生产模型运行时。
Reddit 用户 /u/TheSpicyBoi123 发布改进 llama.cpp 对 Kepler 等 Ampere 之前 NVIDIA GPU 支持的高性能分支，目标是让旧 CUDA 硬件继续可用。在 4x Tesla K40c 上以 Q8_0 量化运行 MTP Qwen3.6-35B-A3B，从原先无法启动提升到 35 tps，修复主线上 cc35-50 的 cuBLAS 计算类型选择问题；启用 CUDA graphs 后达约 55 tps，Windows NCCL 集成带来约 5–10% 端到端提升，吞吐超 60 tps，P.P. 速度在 70-100 tps 之间波动。作者声明这是其个人系统的初步结果，并征集 Kepler、Maxwell、Pascal、Volta 等旧卡用户对比测试。
推荐理由：作者用 4 张 Tesla K40c 实测给出量化前后与启用 CUDA graphs 的速度对比，老卡复用方案可自行复现验证。
从 vLLM、llama.cpp、TensorRT-LLM 到 Strata、Radiance 及各种 Flash-Next / DeepSeek-Flash 优化构建，推理引擎数量激增，在 Qwen Flash Next 和 DeepSeek 变体等特定模型或硬件上性能提升明显，ROCm 也大幅改进。但模型支持参差不齐，用户往往需逐一测试才能选出最佳引擎，社区担忧生态正变得碎片化。
Reddit 用户更新了 ik_llama.cpp fork，并寻求社区反馈。该实现在 6GB 显存的 RTX 2060 上运行 Qwen3.6-35B-A3B-UD-Q4_K_M，短提示词生成约 45–48 t/s，28K 上下文约 37 t/s，prefill 约 430–700 t/s。由于反馈太少且代码需拆分清理，作者暂不合并到主线。
MicheleCampi 发布 gke-llm-inference-platform，一个基于 Terraform 与 ArgoCD app-of-apps 的 GKE LLM 推理平台，通过 scale-to-zero 的 L4 GPU 节点池运行 vllm-coldstart-operator v0.6.0，部署 Qwen2.5-7B-Instruct。实测中 6 个 ArgoCD Applications 全部 Healthy 且 Synced，vLLM Pod 0 重启并成功完成一次 chat completion（39 prompt + 33 completion tokens），随后 terraform destroy 清空全部 7 个资源实例。
网友在 RTX 5090、64GB DDR5 和 Lexar 4TB NVMe 的 Windows 10 机器上，用 Strata 以 8K 上下文跑通 DeepSeek V4.1 Flash，速度约 10 tok/s。作者称按此速度用 API 比付电费更划算，但仍对模型能在本地 PC 上运行感到兴奋。
/u/jonathanx37 在 r/LocalLLaMA 分享用 llama.cpp 在 8 GB VRAM 上运行 ISTA DASLab 的 3.5 BPW GSQ RCO 量化 Qwen-Flash-Next Coder 的方法。
GitHub 新仓库 InsightLense 是一个多模态 RAG 聊天机器人，能理解 PDF 文档中的文本、表格与图表，借助 Computer Vision“看懂”图形与示意图。它用 Gemini 2.5 Flash 解析图像、LlamaParse（Markdown 模式）保留表格结构，并采用 FAISS 语义搜索与 BM25 关键词搜索的混合检索，LLM 使用通过 Groq 调用的 Llama-3 / GPT-OSS，后端为 FastAPI，编排基于 LangChain。用户上传 PDF 后即可针对图表内容提问。
作者发布自研双卡推理引擎 capy-flash v0.7.4，面向两张 RTX 50 系显卡在 Linux 上做张量并行，支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。在 2× RTX 5070 Ti 上，Flash-Next NVFP4 解码 178 tok/s、64k prefill 4,828 tok/s，对比 Strata 0.1.45 双卡 NVFP4 短提示词约快 1.5 倍、平均约 1.76 倍；27B 双卡 NVFP4 DFlash2 验证解码 379 tok/s。
推荐理由：作者在同一台机器上给出与 Strata 的逐项对比数据，双卡 NVFP4 场景的提速幅度和适用边界都写得很具体。
Chenry-123 开源了跑在本机的 LLM 网关 llm-token-gateway，夹在 Qoder、Claude Code 等客户端与模型厂商之间，提供缓存、模型路由、预算闸门与四段计费记账。实测 35 题×3 轮显示路由省 51.2%、路由加显式缓存省 55.0%，质量经 Wilcoxon 配对检验不显著；缓存仅对 qwen-flash 生效，qwen-plus-latest 不支持缓存。支持 anthropic→openai 协议转换、流式透传、MCP 查账工具与离线成本看板，仓库地址 https://github.com/Chenry-123/llm-token-gateway。
推荐理由：作者用日志实测了缓存、路由与预算闸门的省钱幅度，并附配对统计检验区分质量损失与噪声，方法可直接迁移。
OmniJev 在 PyPI 发布 Flide 0.1.0，一个面向决策模型的服务工具。请求携带状态（如 Agent 轨迹或文档）和带类型的问题，Flide 在一次前向内把状态分叉给所有问题，状态只读一次，每个问题得到与单独提问一致的答案，并以概率形式通过 /v1/systemone API 返回。
推荐理由：原文给出了安装、启动和请求示例，一次前向同时回答多个问题的做法对搭建 Agent 决策管线有直接参考价值。
Genrius AI 的 Harshit Goyal 发布 Pingala-8，一种基于 8-state coset trellis 编码的 2-bit 量化格式，通过 CUDA 补丁在 llama.cpp 中运行，无需重训即可把 Qwen3-4B 从 8.05 GB 压到 1.24 GB，Llama-3.1-8B 从 16.08 GB 压到 2.39 GB。同字节数下 Qwen3-4B WikiText-2 困惑度 16.64，优于 IQ2_XXS 的 28.61 和 IQ2_KT 的 18.15；batch 1 生成比 Q4_K_M 快 39%。
推荐理由：作者给出与 IQ2_XXS 等字节的对比数字和明确的局限清单，读者可据此自行权衡这种免重训 2-bit 压缩的收益与代价。
AkiYangDev 开源 mini-deepinfer，一个参考 DeepInfer 设计、面向 Ascend 910C 的教学推理引擎，已在 Ascend 910C 上用项目自身前向计算跑通 Qwen3.5-2B 文本生成，教程共十四课。v0.2 把跨轮执行接到文本生成入口，v0.3 开发版新增可控 greedy 投机实验。验证包括短上下文数值与状态处理，跨轮分块九轮十四组 logits 最大差约 2.67e-5，项目采用 Apache-2.0 许可证，与 DeepSeek、SGLang 及华为无官方隶属关系。
LydiaTools 在 GitHub 发布 llm-endpoint-doctor v0.6.0 alpha，一条本地命令即可在接入前检查 OpenAI 兼容 API 的 base URL、模型 ID、鉴权和首次 chat 响应。可选检查覆盖模型目录、流式、JSON mode、工具调用、视觉输入和独立图像生成模型，每项各发一个请求；报告排除 API key、prompt 和响应内容，无第三方依赖，支持 CI 环境变量读 key，并提供 Groq、Gemini、OpenRouter 的免费档接入配方和本地 mock 端点演示。
tensai-app 发布 llama.kt，为 llama.cpp 提供 Kotlin/Android JNI 绑定，可加载任意 GGUF 模型在设备端推理，无需服务器或云端。原生 C++ 引擎提取自 llama.rn 并剥离 RN 层，已在 OPPO / Dimensity 900 上验证，Qwen2.5-0.5B（q4_K_M）CPU 生成约 20 tok/s。
同一新闻，精选展示《hokanosekai 开源 llama.kt：在 Android 端侧运行 GGUF 模型的 llama.cpp Kotlin 绑定》
Vhagar181 上线论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的配套代码仓库，论文正在 COAI 2025 审稿中。该论文提出优化策略以增强 LLM 跨多任务的上下文推理能力，实验显示在动态环境中适应性更优。仓库标注“即将发布”，将包含实现代码、benchmark 结果、预训练模型 checkpoint 及文档教程。
John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》正在 COAI 2025 审稿中，其代码仓库即将发布。论文提出优化策略以增强 LLM 跨多任务的上下文推理，实验结果显示在动态环境中适应性更优。仓库将包含实现代码、benchmark 结果、预训练模型检查点及文档教程。
USB AI 是一款 Rust 编写的便携式本地 AI 助手，通过 llama-server 在本机运行 GGUF 模型，无需账号或云端 API，整个文件夹可放进 U 盘随身携带。支持与本地模型聊天、导入最大 20 MB 的 PDF/TXT/Markdown 文件并按关键词检索、导出 Markdown 对话，提供 Qwen 2.5 0.5B/3B/7B 和 Gemma 2 9B 等模型，下载时校验 SHA-256。提供 Windows x64 和 macOS（arm64/x86_64）便携包，历史 MIT 许可版本仍可用，未来版本改用 USB AI Personal Use License v1.0，仅限个人和非商业免费使用。
ARM-Sparse 项目在 Apple M2 CPU 上实测 Llama 3.2 1B 与 TinyLlama 1.1B 的 FFN 块稀疏推理，结论是 packed B8 块内核只在 40-50% 稀疏度才快过 Accelerate 稠密基线，而此时模型质量已不达标（Llama 在 20% 处困惑度 +8.773% 失败）。在 10-20% 质量门槛内，只有采用 neuron-major 权重的 per-neuron 执行器跑块对齐 mask 能比稠密快百分之几（真实 mask +0.9% 到 +3.5%，合成 mask 最高 +7.3%），且质量上限决定了收益上限，不构成端到端可部署加速；仓库附带 99 项自动化测试的完整复现包。
开源 .NET 库 InferenceEngine.Core 通过统一的 IInferenceEngine 契约封装 ONNX 推理的模型下载缓存、硬件检测、warmup 和张量前后处理等通用流程。硬件加速支持 Windows 的 DirectML、macOS 的 CoreML 和 Linux x64 的 MIGraphX（ROCm），均带 CPU 自动回退，并支持 IAsyncEnumerable 流式解码与 KV-cache carry-back。示例项目内置完整 YOLO11 人脸检测管线，模型首次加载时自动下载缓存，MIGraphX 编译的 .mxr 程序可持久化以跳过约 1–2 分钟的重复编译。
InferiaLLM 是一个自托管的 LLM 生产运行操作系统，位于应用与 AI 基础设施之间，提供访问控制与 RBAC、速率限制与 token 预算、毒性/PII 内容扫描、OpenAI 兼容推理网关、GPU 编排和审计日志等平台能力。整个平台以单端口应用（APP_PORT 默认 8000）部署，由控制面加数据面组成，配套 Go 编写的 inferia-worker GPU 节点代理和 InferiaAllSpark 一体化部署方案，支持自托管与云端算力。
一篇题为《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的论文提出优化策略，以提升 LLM 在多任务环境中的上下文推理能力，实证结果显示其在动态环境中适应性更佳。该论文目前在 COAI 2025 会议审稿中，仓库标注"To be released"，完整实现代码、实验配置、Benchmark 结果、预训练模型 checkpoint 和文档教程尚未发布。
作者发布了面向本地 LLM 的语义缓存反向代理 semantic-cache-proxy，将提示词嵌入索引进 Redis Stack 的 HNSW 向量索引，相同或语义改写的查询命中缓存后延迟低于 15ms，绕过本地 GPU/CPU 推理瓶颈。系统用 SHA-256 对 system prompt 和参数做哈希分区，相似度阈值 ≥ 0.88 判定命中，兼容 OpenAI /v1/chat/completions 接口，并通过 X-Cache-Lookup 等响应头和 Streamlit 仪表盘提供实时遥测。项目 100% 本地运行、无需付费 API key，依赖 nomic-embed-text 嵌入模型，仓库附部署步骤与延迟基准脚本。
推荐理由：给出完整的架构流程、缓存阈值和部署命令，想把本地 LLM 推理换成语义缓存的读者可以直接照着搭建。
domyn edge 模型类似 Qwen，可在游戏 GPU 上高效运行，也支持服务端推理，完全开源并附带训练基础设施，无特殊授权限制。相比其默认的 nginx，Ramjet 带来显著加速，多智能体会话最高提速 61%。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
Reddit r/LocalLLaMA 用户提醒，从 SSD 流式读取 n-gram 表会带来读取扰动：TLC/QLC SSD 频繁读取相邻单元会逼近 ECC 限制，控制器会通过 read reclaim 迁移整页数据，使读取最终转化为写入。文中示例显示某单元被读取 54K 次即触发迁移，建议用 SMART 计数器监测 "data units written" 或 "LBAs written" 的增长。