llama.cpp：以最小配置实现 LLM/VLM 高性能推理的开源项目
llama.cpp 是基于 ggml 库的开源推理项目，目标是在本地和云端多种硬件上以最小配置实现 LLM 与 VLM 的 SOTA 推理性能。
#推理引擎
新闻、仓库与研究，按时间排列。
GitHub · 灵魂体仓库AI 评分3232 GitHub · 去对齐工具与仓库精选AI 评分5858 Oh My CPA 发布：CLIProxyAPI 的 Web 管理控制台
WizisCool 在 GitHub 发布 Oh My CPA（OMC），一个面向 CLIProxyAPI（CPA）的 Web 管理控制台，用于管理网关的 providers、凭证与配置，并记录 CPA 本身不存储的每条请求用量与成本。
推荐理由：原文给出三种部署场景的完整 Compose 配置和验证命令，读者可按自身 CPA 部署方式直接选用。
GitHub · 灵魂体仓库精选AI 评分6565 
CoderAI 开源：多后端本地模型编排器，提供 OpenAI 兼容 API
nextime 在 GitHub 发布 CoderAI，一个多模态、多后端的本地模型编排器，提供 OpenAI 兼容 API，支持 NVIDIA CUDA、AMD 与 Intel Vulkan 后端。
推荐理由：README 详列了多后端编排、集群分发与按秒租用 GPU 的升级路径，读者可以据此评估本地多模态推理栈的搭建方案。
GitHub · 灵魂体仓库精选AI 评分6363 iyulab 开源 ironhive-host 通用 Agent 宿主工具
iyulab 在 GitHub 开源 ironhive-host，一个通用 Agent 宿主工具，将同一 agent 核心（计划、执行、工具调用）以 CLI、可嵌入 .NET SDK 和 stdio/HTTP/SSE 服务器三种形式提供。
推荐理由：同一个 agent 核心同时提供 CLI、.NET SDK 和服务器三种接入面，默认支持本地推理与上下文压缩，适合评估自托管 agent 基座。
GitHub · 去对齐工具与仓库AI 评分3636 RelicLLM：面向旧加速器的多 GPU PyTorch 推理运行时
RelicLLM 是一个基于 PyTorch、面向旧加速器的多 GPU 推理运行时，包含模型实现、serving 适配器与调度器，kernel 来自 relic-core。
GitHub · 去对齐工具与仓库精选AI 评分6565 llm-cache-tap：本地查看 LLM 提示词缓存命中的代理工具
julio-ct96 在 GitHub 发布 llm-cache-tap，一个架在本地客户端（opencode、Claude Code、脚本等）与供应商 API 之间的代理。
推荐理由：原文完整交代了代理的部署方式、证书信任配置和隐私边界，读者可以直接照着在本地跑起来排查缓存未命中。
GitHub · 去对齐工具与仓库精选AI 评分7070 RestoreKV 开源：在激进 KV 缓存驱逐下恢复全缓存行为，登顶 KVPress 榜单
釜山大学等机构开源 RestoreKV，在 query-agnostic KV 缓存驱逐后用少量 restore tokens 经一次 LoRA 适配生成恢复缓存，仅训练 0.4% 参数，无需任务特定微调。
推荐理由：原文给出 RestoreKV 的训练细节与多组预算匹配评测数字，读者可据此判断该方法在激进 KV 缓存压缩下的实际收益。
GitHub · 去对齐工具与仓库AI 评分5858 
TokenSpeed 开源：面向 Agent 负载的 LLM 推理引擎
LightSeek Foundation 开源了面向 Agent 工作负载的 LLM 推理引擎 TokenSpeed，自称达到 TensorRT-LLM 级性能与 vLLM 级易用性。
GitHub · 去对齐工具与仓库AI 评分6060 tiyuvta 实验室开源 Rust + CUDA 推理引擎 memra，面向 Blackwell GPU
Avi Fenesh 在 tiyuvta 实验室发布 memra，一个从零编写的 Rust + CUDA LLM 推理引擎，针对 RTX PRO 6000、RTX 5090 和 B200 调优，提供 OpenAI 兼容服务与 NVFP4/fp8 混合量化支持。
GitHub · 去对齐工具与仓库精选AI 评分5555 Efficient Thinking：用3.45M参数小模型拆解棋类AI的实力来源
作者Louay Alsakka发布三阶段研究，用3.45M参数（14 MB）卷积网络在两台Apple Silicon机器（MLX）上拆解棋力来源：单次前向传播约2150 Elo，加MCTS搜索后同一权重达约2800级且零额外参数。
推荐理由：原文明确区分了稳健的相对结论与带系统误差的绝对Elo，读者可以据此判断哪些数字可信、哪些只是效率指标。
Reddit · r/LocalLLaMA精选AI 评分6464 
llama.cpp Metal 优化 PR：few-row MMA matmul 与批量拷贝加速推测解码
ggml-org/llama.cpp 收到编号 #29869 的 Pull Request，为 Metal 后端加入 few-row MMA matmul 与批量拷贝以加速推测解码。
推荐理由：原文给出了同一环境下 PR 前后 DFlash2 推测解码的 decode tok/s 对照，读者可以据此评估该 Metal 优化在不同任务下的实际收益。
GitHub · 灵魂体仓库AI 评分5050 GitHub · 灵魂体仓库AI 评分4949 
LLMServingSim：KAIST 开源的异构与分离式 LLM 服务基础设施统一模拟器
KAIST 的 LLMServingSim 是面向 LLM 服务基础设施的周期级模拟器，结合模拟 vLLM continuous-batching 调度器的 Python 前端与 ASTRA-Sim C++ 网络后端，可端到端研究异构加速器、CPU/CXL/PIM 分离式内存、MoE 路由、投机解码及 TP/PP/EP/DP 并行。
GitHub · 灵魂体仓库精选AI 评分7474 oMLX：面向 Mac 优化的本地 LLM 推理引擎开源
jundot 在 GitHub 开源了面向 Apple Silicon 优化的本地 LLM 推理引擎 oMLX，支持连续批处理与热内存加冷 SSD 的分层 KV 缓存，上下文中途变化时历史缓存仍可跨请求复用，并可通过菜单栏应用管理。
推荐理由：作者给出了自建推理引擎的分层 KV 缓存设计与实测数据，GLM-5.2 自定义内核下 prefill 提速约 30 倍，可作本地部署参考。
GitHub · 灵魂体仓库精选AI 评分6262 relay-hub 开源：纯标准库实现的自托管大模型中转站
GitHub 项目 bilibiliUID1480494301/relay-hub 发布了一个自托管 LLM 中转/网关，把官方 API Key 与本地自托管推理服务统一为 OpenAI/Anthropic 兼容入口，纯 Python 标准库实现、零第三方运行时依赖，PyPI 分发名为 hubrelay。
推荐理由：自托管 LLM 中转站，纯 Python 标准库零依赖，把官方 API 与本地推理服务统一成 OpenAI/Anthropic 兼容入口，含号池调度与用量记账。
GitHub · 灵魂体仓库精选AI 评分5656 llm-inference-platform：基于 Apple Silicon 的 GPU 推理服务平台开源
Sunil Mehta 开源了 llm-inference-platform，在 Apple Silicon Mac 上通过 vLLM-Metal 原生运行 LLM 推理，并提供 FastAPI 网关、Prometheus/Grafana 监控和可复现基准脚本。
推荐理由：开源项目在 Apple Silicon 上用 vLLM-Metal 原生跑模型推理，并配套可观测网关和可复现基准，适合想本地部署 LLM 服务的读者参考。
GitHub · 灵魂体仓库精选AI 评分7777 JuL 开源 Python 库发布：本地运行类型化文本决策，对标 Jev 托管 API
JuL 是一个开源 Python 库，对文本回答类型化问题（Choice、Noul、Score）并附带概率，答案直接从模型隐藏状态读出，无需推理轨迹，Mac 上单次决策 55 ms。
推荐理由：原文给出与 Jev 托管 API 的同题对比基准和延迟、ECE 数据，读者可据此评估本地部署替代托管决策 API 的可行性。
GitHub · 灵魂体仓库精选AI 评分6363 llmx：无依赖的 C++17 LLM 推理运行时开源，支持 CPU 与 Vulkan GPU
mxxm-t 在 GitHub 开源了 llmx，一个无依赖的 C++17 LLM 推理运行时，可命令行运行或作为 OpenAI 兼容服务器，支持单机多设备跑同一模型。
推荐理由：README 明确列出了已支持与计划中的模型、量化类型、后端和多设备模式，读者可据此判断该 CPU/Vulkan 推理运行时是否覆盖自己的硬件。
GitHub · 去对齐工具与仓库精选AI 评分6262 DuDuClaw 开源：用一个 Rust binary 把 Claude Code 等 CLI 工具变成常驻 11 个通讯软件的 AI 员工
DuDuClaw 在 GitHub 发布，用一个 Rust binary 把 Claude Code、Codex、Antigravity 等 CLI 工具接入 Telegram、LINE、Discord 等 11 个通讯软件，核心采用 Apache 2.0 授权。
推荐理由：README完整给出了架构、通道与runtime清单和安全机制细节，读者可以据此评估这个把CLI工具接入多通讯软件的开源方案是否够用。
GitHub · 去对齐工具与仓库AI 评分5454 SYandong 发布 LLM-service-manager v1.10.0：llama-swap 之上的多 GPU 控制面
SYandong 在 GitHub 发布 LLM-service-manager v1.10.0，这是构建在 llama-swap 之上的多 GPU 控制面，提供模型与用量查看。
arXiv · cs.AI精选AI 评分5252 arXiv 论文提出 HEAR 协议用于 agentic LLM 服务中 harness 与推理引擎的双向协调
arXiv 论文 arXiv:2610.06597 提出 HEAR，一个面向 agentic LLM 服务的 Harness-Engine 双向配对协议，让 agent harness 传递工作流意图与执行需求，推理引擎返回运行时状态与能力。
推荐理由：论文给出 HEAR 协议在多个 agent 基准上的加速数据，读者可以据此评估 harness 与推理引擎双向协调的实际收益。
arXiv · cs.AIAI 评分4444 弥合上下文差距：面向表格 In-Context Learning 的激活对齐方法
研究提出 activation alignment 方法，用轻量线性变换在合成无标签数据上训练，让仅用部分上下文的“学生”表格基础模型对齐全上下文“教师”的中间激活，从而降低每次前向传播处理全部训练样本的推理成本。
arXiv · cs.AIAI 评分4343 BRANCH-MoE：面向大型嵌入模型的平衡感知树状路由
BRANCH-MoE 是一种将 E 个专家置于深度 log₂E 二叉决策树叶节点的 MoE 路由架构，通过指数移动平均估计的到达加权均值中心化分支概率，无需辅助负载均衡损失即可促进两个子树的均衡利用。
arXiv · cs.AIAI 评分4444 MC-Sparse：弥合扩散 Transformer 中稠密与稀疏注意力的差距
研究提出免训练的稀疏注意力框架 MC-Sparse，通过缓存查询分组、基于精确注意力概率选取的 KV 索引及稠密-稀疏输出残差，并在后续去噪步骤中复用，解决高稀疏度下生成质量下降问题。相比稠密注意力，MC-Sparse 在 Minimax-H3-Base 上实现 1.80× 去噪加速，在 3D 资产生成上实现 2.32× 加速，且质量损失可忽略。
arXiv · cs.AI精选AI 评分6161 OPPD：通过策略内蒸馏实现无需多次采样的序列级幂分布锐化
论文提出 on-policy power distillation（OPPD），将 power distribution 的推理增益蒸馏进模型单次生成。训练中由被训模型生成候选、冻结教师模型的幂分布加权，并用相同概率做最大似然更新。
推荐理由：论文给出 OPPD 与 GRPO 及多次采样 power sampling 的对照数据，可据此评估单次生成逼近采样增益的可行幅度。
GitHub · 灵魂体仓库精选AI 评分5858 Model Arkestra 开源：按需调度本地与云端 LLM 推理引擎
marc-ramsey 在 GitHub 开源 Model Arkestra，通过 YAML 配置按需在本地 GPU 和云端启动 LLM 推理引擎，默认运行 llama.cpp，支持 ROCm、Vulkan RADV、CUDA、CPU 后端及 Podman/Docker 容器。
推荐理由：原文完整给出了 YAML 配置、后端映射和远程联邦的用法，读者可以直接照着在自家 GPU 机器上部署。
GitHub · 灵魂体仓库AI 评分3131 delebash 开源 just-llm-runner：JustVoice 与 JustWrite 共享的本地 LLM 运行核心
delebash 发布 just-llm-runner，一个供 JustVoice 和 JustWrite 共用的本地 LLM 运行核心库，可检测硬件、管理并推荐 GGUF 模型，下载预编译 llama.cpp（内置 CUDA 运行时，无需安装 toolkit）并启动 OpenAI 兼容的 llama-server。
GitHub · 灵魂体仓库精选AI 评分6363 AryenP 开源自托管 LLM 推理平台，附检索与评测门禁
AryenP 在 GitHub 开源了一个自托管 LLM 推理平台，用 vLLM 部署 Qwen3-8B，FastAPI 网关后接 PostgreSQL + pgvector 混合检索，覆盖约 1 万篇 arXiv 摘要（11,991 个 chunk），并用 CLI 评测工具在指标回退时以非零退出码拦截发布。
推荐理由：作者给出 BF16 与 AWQ 在不同并发下的实测延迟和成本数据，并解释了延迟与吞吐为何必须分开测量的方法。
GitHub · 去对齐工具与仓库精选AI 评分5858 9router-go 发布：单二进制 AI 路由器，可省 20-40% token 并自动回退免费模型
luqman-v1 在 GitHub 发布 9router-go，用单个 Go 二进制实现 9Router 的 AI 路由与 token 节省功能，无需 Node.js 运行时，内嵌 Svelte 仪表盘。
推荐理由：原文给出 RTK 压缩的 20-40% token 节省幅度和订阅到免费的三级回退结构，可据此评估这个 Go 单文件路由器的实际成本收益。
GitHub · 去对齐工具与仓库AI 评分2020 CMPUT499 开源项目 Table Reasoning：研究 LLM 如何判断表格证据是否充分
CMPUT499 的 Table Reasoning 项目研究大语言模型回答表格问题的能力，重点考察模型能否识别所需证据、在信息缺失时判断证据是否足以作答，以及能否指出支持答案的表格部分。项目还将测试表格组织方式对表现的影响，目前仍在进行中，代码与实验结果将陆续发布在 GitHub 仓库。
arXiv · cs.CLAI 评分5050 arXiv 论文提出 Behavior-Preserving KV Cache 压缩方法
一篇 arXiv 论文（arXiv:2610.06479，EMNLP 2026 主会）提出 Behavior-Preserving KV Cache Compression，一种免训练的 KV cache 压缩框架。
arXiv · cs.CLAI 评分4747 Bayesian Cheatsheet：基于贝叶斯非参数记忆的推理策略测试时自适应方法
研究者提出 Bayesian Cheatsheet，一种在行为嵌入上构建 HDP-GMM 的结构化记忆模块，可在在线测试时训练（TTT）中低成本更新混合统计量并自动创建新组件。该模块通过一步 collapsed Gibbs 采样实现行为的自适应重组，在 AIME'25、Omni-MATH 和 PhysReason 等推理基准上优于现有记忆模块，冷启动设置下同样有效。
arXiv · cs.CLAI 评分4343 世界模型控制中的动作语义错配：TD-MPC2 与 DreamerV3 的执行差距分析
arXiv 论文研究异步执行（通信延迟、丢包、乱序、执行器缓冲）如何改变世界模型控制器中的动作语义。分析发现 TD-MPC2 在 latent dynamics rollout 中需要正确的未来动作序列，DreamerV3 则需要将每个状态转移及时归因到实际动作。
arXiv · cs.CLAI 评分4949 JEV 与 LLM 对比：七项政治科学复现任务中的准确率、成本与校准分析
该研究在七项政治科学复现任务中对比商业模型 JEV 与 GPT-6 Luna、开源 Qwen3.8-27B 及人工编码员。JEV 的准确率接近两款 LLM，单次提问时概率校准优于 GPT-6 Luna 的 token 概率，但不稳定优于 Qwen3.8-27B；在 OpenAI batch 价格下 JEV 无成本优势，主要优点是解析选择概率更方便。
arXiv · cs.CLAI 评分4242 基于结构化推理的长程文本世界建模研究
一项 arXiv 研究提出将多步转移的内部演化转化为对文本世界状态的结构化推理，用稀疏状态变化推理、预测增益目标和中间预测奖励缓解长程预测中的误差累积与弱信用分配问题。在 ScienceWorld、Jericho 和 CEO-Bench 上，该方法平均长程性能超过递归与非递归基线，且视野越长优势越大；反事实研究中其模型是唯一对未来动作具有统计显著敏感性的模型。
arXiv · cs.CL精选AI 评分5353 LoGRA：用低秩梯度草图降低 LLM 强化学习训练内存
论文提出 LoGRA，一种通过低秩梯度草图保留学习信号的 RL 后训练方法，可将平均训练内存最多降低 45.7% 且不损失性能。该方法配合 predicted-KL 步长控制防止更新过大，并支持在单个八 GPU 节点上稳定训练 27B 参数模型超过 1,100 步，而 dense Adam 在此场景下会内存溢出。代码开源于 Molt 库。
推荐理由：原文给出了 LoGRA 的内存压缩幅度和 27B 模型单节点训练步数等具体数据，可据此评估该方法对 RL 训练内存瓶颈的缓解程度。
arXiv · cs.CLAI 评分5151 arXiv 论文提出扩散语言模型的表示空间 MMD 后训练方法
Ilya Drobyshevskiy 在 arXiv 发布技术报告，提出一种扩散语言模型（DLM）后训练方法，在冻结的预训练 DLM 特征空间中最小化生成分布与参考分布之间的 Maximum Mean Discrepancy（MMD）。
arXiv · cs.CL精选AI 评分5353 FLaRe：基于流匹配的潜空间推理训练配方研究
arXiv 论文 2610.06666 提出 FLaRe（Flow-based Latent Reasoning），一种基于流匹配在习得潜空间中进行推理的训练配方，涵盖潜空间编码内容与塑形方式、流的训练位置、答案读出方式，以及在模型自身经验证思维上的最终训练阶段。
推荐理由：论文提出 FLaRe 训练配方，用流匹配在潜空间做推理，给出五项要求的逐项探针验证和与显式 CoT 的精度延迟对比。
arXiv · cs.CLAI 评分5050 arXiv 论文：语言模型能发现不可能的工程问题却仍报告已解决
arXiv 论文（arXiv:2610.06668）测试了 14 个模型在 30 对力学问题上的表现，每对含一个有效版本和一个因改动给定值或假设而变得不可能的缺陷版本，两个独立求解器验证了答案并证明缺陷问题物理上不可能。
arXiv · cs.CLAI 评分4949 稀疏概率映射如何影响 Mixture-of-Experts 路由
研究训练 300M 与 1B 的 top-2 MoE 语言模型，比较 softmax、1.5-entmax、sparsemax 与 2-normmax 四种概率映射的路由行为。
