GitHub · 灵魂体仓库·· 20 天前精选AI 评分63
llmx：无依赖的 C++17 LLM 推理运行时开源，支持 CPU 与 Vulkan GPU
mxxm-t/llmx
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/mxxm-t/llmx
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
mxxm-t 在 GitHub 开源了 llmx，一个无依赖的 C++17 LLM 推理运行时，可命令行运行或作为 OpenAI 兼容服务器，支持单机多设备跑同一模型。
推荐理由
README 明确列出了已支持与计划中的模型、量化类型、后端和多设备模式，读者可据此判断该 CPU/Vulkan 推理运行时是否覆盖自己的硬件。
来源：GitHub · 灵魂体仓库 · github.com