GitHub · 去对齐工具与仓库·· 8 天前AI 评分28
Micro-LLM-Engine：轻量级 GIL-free INT8 LLM 推理服务器
kohjiajun/Micro-LLM-Engine
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/kohjiajun/Micro-LLM-Engine
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 Micro-LLM-Engine 是一个轻量级 LLM 推理服务器，采用 INT8 量化，配有自定义 SIMD C++ kernel，且不受 GIL 限制。它支持在 Python 侧对请求做 continuous batching，以提升推理吞吐。项目采用 MIT 许可证开源。
来源：GitHub · 去对齐工具与仓库 · github.com