GitHub · 去对齐工具与仓库·· 20 天前AI 评分27
TinyServe：从零构建的轻量级 LLM 推理服务引擎
devwo1f/TinyServe
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/devwo1f/TinyServe
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
TinyServe 是一个用 Python、PyTorch 和 Triton 从零构建的可读性优先 LLM 推理服务引擎，可在单 GPU 上以 OpenAI 兼容流式 API 服务 Llama 架构模型。项目目前处于早期开发阶段（Phase 0），尚未报告任何 benchmark 数字，规范详见 docs/SPEC.md。
来源：GitHub · 去对齐工具与仓库 · github.com