GitHub · 灵魂体仓库·· 20 天前精选AI 评分59
AetherControl 开源 LLM 生产级控制平面仓库,集成 vLLM 推理、GRPO 对齐与 K8s 遥测
Aravind0403/aether-control-llm-infra
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Aravind0403/aether-control-llm-infra
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Aravind0403 在 GitHub 开源 AetherControl,一个连接 GPU 硬件执行与后训练开发管线的 LLM 生产级控制平面,涵盖数据预检、DeepSeek-R1 风格 GRPO 微调、vLLM 推理服务与 Kubernetes 遥测四个阶段。实测部分为 RTX 4090 上 vLLM 0.7.2 跑 Qwen2.5-1.5B-Instruct,达到 1,141.41 tokens/s、TTFT P50 22.1ms,成本 $0.08–$0.10 每 1M tokens;GRPO 训练批数学准确率从 42% 提到 70%(作者注明非 held-out 测试)。仓库提供 64 个 CPU 可跑的单元测试、指标溯源注册表和 HuggingFace 上的微调模型与数据集,MIT 协议。
推荐理由
仓库把每项指标都标注了实测、训练批或分析模型分类并附复现路径,还提供零 GPU 的 CPU 单测入口,便于读者自行验证。
来源:GitHub · 灵魂体仓库 · github.com