跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分59

AetherControl 开源 LLM 生产级控制平面仓库,集成 vLLM 推理、GRPO 对齐与 K8s 遥测

Aravind0403/aether-control-llm-infra

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Aravind0403/aether-control-llm-infra

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Aravind0403 在 GitHub 开源 AetherControl,一个连接 GPU 硬件执行与后训练开发管线的 LLM 生产级控制平面,涵盖数据预检、DeepSeek-R1 风格 GRPO 微调、vLLM 推理服务与 Kubernetes 遥测四个阶段。实测部分为 RTX 4090 上 vLLM 0.7.2 跑 Qwen2.5-1.5B-Instruct,达到 1,141.41 tokens/s、TTFT P50 22.1ms,成本 $0.08–$0.10 每 1M tokens;GRPO 训练批数学准确率从 42% 提到 70%(作者注明非 held-out 测试)。仓库提供 64 个 CPU 可跑的单元测试、指标溯源注册表和 HuggingFace 上的微调模型与数据集,MIT 协议。

推荐理由

仓库把每项指标都标注了实测、训练批或分析模型分类并附复现路径,还提供零 GPU 的 CPU 单测入口,便于读者自行验证。

来源:GitHub · 灵魂体仓库 · github.com