GitHub · 灵魂体仓库·· 19 天前AI 评分35
llm-inference-system：对标 LLaMA 3 与 DeepSeek-V3/R1 架构的 LLM 训练与评估平台
Manjarly/llm-inference-system
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Manjarly/llm-inference-system
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 llm-inference-system 仓库提供一套大语言模型全生命周期工程平台，架构对标 LLaMA 3、DeepSeek-V3/R1 和 Qwen 2.5，覆盖 SFT（Full/LoRA/QLoRA）、DPO、在线 RL GRPO、分布式通信与高吞吐推理服务。基准实验基于 Qwen2.5-0.5B（494M 参数、24 层、151,936 词表），其零显存 DPO 通过禁用 adapter 复用冻结基座权重，省去参考模型复制；推理侧对比 PyTorch Eager、vLLM、Hugging Face TGI 和 llama.cpp。
来源：GitHub · 灵魂体仓库 · github.com