GitHub · 去对齐工具与仓库·· 21 天前AI 评分49
epyc-orchestrator：基于 AMD EPYC 的纯 CPU 分层多模型 LLM 编排系统
pestopoppa/epyc-orchestrator
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/pestopoppa/epyc-orchestrator
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
pestopoppa 开源的 epyc-orchestrator 在单台 AMD EPYC 9655（96C/192T、1.13 TB DDR5-5600、无 GPU）上实现分层多模型本地 LLM 推理编排，跨 20 个 llama-server 端口路由任务。系统包含学习型路由分类器（98.7% 验证准确率）、自动升级、投机解码（2–4× 加速）、KV-cache 5× 压缩、MemRL 情景记忆及 AutoPilot 自主优化循环，采用 MIT 许可证。
来源：GitHub · 去对齐工具与仓库 · github.com