GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分59
Local LLM Foundry 2.0 发布,整合 llama.cpp 与 Rapid-MLX 本地推理管理
nmorgowicz-org/local-llm-foundry
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/nmorgowicz-org/local-llm-foundry
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
nmorgowicz-org 在 GitHub 发布 Local LLM Foundry 2.0,定位为 llama.cpp 与 GGUF 推理的统一管理面板,支持模型发现、GPU/系统实时遥测、聊天工作区和硬件感知配置向导,覆盖 macOS、Linux 和 Windows。该版本将 Rapid-MLX 列为 Apple Silicon 的一等推理后端,运行时由应用托管安装与回滚;项目是 Llama Monitor 的兼容性更名,2.x 内保留原有 API 路由与浏览器存储,许可证为 MIT。
推荐理由
README完整描述了llama.cpp与Rapid-MLX双后端的管理方式、遥测面板和硬件向导,读者可据此评估是否替换现有本地推理工具链。
来源:GitHub · 去对齐工具与仓库 · github.com