跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分59

Local LLM Foundry 2.0 发布,整合 llama.cpp 与 Rapid-MLX 本地推理管理

nmorgowicz-org/local-llm-foundry

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/nmorgowicz-org/local-llm-foundry

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

nmorgowicz-org 在 GitHub 发布 Local LLM Foundry 2.0,定位为 llama.cpp 与 GGUF 推理的统一管理面板,支持模型发现、GPU/系统实时遥测、聊天工作区和硬件感知配置向导,覆盖 macOS、Linux 和 Windows。该版本将 Rapid-MLX 列为 Apple Silicon 的一等推理后端,运行时由应用托管安装与回滚;项目是 Llama Monitor 的兼容性更名,2.x 内保留原有 API 路由与浏览器存储,许可证为 MIT。

推荐理由

README完整描述了llama.cpp与Rapid-MLX双后端的管理方式、遥测面板和硬件向导,读者可据此评估是否替换现有本地推理工具链。

来源:GitHub · 去对齐工具与仓库 · github.com