GitHub · 去对齐工具与仓库·· 4 天前AI 评分47
Ollama Model Checker:检查 HuggingFace 模型兼容性并一键部署到 Ollama 的 Web 应用
mainul35/ai-gateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/mainul35/ai-gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开源 Web 应用 Ollama Model Checker 可检测 GPU VRAM、RAM 和 CPU 状态,输入任意 HuggingFace 模型 ID 即可分析兼容性并推荐合适的量化级别(Q2_K 至 Q8_0),还能计算支持 GQA 的 KV cache 需求、调整上下文长度。仅 GGUF 格式模型可一键部署到 Ollama,safetensors 仓库只显示大小与内存估算。应用支持 Docker 部署,要求 Python 3.8+ 和 Ollama 0.5.5 或更新版本,采用 MIT 许可证。
来源:GitHub · 去对齐工具与仓库 · github.com