跳到正文
GitHub · 去对齐工具与仓库·· 4 天前AI 评分47

Ollama Model Checker:检查 HuggingFace 模型兼容性并一键部署到 Ollama 的 Web 应用

mainul35/ai-gateway

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/mainul35/ai-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源 Web 应用 Ollama Model Checker 可检测 GPU VRAM、RAM 和 CPU 状态,输入任意 HuggingFace 模型 ID 即可分析兼容性并推荐合适的量化级别(Q2_K 至 Q8_0),还能计算支持 GQA 的 KV cache 需求、调整上下文长度。仅 GGUF 格式模型可一键部署到 Ollama,safetensors 仓库只显示大小与内存估算。应用支持 Docker 部署,要求 Python 3.8+ 和 Ollama 0.5.5 或更新版本,采用 MIT 许可证。

来源:GitHub · 去对齐工具与仓库 · github.com