跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分59

Qwen3.5-9B-ToolHub 发布本地一体化部署方案,联网搜索、看图、读文件开箱即用

Paata28b/Qwen3.5-9B-ToolHub

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Paata28b/Qwen3.5-9B-ToolHub

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Paata28b 发布基于 Qwen3.5-9B 多模态模型的本地一体化部署仓库 Qwen3.5-9B-ToolHub,推理在本机 GPU 完成,支持联网搜索并附来源、上传图片提问、只读浏览本机文件和内置思维链。需要 Windows 10/11、≥8 GB 显存的 NVIDIA 显卡和 Python 3.10+,首次运行下载约 6 GB 模型,启动 30–60 秒,并提供 Docker Compose、WSL 和 Q8 量化(约 10.2 GB,显存 ≥12 GB)三条备选路线,对外暴露 OpenAI 兼容 API(http://127.0.0.1:8080/v1)。底层使用 llama.cpp 作为 GGUF 推理引擎。

推荐理由

原文给出完整的硬件要求、安装步骤和三条部署路线,本地跑通 Qwen3.5-9B 多模态加工具调用可以照做。

来源:GitHub · 去对齐工具与仓库 · github.com