GitHub · 去对齐工具与仓库·· 7 天前AI 评分47
GLM-Edge 端侧模型系列开源:含 1.5B/4B 对话与 2B/5B 多模态模型
DangMarino5002/GLM-Edge
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/DangMarino5002/GLM-Edge
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GLM-Edge 系列端侧模型发布,包含 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat 两款对话模型和 GLM-Edge-V-2B、GLM-Edge-V-5B 两款多模态模型,1.5B/2B 面向手机、车机,4B/5B 面向 PC。在高通骁龙 8 Elite 平台上,1.5B 对话与 2B 多模态模型借助 NPU 和混合量化实现每秒 60 tokens 以上解码,配合投机采样峰值超每秒 100 tokens。模型已在 HuggingFace、ModelScope 等平台提供下载,支持 Transformers、vLLM、OpenVINO 推理。
来源:GitHub · 去对齐工具与仓库 · github.com