跳到正文
Reddit · r/LocalLLaMA· /u/inthesearchof·· 15 天前精选AI 评分58

Project Maya 发布本地运行方案,让 GLM-5.3-Flash 在消费级 GPU 上跑到 30 tokens/s

"Strata" for GLM5.3 Flash is here for some! Project Maya

来源与原文

Reddit · r/LocalLLaMA

作者:/u/inthesearchof

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x3fxzj/strata_for_glm53_flash_is_here_for_some_project/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Reddit 用户分享 Project Maya,可在自有 GPU 上本地运行 GLM-5.3-Flash(321B 参数、每 token 约 18B 激活、最高 1M token 上下文,MIT 许可)。作者从原方案的约 10 tokens/s 提升到 30 tokens/s;项目称四张 RTX 4090 上可达 118 tokens/s,单张 RTX 5090 达 30+,自有量化保留 FP8 模型 97.7-99.2% 的 zero-shot 精度,并提供 OpenAI 与 Anthropic 兼容 API。项目地址 https://github.com/mw00/project-maya。

推荐理由

作者给出单卡与多卡的具体 token 速度和量化精度数据,想本地跑 GLM-5.3-Flash 的读者可以据此估算自己的硬件门槛。

来源:Reddit · r/LocalLLaMA · reddit.com