GitHub · 去对齐工具与仓库·· 16 小时前AI 评分42
SnowLLM:面向 AMD Ryzen AI Max 的本地 LLM 推理框架
SnowLLM/SnowLLM
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/SnowLLM/SnowLLM
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
SnowLLM 是一个针对 AMD Ryzen AI Max 手工调优的本地 LLM 推理框架,兼容其他 RDNA 3 / RDNA 3.5 APU,支持推测解码与低并发推理。在 Ryzen AI Max+ 395 上,Qwen3.6 35B A3B 对比 llama.cpp 有 2.4x 解码加速,GLM-5.3-Flash 在 220K 输入下达 26.8 tok/s、4.3× llama.cpp 吞吐;MiniCPM-V 4.7 在 32 GiB Windows 机器上支持 132K 上下文。框架提供 OpenAI 兼容 API、Web UI 与 CLI,支持 Linux 和 Windows 11。
来源:GitHub · 去对齐工具与仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。