跳到正文
更多
GitHub · 去对齐工具与仓库·· 16 小时前AI 评分42

SnowLLM:面向 AMD Ryzen AI Max 的本地 LLM 推理框架

SnowLLM/SnowLLM

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/SnowLLM/SnowLLM

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

SnowLLM 是一个针对 AMD Ryzen AI Max 手工调优的本地 LLM 推理框架,兼容其他 RDNA 3 / RDNA 3.5 APU,支持推测解码与低并发推理。在 Ryzen AI Max+ 395 上,Qwen3.6 35B A3B 对比 llama.cpp 有 2.4x 解码加速,GLM-5.3-Flash 在 220K 输入下达 26.8 tok/s、4.3× llama.cpp 吞吐;MiniCPM-V 4.7 在 32 GiB Windows 机器上支持 132K 上下文。框架提供 OpenAI 兼容 API、Web UI 与 CLI,支持 Linux 和 Windows 11。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。