GitHub · 去对齐工具与仓库·· 20 天前AI 评分54
brittlewis12 发布 qwen-llm：Apple Silicon 上的 Rust+Metal 本地 GGUF 推理工具包
brittlewis12/qwen-llm
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/brittlewis12/qwen-llm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
brittlewis12 在 GitHub 发布 qwen-llm 0.0.1，一个面向 Apple Silicon 本地 GGUF 模型的实验性 Rust 推理、服务与基准测试工具包，含自定义 Metal kernel。支持 Qwen3.5/3.6/3.8、DeepSeek V4、Muse Glimmer 30B、K2 Horizon 7B 等 GGUF；在 M4 Max 上 Muse Q8_0 的 32K late-chunk 实测节省 17.95% 墙钟时间，Flash-Next 的 HC 路径节省 6.56% GPU 时间，1024 行 packed router 节省 14.77% prefill GPU 时间。
来源：GitHub · 去对齐工具与仓库 · github.com