GitHub · 去对齐工具与仓库·· 3 天前AI 评分54
pstreet/mistral.rs 部署分支新增 AMD ROCm 支持并附性能对比
pstreet/mistral.rs
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/pstreet/mistral.rs
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
pstreet 的 mistral.rs 部署分支在 upstream 的 CUDA/Metal/CPU 路径之外增加了 AMD ROCm（Strix Halo gfx1151）服务支持，支持 cpu、rocm、cuda 等多种构建形态组合。正文给出 v0.8.2 基准：Q8 prefill 在 GB10/B200/H100 上为 7395.7/27705.6/26220.6 TPS，高于 llama.cpp GGUF Q8_0 的 3973.7/11992.4/11702.1；BF16 decode 多数场景快于 vLLM。上游 mistral.rs 引擎本身支持 45+ 架构、ISQ/GGUF 量化、OpenAI 与 Anthropic 兼容 API、MCP 与内置 agentic 运行时。
来源：GitHub · 去对齐工具与仓库 · github.com