GitHub · 灵魂体仓库·2026-10-09 00:58· 19 天前AI 评分54

LLM170 纯 Rust 推理引擎开源：面向 CMP 170HX 64GB 的 W4A16 CUDA 推理

ByungHyun21/LLM170

来源与原文

GitHub · 灵魂体仓库

发布时间：2026-10-09 00:58（北京时间）

完整链接与内容说明

https://github.com/ByungHyun21/LLM170

本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。

AI 导读

作者发布纯 Rust 编写的大语言模型推理引擎 LLM170，采用 CUDA + W4A16（int4 对称 g128 分组量化配 f16 激活），专为 NVIDIA CMP 170HX 64GB（GA100 级 HBM2e，sm_80）设计。