跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分31

Tessera:C++20 LLM 推理引擎开发中,支持 Vulkan 与 ROCm 双后端

Quackster/tessera

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Quackster/tessera

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源项目 Tessera 是一个 C++20 编写的 LLM 推理引擎,可在 GPU 上运行开放权重模型,支持 Vulkan(跨厂商)和 ROCm(AMD GPU)两个计算后端,采用 Apache License 2.0。项目目前处于重度开发状态,尚无稳定文本生成能力,不可用于生产;已完成 GGUF 加载、GEMM、Attention、RoPE 和单 token 解码循环,MXFP4 与 DFlash2 投机解码仍在开发中。首选目标模型为 Qwen 3.8 27B 的 GGUF 与 MXFP4 版本,已在 Radeon RX 7900 XTX 和 AI PRO R9700 上完成验证。

来源:GitHub · 灵魂体仓库 · github.com