GitHub · 灵魂体仓库·· 20 天前AI 评分31
Tessera:C++20 LLM 推理引擎开发中,支持 Vulkan 与 ROCm 双后端
Quackster/tessera
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Quackster/tessera
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开源项目 Tessera 是一个 C++20 编写的 LLM 推理引擎,可在 GPU 上运行开放权重模型,支持 Vulkan(跨厂商)和 ROCm(AMD GPU)两个计算后端,采用 Apache License 2.0。项目目前处于重度开发状态,尚无稳定文本生成能力,不可用于生产;已完成 GGUF 加载、GEMM、Attention、RoPE 和单 token 解码循环,MXFP4 与 DFlash2 投机解码仍在开发中。首选目标模型为 Qwen 3.8 27B 的 GGUF 与 MXFP4 版本,已在 Radeon RX 7900 XTX 和 AI PRO R9700 上完成验证。
来源:GitHub · 灵魂体仓库 · github.com