GitHub · 去对齐工具与仓库·· 2 天前精选AI 评分72
DayBreak v1.0.0 发布:从零编写的 AMD RDNA 4 Vulkan 推理引擎
HorizonLLM/DayBreak
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/HorizonLLM/DayBreak
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
HorizonLLM 发布 DayBreak v1.0.0,一个用 C++20 与 GLSL compute shader 从零编写、面向 AMD RDNA 4 GPU(Mesa RADV)的大模型推理引擎,不使用 llama.cpp 代码但读取同一 GGUF 文件。引擎支持 Qwen3.8 27B 与 Ornith 1.5 35B-A3B 两个模型族,用 MTP 头或 DFlash2 做投机解码且输出与不开投机时逐 bit 一致,KV cache 可扩展到系统内存,上下文最长 163,840 tokens。
推荐理由
作者给出了与 llama.cpp 逐 token 对齐的验证方法和不同上下文长度下的实测提速倍数,方法与数据可复用。
来源:GitHub · 去对齐工具与仓库 · github.com