GitHub · 灵魂体仓库·· 2 天前精选AI 评分59
GeulPU 发布:带调试器的本地 LLM 推理引擎,输出逐位可复现
wwoosshh/GeulPUv2
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/wwoosshh/GeulPUv2
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GeulPU 是一个在本地 GPU 上运行 GGUF 模型的推理引擎,通过书面精度契约保证同一请求在任意批量、slot、prompt 缓存和投机解码下输出逐位一致,exact 模式下 NVIDIA 与 AMD GPU 结果也一致。它自带调试器,可录制 agent 会话、逐位重放、从任意 token 分支并按请求对比不同量化版本;默认设置下速度多数场景快于 llama.cpp,投机解码在代码编辑任务上快 3.5-4 倍且输出逐位相同。引擎以韩语关键字编程语言 글(geul) 编写,下载约 1.5 MB,仅依赖显卡驱动,支持 Qwen3.6-35B-A3B、Qwen3.5、Qwen2.5、DeepSeek-R1-Distill、Llama 3 和 Mistral,提供 OpenAI 兼容 API,MIT 许可开源。
推荐理由
同一个请求在批量、缓存、投机解码甚至不同 GPU 上都得到逐位相同的结果,这个确定性契约让本地模型可以像程序一样调试和对比。
来源:GitHub · 灵魂体仓库 · github.com