跳到正文
GitHub · 灵魂体仓库·· 18 天前AI 评分28

Brewference:纯 Java 实现的 LLM 推理引擎(GGUF 加载)

gregfrazier/brewference

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/gregfrazier/brewference

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Brewference 是一个纯 Java 编写的 transformer 推理引擎,可加载并运行部分 GGUF 模型,不依赖原生代码或 JNI。项目已迁移到 Java 22+,仅支持 CPU 推理,实用模型规模约 7B 及以下,新增对 Qwen 3.5 4B 和 Bonsai 27B 等模型的支持。作者将其定位为学习资源和概念验证,并表示已失去兴趣,近期不再更新。

来源:GitHub · 灵魂体仓库 · github.com