GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分60
brolm:bro 生态的纯 C++20 语言与文本模型推理库
wlejon/brolm
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/wlejon/brolm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
wlejon 在 GitHub 发布 brolm,一个纯 C++20 的语言与文本模型推理库,是 brodiffusion 的文本侧对应物,基于 brotensor 和 bromath 构建。它支持编码器嵌入与解码器生成,内置 CLIP、T5、Qwen3、Qwen3.5-VL、Qwen3-VL、Mistral 3.1、Gemma-2、Whisper、NLLB-200 等模型组件,后端覆盖 CPU(FP32)、CUDA、Metal 和 Vulkan(FP16/BF16),可直接加载 safetensors 与 GGUF 权重(量化权重需 GPU 后端)。MIT 协议,Pre-1.0 版本,CI 只覆盖 CPU 构建且自包含测试通过,绿色构建不表示模型输出正确。
推荐理由
README 讲清了纯 C++20 推理库的组件构成、支持的模型族与 GGUF 量化加载方式,并说明 CI 绿色并不代表模型输出正确。
来源:GitHub · 去对齐工具与仓库 · github.com