brolm:bro 生态的纯 C++20 语言与文本模型推理库
wlejon 在 GitHub 发布 brolm,一个纯 C++20 的语言与文本模型推理库,是 brodiffusion 的文本侧对应物,基于 brotensor 和 bromath 构建。它支持编码器嵌入与解码器生成,内置 CLIP、T5、Qwen3、Qwen3.5-VL、Qwen3-VL、Mistral 3.1、Gemma-2、Whisper、NLLB-200 等模型组件,后端覆盖 CPU(FP32)、CUDA、Metal 和 Vulkan(FP16/BF16),可直接加载 safetensors 与 GGUF 权重(量化权重需 GPU 后端)。MIT 协议,Pre-1.0 版本,CI 只覆盖 CPU 构建且自包含测试通过,绿色构建不表示模型输出正确。
推荐理由:README 讲清了纯 C++20 推理库的组件构成、支持的模型族与 GGUF 量化加载方式,并说明 CI 绿色并不代表模型输出正确。