Reddit · r/LocalLLaMA· /u/stoppableDissolution·· 14 天前精选AI 评分61
Gewell v0.2 发布：26B-A4B prefill 最高快 74%，EmbeddingGemma 2 全精度压进 1.13 GiB 显存
Gewell v0.2 - 26B-A4B, 46k tok/s prefill, and full-precision EmbeddingGemma 2 in 1.13 GiB
来源与原文
Reddit · r/LocalLLaMA
作者：/u/stoppableDissolution
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x41lxm/gewell_v02_26ba4b_46k_toks_prefill_and/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布推理引擎 Gewell v0.2，新增 Gemma 4 26A4 支持，prefill 比 vLLM 全面快 10-74%，上下文越长优势越大；还提到上下文仅需 0.625x 显存。同版将全精度 EmbeddingGemma 2 的文本+图像总占用（含 8k 上下文）压到 1.13 GiB 显存和 0.93 GB 主机内存，图像嵌入与 sentence-transformers 参考实现的 cosine 达 0.99970（均值），优于 llama.cpp 和 vLLM。31B 模型也获小幅改进：极短上下文大批量 mtp-on 场景 tg 提升 20-24%，多数 kernel 达理论峰值 80-85%。
推荐理由
作者给出了与 llama.cpp、vLLM 的逐项 cosine 对比和 prefill 吞吐数字，可以据此评估这个推理引擎的实际表现。
来源：Reddit · r/LocalLLaMA · reddit.com