GitHub · 灵魂体仓库·· 2 天前精选AI 评分60
Bonsai 2 27B 免费 Google Colab T4 部署管线发布，实测约 30 tok/s
Valthre/bonsai-2-27b-google-colab-t4
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Valthre/bonsai-2-27b-google-colab-t4
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Valthre 发布了一个在免费 Google Colab Tesla T4 上运行 PrismML Ternary Bonsai 2 27B（基于 Qwen3.8-27B）的自动化部署仓库，实测生成速度 30.24 tok/s。模型采用在线 Hadamard 三值量化，权重仅 5.95 GB，GSM8k 推理保留约 96.3%，显存占用 6.4 GB 并可扩展到 32k 上下文。管线通过 Cloudflare Tunnel 暴露 OpenAI 兼容 API，并针对 Colab 免费层限制做了零 RAM 流式下载、CUDA 12/13 链接修复、8081 端口绑定和 8-bit KV cache 量化等适配。
推荐理由
作者在免费 Colab T4 上实测了 Bonsai 2 27B 三值量化部署管线，给出了吞吐、显存和推理保留率的实测数字，方法可复用。
来源：GitHub · 灵魂体仓库 · github.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。