Valthre 发布 Bonsai 2 27B 免费 Colab T4 部署管线
先了解这件事
Valthre 在 GitHub 发布了自动化部署仓库 bonsai-2-27b-google-colab-t4，可在免费 Google Colab Tesla T4（15.3 GB）上运行 PrismML 的三值量化模型 Ternary Bonsai 2 27B（基于 Qwen3.8-27B），实测生成速度约 30 tok/s（30.24 tok/s）。 模型采用在线 Hadamard 三值量化，权重仅 5.95 GB，显存占用 6.4 GB，GSM8k 推理保留约 96.3%，可扩展到 32k 上下文。管线通过 Cloudflare Tunnel 暴露 OpenAI 兼容 API，并针对 Colab 免费层限制做了零 RAM 流式下载、CUDA 12/13 链接修复、8081 端口绑定和 8-bit KV cache 量化等适配。上述性能数据来自该仓库发布者的实测描述。
AI 根据报道生成 · 8 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 灵魂体仓库精选Bonsai 2 27B 免费 Google Colab T4 部署管线发布，实测约 30 tok/s
Valthre 发布了一个在免费 Google Colab Tesla T4 上运行 PrismML Ternary Bonsai 2 27B（基于 Qwen3.8-27B）的自动化部署仓库，实测生成速度 30.24 tok/s。模型采用在线 Hadamard 三值量化，权重仅 5.95 GB，GSM8k 推理保留约 96.3%，显存占用 6.4 GB 并可扩展到 32k 上下文。管线通过 Cloudflare Tunnel 暴露 OpenAI 兼容 API，并针对 Colab 免费层限制做了零 RAM 流式下载、CUDA 12/13 链接修复、8081 端口绑定和 8-bit KV cache 量化等适配。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。