热点事件持续更新

SeanHighness 更新低显存推理运行时

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

SeanHighness 发布了 L0xRE-BeeLLama-Low 运行时更新，称这套运行时与模型组合在 12GB 显存的 RTX 3060 上支持 128k 上下文，代码场景解码速度为 72–76 t/s，叙事场景为 40 t/s，10k 冷启动预填充为 700 t/s，128k 预填充为 400 t/s，128k 解码为 32 t/s。该方案通过 GPU Arena 搬运数据来维持速度，可在 Windows、WSL 和 Linux 上运行，支持 30、40、50 系列的 12GB 与 16GB 显卡；其中 16GB 显卡可支持 256k 上下文。上述性能数字均为 SeanHighness 自己公布的说法。

AI 根据报道生成 · 8 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月6日

07:14
Reddit · r/LocalLLaMA
SeanHighness 在 12GB 3060 上实现 128k 上下文与 72 t/s 解码
SeanHighness 发布了基于 Esha Labs W2 移植到 Beellama 自定义分支的运行时与模型组合，在 12GB 3060 上支持 128k 上下文，代码场景解码达 72-76 t/s、叙事 40 t/s、10k 冷启动预填充 700 t/s、128k 预填充 400 t/s、128k 解码 32 t/s。该方案通过 GPU Arena 高效搬运数据以维持速度，支持 Windows、WSL 和 Linux，16GB 显卡可支持 256k 上下文，覆盖 30/40/50 系列 12GB 与 16GB 显卡。

本事件热度走势

可比范围当前: 8
可比范围峰值: 1011月6日 08:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。