Reddit · r/LocalLLaMA· /u/ComfortableKindly507·· 8 天前精选AI 评分62
Blockway 自研 Agens Engine 让 32B 模型在 16 GB 显存预算内跑 262K 上下文
We built our own inference engine so a 32B model could keep 262K context inside a 16 GB GPU budget. Here's an uncut run.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/ComfortableKindly507
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xa02iw/we_built_our_own_inference_engine_so_a_32b_model/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
香港小团队 Blockway 发布自研推理引擎 Agens Engine（MIT 协议）和 Volundr 32B 模型权重，72 层中 54 层用固定大小状态替代随 token 增长的 KV cache，长上下文溢出到系统内存。实测视频显示 110K token 小说冷读取约 69 秒，后续提问 0.5 秒内回答，GPU 显存峰值约 15.6 GiB；社区用户在 24 GB 卡上测得 86.4–106.7 tok/s。团队计划探索 MoE 变体、Windows/Apple Silicon 支持和紧凑桌面整机。引擎：https://github.com/BlockWayz/agens-engine
推荐理由
香港小团队公开自研推理引擎的实测数据与设计取舍，长会话显存占用和后续提问延迟都有具体数字可查。
来源：Reddit · r/LocalLLaMA · reddit.com