PulsarLM 推理引擎开源：按注意力驱逐旧 token 保持长会话上下文可控
作者 /u/hhderder 发布 PulsarLM，一个受大脑短期记忆启发的推理引擎，通过定期移除上下文窗口中低注意力的旧 token，使长对话可超出模型训练的上下文上限。在 5090 上跑 Qwen3 8b 达到 prefill 6.7k tok/s、decode 89 tok/s，16 并发批量 decode 为 1.2k tok/s。实现上用自定义 attention kernel 按页累积注意力质量并驱逐低分页，重旋转 RoPE 使位置连续不超限，并缓存上下文快照避免重复 prefill（会多占 RAM，可选持久化）。