focus-llama 在单张 RTX 5090 上以 110+ TPS 跑通 Qwen3.8-27B Q6_K_XL 的 256k 上下文

作者发布 llama.cpp 的 fork focus-llama，将物理 KV 缓冲与逻辑上下文解耦，逻辑上下文保持 256k 而物理缓冲上限约 85k cells，旧块卸载到外部存储按需取回。在单张 RTX 5090 上运行 Qwen3.8-27B UD-Q6_K_XL 并启用自适应 MTP 投机解码，平均速度 110+ t/s，日志显示生成速度稳定在约 117-123 t/s；项目基于 Google DeepMind 提出的 declarative attention 与 skill.state 两种技术，代码与配置见 https://github.com/edwardyoon/focus-llama/blob/master/README.md。