Kraken：基于 ROCm HIP 的 C++17 GGUF 推理引擎，面向 AMD RDNA 显卡

Maxritz 在 GitHub 发布 KRAKEN，一个用 C++17 编写、直接构建在 ROCm HIP SDK 上的 GGUF 推理引擎，针对 Windows 11 和 Linux 上的 AMD RDNA 显卡，不依赖 PyTorch、hipBLAS 或 MIOpen，所有内核直接针对 ISA 编写。权重在 VRAM 中全程保持量化状态不反量化，7B Q4_K_M 模型仅占 4.4 GB；MoE 专家按 LFU with aging 策略按需分页，支持 --expert-warm-mb 二级页锁定内存。