jitllm 推理引擎发布：为硬件 JIT 生成内核并支持超内存分页

samyfodil 在 GitHub 发布 jitllm，一个面向大语言模型推理的引擎，所有内核在加载时按 CPU（AVX2、SSE、NEON）或 GPU（CUDA、Vulkan、Metal）JIT 生成。磁盘、RAM 和 VRAM 组成统一内存系统，权重、MoE 专家和 KV 状态按需分页，可在 CPU 与 GPU 之间移动且不丢对话历史。提供 OpenAI 和 Anthropic 兼容 API 的单二进制 jitllmd，支持 Linux、macOS、Windows 的 x86-64 和 arm64，也可作为 Go 库嵌入，附桌面和终端应用。