jitllm 发布：面向 LLM 推理的操作系统式引擎

作者发布 jitllm，一个定位为 LLM 推理操作系统的单二进制引擎，运行时为 CPU 和 GPU 生成 JIT 内核，支持层在设备间迁移、超内存模型从磁盘分页，兼容 65 种 GGUF 架构和 30 种 Hugging Face 类。性能上最高达 llama.cpp prefill 的 4.62x、vLLM 0.18.1 首 token 速度的 5.8x，提供 OpenAI 与 Anthropic 兼容 API、桌面与终端应用，支持 macOS、Windows、Linux 和 Docker 部署。