Janas 用 C 写的本地 LLM 推理引擎，80B MoE 模型可在 32GB 内存笔记本上运行

Janas 是一个用 C 写、无外部依赖的 AI 工具族，其首个组件 Janas-LLM 让普通电脑（有无 GPU 均可）运行大型混合专家模型：权重留在磁盘，按 token 所需从 NVMe SSD 流式读取专家，常驻专家留在内存，80B 参数模型可在 32GB 内存的笔记本上运行。项目由 Maurizio "camauri" Cammalleri 编写，目前处于早期开发阶段，格式与 API 可能随时变动，且对内存和磁盘压力较大。已支持 Qwen3 系列 MoE 与稠密模型、Qwen3-Next、Gemma 4 等的 Q4_K_M 等多种 GGUF 量化格式转换，附终端聊天 janas-chat、MCP 客户端与服务器、OpenAI 兼容 HTTP API 和 janas-bench。