Leviathan:本地 GPU 模型运行工具,带持久记忆与知识库路由
CuppaTea1983 在 GitHub 发布 Leviathan,一个把语言模型直接加载进 NVIDIA 显卡显存运行的本地工具,无需服务器、云端、账号或订阅,要求 GTX 16 系 / RTX 20 系以上显卡和 CUDA 13.0 驱动。模型需转换为 .lev 格式加载,持久记忆保存为 .fqm 文件,采用原子写入防止损坏,并通过分形级联压缩使旧对话折叠、文件大小趋于平稳。工具还提供以纯文本形式存储的知识库(ANI 路由)、推理脚手架、多模型轮流协作的 Inline Studio 编码、参数化 3D 建模 Planner 与打印前检查 Fabricator,并支持 Ollama、OpenAI 兼容端点和 Grok 等托管模型。
推荐理由:本地 GPU 运行模型并附带持久记忆与知识库路由,README 详述 .lev/.fqm 两种文件格式与原子写入机制,可作本地部署方案参考。