GitHub · 去对齐工具与仓库·· 5 天前精选AI 评分60
Vipera 发布本地 AI 网关，读入 GGUF 后自动规划层与缓存配置并暴露 OpenAI 兼容接口
vipera-iso/vipera
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/vipera-iso/vipera
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Vipera 团队在 GitHub 发布本地 AI 网关 Vipera（PyPI 包名 vipera-ai，MIT 协议），读取 .gguf 模型后提供 OpenAI 兼容的 HTTP 接口，默认监听 http://127.0.0.1:8686/v1。核心特性是硬件感知 planner，根据硬件探测结果生成 gpu_layers、KV cache 类型、n_batch、mlock 和 KQV offload 配置，GPU 加载失败时逐阶段回退到 CPU 安全方案并打印变更；CLI 与 API 共享同一引擎实例，内置 system doctor 诊断、HuggingFace 模型搜索和 bench 吞吐测试。
推荐理由
作者给出 planner 逐层分配 gpu_layers 与 KV cache 类型的具体机制，并在硬件溢出场景下说明了适用边界和基准数据。
来源：GitHub · 去对齐工具与仓库 · github.com