跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分62

Cordon 开源:本地大语言模型保密推理控制平面

regnant-io/cordon

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/regnant-io/cordon

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

regnant-io 在 GitHub 开源了 Cordon,一个部署在本地模型运行时之前的保密推理控制平面,提供客户端证书身份、按客户端策略与限速、输出内容过滤、防篡改审计日志和逐响应 Ed25519 签名。它监督 llama.cpp 的 llama-server 作为唯一入口运行,支持 light 到全气隙 dark 共五种部署模式;README 区分了已测试能力、依赖 TPM 2.0 与 AMD SEV-SNP 硬件的能力、未实现部分(如 SGX-DCAP、证书吊销)以及有意保留的弱点。

推荐理由

原文用很大篇幅说清哪些保证已实测、哪些依赖硬件、哪些是有意保留的弱点,读者可以据此评估它是否适合自己的保密推理部署。

来源:GitHub · 去对齐工具与仓库 · github.com