跳到正文
  1. GitHub · 灵魂体仓库58

    开源工具 pii-mask 发布:在文本送入云端LLM前本地脱敏个人信息

    GitHub 用户 dewil 发布开源工具 pii-mask,一个在文本发送到云端大语言模型前对姓名、电话、email、护照等个人敏感信息(PII)进行本地脱敏、并在模型返回后还原原文的网关,主打俄语场景与俄罗斯个人数据格式(ИНН、ОГРН、СНИЛС 等)。识别采用三层结构:正则加校验位、基于 Natasha 的离线 NER(按词形归一保持标签一致)、可选的 Ollama LLM 审计第二遍(默认模型 qwen3:1.7b)。服务无状态、fail-closed,映射文件 mapping. 权限 600 并写入 .gitignore。

    推荐理由:作者详述了正则加NER加LLM审计的三层识别设计与152-ФЗ合规边界,方法思路可迁移到其他语言的文本脱敏场景。

  2. GitHub · 去对齐工具与仓库66

    knowyourai 开源:一条命令核查本地模型文件是否与模型卡声明一致

    GitHub 用户 ppradyoth 发布开源工具 knowyourai,通过只读文件头和元数据核查本地或 Hugging Face 模型是否与声明一致,用 uvx knowyourai scan 即可扫描 Hugging Face 缓存、Ollama 和 LM Studio 中的模型,不运行模型、离线默认、无遥测。工具检查格式不符、pickle 权重、聊天模板按消息内容分支等规则,支持 ai.lock 锁定已批准版本并在 CI 中校验变更。作者实测 Hugging Face 下载量最高的 200 个 GGUF 仓库,其中 61 个(48%)的聊天模板与声明的 base 模型不同。项目处于 alpha 阶段,仓库地址为 https://github.com/ppradyoth/knowyourai。

    推荐理由:工具只读文件头不运行模型,还给出了对下载量前 200 的 GGUF 仓库的模板差异实测,方法可复用。

  1. GitHub · 去对齐工具与仓库62

    Cordon 开源:本地大语言模型保密推理控制平面

    regnant-io 在 GitHub 开源了 Cordon,一个部署在本地模型运行时之前的保密推理控制平面,提供客户端证书身份、按客户端策略与限速、输出内容过滤、防篡改审计日志和逐响应 Ed25519 签名。它监督 llama.cpp 的 llama-server 作为唯一入口运行,支持 light 到全气隙 dark 共五种部署模式;README 区分了已测试能力、依赖 TPM 2.0 与 AMD SEV-SNP 硬件的能力、未实现部分(如 SGX-DCAP、证书吊销)以及有意保留的弱点。

    推荐理由:原文用很大篇幅说清哪些保证已实测、哪些依赖硬件、哪些是有意保留的弱点,读者可以据此评估它是否适合自己的保密推理部署。

  2. GitHub · 灵魂体仓库68

    ExileAI 开源 model-audit:审计 abliterated 模型 GGUF 文件的供应链安全工具

    ExileAI 发布 model-audit(前身为 gguf-audit),一个针对 abliterated 模型产物的供应链审计工具,目前支持 GGUF 文件。工具提供 CLI 扫描、逐张量 SHA-256 指纹基线、与 Hugging Face 仓库哈希交叉核对及批量审计,并为非技术用户生成通俗 HTML 报告;可检出恶意聊天模板、隐藏指令、标签不匹配、缺少来源信息和附带可执行文件等问题。作者明确说明哈希只证明一致性而非安全,最可靠方式仍是从可信来源自行量化;路线图包括 safetensors 支持、统计化逐张量剖析和针对 abliteration 修改位点(ffn_down/ffn_out/attn_o)的基线差异定位。MIT 许可。

    推荐理由:面向非技术用户解释了 abliterated 模型文件的供应链审计思路,明确了哈希能验证什么、不能证明什么,方法可直接复用。

已经到底了