微调策略而非仅数据:面向 HR 推荐系统的嵌入模型性别与刻板印象偏差的统计学严格审计
一项审计用 Bias-in-Bios 和 StereoSet 基准评估了六个多语言句子嵌入模型(LaBSE 与 E5 家族),并修正了 naive 显著性检验中的非独立性问题。结果显示 E5-Base 的知识蒸馏微调显著加大 Bias-in-Bios 偏差(Δ=-0.177,p<10⁻⁸),而二分类微调无统计学差异(p=0.218)。微调策略因此成为 HR 推荐系统设计的可操作杠杆。
新闻、仓库与研究,按时间排列。
一项审计用 Bias-in-Bios 和 StereoSet 基准评估了六个多语言句子嵌入模型(LaBSE 与 E5 家族),并修正了 naive 显著性检验中的非独立性问题。结果显示 E5-Base 的知识蒸馏微调显著加大 Bias-in-Bios 偏差(Δ=-0.177,p<10⁻⁸),而二分类微调无统计学差异(p=0.218)。微调策略因此成为 HR 推荐系统设计的可操作杠杆。
这是 mbh2006 提交的 ATML PA2(LLM 后训练)课程作业完成版仓库,覆盖 DPO、PPO、GRPO 训练、安全评测(safety judge)以及 RLVR 与 RLAIF 对比评估五个任务。作者在 Tasks 1–3 中识别并修正了各含一处刻意设置的算法缺陷,例如 DPO logit 改为 policy_margin − ref_margin,并用 tests/test_objectives.py 的手算单元测试验证。参考环境固定为 Transformers 4.57.1、TRL 0.27.2、PEFT 0.17.1 和 Tokenizers 0.22.1。
LLM-SVA 发布公开审查包,这是一个用于 Java SQL 注入候选分析的命令行研究原型,可导出 source-to-sink 路径、调用图和近似诊断。包含论文冻结版 evaluated-v0.3.4 与开发版 latest-v0.3.5-dev,扫描完全本地运行、无需 API key 或 JVM。冻结版 504 案例基准结果为 TP=78、FP=35、TN=197、FN=194,代码采用 MIT 许可证,尚未正式发表。
udaiveersingh 的 stealthy-influence-llm 项目完成了步骤 1-5,在 8 个话题类别上验证了有机基线实验流程。项目最初用 Groq 的 gpt-oss-20b,因 200,000 token/天 免费额度限制改用 NVIDIA 的 Nemotron 3.5 Lightning 30B,并通过 enable_thinking:False 使输出提速约 20-25x。每话题 5 次试验、含 8 个 agent,下一步(步骤 6)将构建对手影响机制。
mastepanoski 在 GitHub 发布 claude-skills 开源技能集,为支持 Agent Skills 标准的 AI 助手提供专业 UX/UI 评估与 AI 治理能力,兼容 Claude Code、OpenAI Codex CLI 和 ChatGPT。技能以 SKILL.md 文件夹形式分发,可通过 npx skills 安装,涵盖 Nielsen 启发式评估、WCAG 2.1/2.2 合规审计、Don Norman 设计原则、信息架构审计,以及基于 ISO 42001:2023 的 AI 治理审计。
Aegis 是一个自托管 AI 网关,提供 PII 掩码、数据驻留和人工审批四类判定,允许、掩码、拦截或暂停的每个决定都写入哈希链账本,可用 aegis audit verify 离线验证。兼容 OpenAI API,提供 CLI、Python SDK 与插件机制,采用 AGPLv3 开源,目前为 alpha 阶段。
GitHub 开源工具 FallbackLens 可在上线前静态审计 LLM 网关的 retry 与 fallback 策略,导入 LiteLLM YAML 路由图后检查环、能力保持、上下文容量、隐私边界与尝试次数、成本、p95 延迟暴露。其 0.3.2 版通过 61 项测试,并可与绑定 OTLP JSON 推理子树比对检测漂移;官方语料上 FallbackLens 得分 10/10,纯结构基线为 2/10。作者强调该工具不是网关或模型选择器,静态审计不能证明生产可靠性。
推荐理由:项目用合成语料与固定集成测试给出可复核数据,读者能据此评估这类静态 fallback 审计工具能证明什么、不能证明什么。
ANIZA 是一个开源(MIT 许可)的 Windows PE 恶意软件检测器,只读取字节、从不执行样本,由本地 Qwen 3.5-9B(经 Ollama,16k 上下文)作为智能体选择工具并解读结果。分类结合 EMBER2024、capa 9.4、良性流行度加权和 ATT&CK v19.2 等确定性锚点,模型结论须经证据验证,输出含 verdict、confidence、IOCs 与 justification 的 JSON。当前 Windows PE 阶段功能可用,Android(LAMD)阶段待完成,在 12 GB RTX 3060 上可运行。
这是一个自动发布技术情报的 GitHub 仓库,覆盖 AI/ML、LLM 工具、RAG 与智能体、MLOps、DevOps 及开发工具,每日更新两次、无人工干预,完整归档保留在仓库中。最新一期(2026-10-09)要点包括:OpenAI 为 GPT-6.1 Sol 推出 Ultrafast 模式,速度最高提升 8x;Anthropic 更新使用政策,明确禁止对 Claude 的长期言语辱骂及干预选举等行为;恶意 npm 包 tensorlake 0.5.144 会窃取开发者凭证。
Aurite AI 在 GitHub 发布开源技能包 Agent Verifier,安装后在 Claude Code、Cursor 等 30 多个编码智能体中说 "verify agent" 即可输出结构化审查报告。它检查硬编码密钥、输入缺失、无限循环、无上限重试、幻觉工具引用、系统提示词超长(超过 4000 token 警告、超过 8000 token 报问题)及 Python、TypeScript、Go 的语言规范问题;支持 LangGraph、CrewAI、AutoGen、LangChain 框架自动检测,检查分为模式匹配(结果稳定)与启发式(尽力判断)两层并逐条标注,所有分析在本地运行,代码不上传。
Oxpecker 是一个自托管的自动化渗透测试 Agent,基于 Qwen3-32B,用 LoRA SFT 在 123K+ 精选网络安全样本上微调。其安全机制在架构层面强制执行:执行 broker、按 engagement 白名单限定范围、内核级沙箱,而非依赖模型自身拒答。项目仍处于未完成的研究状态:GRPO 强化学习阶段仅有设计未实现,32B 流水线只有一个提前停止的不完整 SFT checkpoint,模型权重计划在 HuggingFace 以受限访问方式发布。
GitHub 开源的 Certifier 是一个语言无关的零信任引擎,为自主智能体的每次变更请求生成防篡改的证明信封,要求附带身份证明、资源范围和预计算回滚方案,无法产生有效回滚凭证则拒绝执行。其二进制体积小于 2MB,零依赖,每会话生成临时 Ed25519 密钥对,高风险范围可要求 N-of-M 多方会签。它支持 Strict Gate 与 Audit-Only 等三种运行模式,适用于 AI 驱动的基础设施变更、Intune 策略部署和多智能体 CI/CD 流水线。
FeirAI 在 GitHub 开源了 Vultrino,一个面向 AI 智能体的凭据代理,向智能体只暴露凭据别名和操作面,在可信连接器内部注入真实认证。它支持 API key、Basic Auth、OAuth2 自动刷新、SSH 和 Postgres 等凭据类型,提供 RBAC、作用域 API key、单次/限时 Use Tokens、人工审批(管理面板、Telegram、webhook/email)、MCP 原生集成、按量计费的 LLM 代理、AES-256-GCM 加密存储、策略引擎与审计日志,并支持 WASM 插件扩展;项目用 Rust 编写,提供源码构建、二进制发布与 Docker 镜像。
推荐理由:原文完整给出了让 AI 智能体使用凭据而不接触明文密钥的代理架构与功能清单,读者可以按需评估是否引入这套隔离方案。
GitHub 新仓库 jevlike 发布,这是一款免费开源的 Windows 工具,可对给定文本的多个候选选项做单次推理(one pass),输出每个选项的概率分数,声称比逐词生成更快。文中演示其用于国际象棋和 Doom 风格战斗场景的决策,技术核心是“option-attention head”注意力机制。项目自述灵感来自 TypeSafe 商业模型“Jev”。 (编辑提示:该仓库以“杀毒软件报警请点击允许”的措辞引导用户运行可执行文件,属典型可疑分发特征,建议核实后再推荐给读者。)
GitHub 开源项目 HuntWeave 是一个面向已授权目标的 Agent 安全测试平台,以 LLM 驱动研究决策,通过受控执行、原始证据、独立复审与人工确认形成可追溯结论。平台采用单一 Docker Compose 架构,包含 app、postgres、runner 三个常驻服务,技术栈涵盖 Python、FastAPI、PostgreSQL、LangGraph OSS 与 Vue 3,工作流为 Collector → Worker × N → Reviewer → 人工复审。沙箱管理默认关闭,需显式以 deploy/compose.sandbox.yaml 启用;默认仅绑定 localhost,单 Run 导入上限为 100 个 IP。
该仓库发布论文《A Two-Stage Knowledge Graph and Large Language Model Pipeline for Safety Screening of Medical Facts》的公开净化候选版,保留 C4 配置:Phase 1 C3 筛查接 GPT-4o Phase 2 验证器(v3.1 提示词、G1–G4 guardrails)。benchmark_500 冻结结果为 F1 94.3%、precision 89.3%、recall 100.0%、FPR 11.1%。代码采用 GPL-3.0,数据集采用 CC BY-NC 4.0;BIOS 知识图谱与向量索引文件不随仓库分发,且因 gpt-4o 快照未固定,不保证输出完全复现。
vinayvobbili 在 GitHub 开源 shortlist-ai,用 LLM 对简历做证据可查的盲评排序,每个判断引用简历原文并由代码核验,评分权重公开可审计。工具支持 Anthropic API 和 Apple Silicon 本地 MLX 两种后端,含隐藏 PDF 注入文本检测、代码累加工作年限、反事实姓名公平性测试,并用多组 held-out 合成评测集(NDCG 等指标)迭代修正打分规则。
推荐理由:作者用盲化简历、代码核验引文和反事实公平性测试来回应AI筛选的可审计问题,方法可迁移到其他LLM评分场景。
Aludel 是一个 Phoenix 原生的 LLM 评测工作台,集提示词测试、模型对比、回归套件、red-team 数据集、质量门禁与可观测性于一体,可在 Phoenix 应用内嵌或独立运行。它支持在 OpenAI、Anthropic、Gemini、Ollama、xAI、Groq 和 OpenRouter 之间对比同一提示词的输出、延迟、token 用量和成本,并可通过 Mix CLI 以 JSON/YAML 清单执行套件,输出 console、JSON、JUnit XML 或 GitHub annotations 报告。评测套件提供确定性断言、模型裁判、重复采样,并可直接在 ExUnit 和 CI 中执行门禁。
ansaribilal14 在 GitHub 开源了 personal-social-agent,一套基于 NVIDIA NIM、Buffer、GitHub Actions 与 Discord 人审的 X + Threads 编辑管线,MIT 协议。系统强制人工批准精确版本才能发布,字符数由确定性校验器而非 LLM 统计,发布幂等并带 kill switch,含 246 个全绿测试;默认模型为 nvidia/nemotron-3.5-lightning-30b-a3b,2026-09-07 已对 Buffer GraphQL 和 Discord bot 做过实机验证。
推荐理由:核心规则由代码而非模型执行,附完整架构、反AI腔验证器和部署指南,可迁移到自己的内容自动化流程。
GitHub 上的 ady95/security_tutorial 是韩文图书《AI 时代的 IT 安全实践——从黑客基础到 LLM·AI Agent 安全》的示例代码仓库,内含故意保留漏洞的学习用代码与配置。仓库按章节组织,涵盖网络与系统黑客、Web 黑客、Cloud·Container·供应链安全(gitleaks·Semgrep·Trivy 流水线)及安全 AI Agent(Sandbox 容器与工具调用策略引擎),要求在隔离的 Docker 环境中运行,需 Docker、Git、Python 3.10 以上,推荐 16GB 内存,默认搭配 Ollama,也可选用 OpenAI API。
Philterd 发布 philter-ai-proxy,一个为 OpenAI、Azure OpenAI、Claude、Gemini、Vertex AI、Ollama 和 Amazon Bedrock 请求先行脱敏的代理,用 Philter 在请求发出前移除 PII、PHI 等敏感信息,如 "John Smith" 会被替换为 "REDACTED"。响应也可选择性经 Philter 扫描,支持按路由配置为脱敏、拦截或告警放行。项目提供 Helm chart、Kubernetes 部署与 Grafana 仪表盘,支持 mTLS、HPA 自动扩缩容,并通过 openaiCompatible 配置接入 Mistral、Cohere、vLLM 等兼容提供商。
Pedro Miguel Rodrigues Jorge 在 GitHub 开源 claude-agent-stack,主线程 BlackCat 只做调度,把任务路由给 56 个专家智能体和 220 个按需加载的技能,最深层级为 L8。栈内由 agent_guard.py 等 hooks 在每次工具调用处执行限制:主线程禁用 Bash/Write/Edit、每提示词 24 次工具调用、任何智能体不得推送或写 forge、并发子智能体上限 128。仅支持 macOS(Apple Silicon),需 Claude Code 2.1.271 或更高版本。
独立 AI 红队研究员 Gerardo Tradito 发布 Aegis 框架作品集,通过黑盒审计对商业 AI 系统与 LLM 助手模拟真实对抗攻击,无需源码即可证明模型安全缺陷。包含 3 个 PoC:营养 Bot 假设角色扮演攻击(OWASP LLM01/LLM02)、客服 Bot 权威冒充致系统提示词泄露(OWASP LLM06)、电子产品零售 Bot 游戏化越狱与内部逻辑提取,目标身份已按负责任披露原则匿名化。
开源项目 gdpr-llm-proxy 提供一个轻量代理,在请求发往美国 OpenAI / Anthropic API 前检测并用稳定的合成 token 替换欧盟 PII,响应返回后再还原,以降低 GDPR Article 44 下的国际传输风险。技术栈为 Python + FastAPI,用 Microsoft Presidio 结合正则与 spaCy(en_core_web_lg)做检测,映射经 Fernet 加密、短 TTL 存于 Redis。项目自述只能降低风险而非保证合规,NER 默认仅支持英文且不保证捕获所有 PII。
Brotto 在 GitHub 开源,是一个 Chrome 扩展加自托管容器的浏览器智能体,用自然语言下达任务后在用户已登录的浏览器标签页中执行,不走云端浏览器。它读取页面无障碍树而非截图,发送邮件、支付、删除等不可逆操作前强制停下询问且无法关闭,每次运行在本地磁盘留下完整审计记录;页面文本离开前先脱敏,模型密钥不落盘,支持 Anthropic、OpenAI、Gemini、DeepSeek 等 8 家提供商自带密钥。目前仅支持 Chrome,无已发布基准,扩展正在 Chrome Web Store 审核中,Apache 2.0 开源。
推荐理由:浏览器智能体选择读无障碍树而非截图,并把不可逆操作前的确认和审计记录设计成不可关闭,安全取舍讲得具体。
GabrieleBosi 发布了面向虚构钢梁厂商 Ferralba Steel 的 linea 原型,把客户邮件到可执行订单拆成十三个步骤,其中四个 LLM 步骤带 schema、代码检查和人工审批,每条请求行分商业与技术两条状态轨。作者用 gemini-3.8-flash 跑了三轮评测,质量用例通过率最高 100%,攻击全部拦截,并复盘了两起判分与提示词导致的失败及修复。公共 demo 在浏览器内回放录制输出,无需注册和 API key。
推荐理由:作者把报价流程拆成四步 LLM 步骤并配对抗评测,还复盘了两处判分与提示词的失败细节,方法可迁移。
falkenslab 开源了 pseudonym 库,在程序把人物数据发给大语言模型前将其替换为 A-7K3F9Q 这类稳定化名,本地运行、无需部署服务器。它提供 remember、resolve、redact 三个 API,默认同一人在不同服务获得不同化名,防止模型跨服务关联身份。库需 Node.js 20 及以上,ESM only、无运行时依赖,通过 `npm install @falkenslab/pseudonym` 安装,化名持有人可用 pseudonym CLI 在本机离线解析。
GitHub 项目 Awesome-AI-Deception 汇集了 AI 网络欺骗相关资源,涵盖对抗式机器学习、AI 蜜罐和威胁检测等主题。项目提供资源库、交互式教程和社区论坛,支持 Windows 10+、macOS 10.14+ 及 Linux,要求 4 GB 内存和 500 MB 磁盘空间,最新版本可从 Releases 页面下载。
开发者 vivekdavara 的 codelens 项目进入第 2 天(共 5 天),这是一个以 GitHub Action 形式运行的 LLM PR 审查与测试生成工具。目前已完成统一 diff 解析器和审查引擎:默认使用 recorded provider,可选 Anthropic 与 OpenAI provider,每条 finding 经 schema 严格验证并做引用比对,最多保留 10 条,支持 dry run 或单次 GitHub review 发布。后续将实现静态预检查、评测集与 pytest 测试生成。
ZAYNOR 是一个本地 AI 取证调查平台,核心原则是将调查自主权与结论权威分离:证据经标准化、冻结后由 VIGÍA 确定性数学引擎生成密封的权威结果,本地 Ollama 模型只能在结果生成后解释案情、提出只读查询,不能写入或修改裁决。平台提供 CLI、OpenAI 兼容 API、Web 界面和 MCP 集成,支持 Velocirapter 等受限采集器与事后证据,相同冻结案例可复现相同结果。
yourgirltech 开源了 Clyra 的构建记录:一个面向美国医疗账单团队的 AI 理赔运营助手,已在一个客户生产环境运行。系统用确定性规则引擎计算 issues 和风险分,Claude 负责解释原因并推荐行动,低置信度结果走 escalation,任何操作都需人工批准后执行。仓库含 162 个离线后端测试,数据全部为合成数据,不含真实 PHI。
claude-code-source 是一个从 npm 构建还原 Claude Code Windows 应用源码的仓库,包含完整原生模块且功能不删减。仓库要求 Windows 10/11、至少 4 GB 内存和 2 GB 磁盘空间,用户从 GitHub 页面下载 .zip 或 .exe 文件即可解压安装运行。文中还给出解压、Unblock 解除阻止、重新安装及安全检查等常见操作步骤。
GitHub 仓库 sanjana0111/Shadow-Protocol 介绍 SentinelCore,一个自称“数字免疫系统”的自主安全编排平台,通过行为合成学习正常运营模式并在异常演变为事件前发现威胁。平台需 Python 3.10+、8GB RAM(建议 16GB)和 20GB 存储,支持直装、Docker 和手动构建三种方式,可集成 OpenAI 的 gpt-4-turbo 与 claude-3-opus-20240229 API 做自然语言分析和策略分析。项目宣称将事件响应时间缩短 85%、威胁识别准确率提升 92%。
alghanim 在 GitHub 发布 universal-db-mcp,这是一个 MCP 服务器,让 Claude Code、Cursor、VS Code 等 MCP 客户端以只读方式发现、剖析和查询声明的数据库,拒绝一切写入。每条语句先经方言解析只允许单条读取,敏感列按输出来源证明后才脱敏,所有调用写入审计日志,服务器不调用 LLM、无遥测、可完全离线运行。已验证 PostgreSQL 12-17、MySQL/MariaDB、ClickHouse、Oracle、SQL Server、Db2、SQLite 等引擎版本,提供 29 个 db_* 工具,通过 12000 多个单元测试,支持 .deb、.pkg、.msi 与容器镜像的离线部署,历经 2026-09/10 的生产安全评审。
推荐理由:原文完整给出了让 AI 智能体安全只读访问数据库的工程方案,含 SQL 守卫、脱敏与审计机制,可迁移到需要保护生产库的部署场景。
emmanuelgjr 在 GitHub 发布 genai_incidents 数据集,汇总 AIID、OECD AIM、AIAAIC、MITRE ATLAS、NVD/GHSA/OSV 等来源,收录 15,637 条事件(1,915 条 landmark 级),统一映射到 OWASP LLM/ASI、NIST AI RMF、MITRE ATLAS 等分类学,可通过网站、Raw JSON、STIX/TAXII/MISP、PyPI、Hugging Face 获取。
推荐理由:把多个不共享 schema 的 AI 安全事件源统一映射到安全分类学,并明确标注启发式标签的局限,便于检索与引用。
OzAmram 在 GitHub 开源 psm-mixture-test 仓库,用 Olmo-3-1025-7B base 与 Olmo-3-7B-Instruct 一对开放权重模型,对 Persona Selection Model(Marks, Lindsey & Olah 2026)做定量检验,Qwen2.5-7B 系列作跨家族对照。
推荐理由:原文用固定的一对开源权重模型做了完整可复现的定量检验,给出了混合拟合误差、AUROC 和软前缀差距等具体数字。
KubeIntellect 是一个开源、LLM 编排的多智能体框架,定位为 Kubernetes 的人类监督 AI SRE。它通过自然语言协调子智能体实时查询 kubectl、Prometheus(PromQL)和 Loki(LogQL)并关联证据做根因分析;只读查询立即执行,扩缩容、删除、重启等变更操作须经基于 RBAC 的人工批准。需 OpenAI 或 Azure OpenAI API key 及 Python 3.12+,当前推荐版本为 v4 平台。
Cygnux Labs 在 GitHub 开源 Tracekit,为 AI Agent 的每次工具调用提供防篡改审计记录。策略门在调用前决定 deny、ask 或 flag,独立签名者用 Ed25519 把事件写入仅追加的哈希链,checkpoint 发送到 witness,.tkb 包可离线验证,篡改、删除或重排都会导致验证失败。支持 Claude Code hooks、Codex CLI、Cursor、Gemini CLI、Python 与 TypeScript SDK、LangChain/LangGraph 和 MCP,Linux 系统模式下签名者以独立 OS 用户运行,macOS 支持 dev 和实验性系统模式,Windows 仅 dev 模式,MIT 许可。
推荐理由:给 AI Agent 的工具调用留下防篡改审计记录,策略门控、独立签名与哈希链的设计讲得具体,还坦白列出了盲区。
musatoktas 向 prompts.chat 提交了一条新提示词,让模型扮演资深工程师对网站及其 MCP 服务器做成熟度审计,覆盖 SEO 爬取健康、负载韧性、MCP 协议一致性、输入加固、Agent 行为评测、安全与隐私合规等 A-H 类别。提示词限定仅对授权或 staging 环境做破坏性测试,各按 0-4 分评分并给出生产上线门槛,如 sitemap URL 健康率 ≥99%、Agent 评测任务成功率 ≥90%、日志零 PII,最终输出 REPORT.md 等六类交付物。
Abhishek-Gali 发布 Spigot(DocForge MCP)1.0,输入 Markdown、PDF、HTML 或 OpenAPI 3.0 文档即可生成可运行的 Python MCP 服务器包,全程离线运行,使用本地 Ollama 模型并带 STRICT_OFFLINE 网络守卫。系统将模型理解与代码生成分离,模型只提出需逐字引文验证的结构化事实,再由确定性编译器产出服务器,支持 read_only、approval_required 等运行时策略与 HMAC 审批。评测显示依赖保持工具包在 6/6 任务全成的同时把工具模式上下文缩减 65.56%, naive 工具子集则只有 66.7% 任务成功率;扫描版 PDF 会以 OCR_REQUIRED 失败闭合并拒绝静默处理。
推荐理由:仓库给出了完整的7层验证流程和配套评测数据,包括工具包把上下文缩减65.56%的分组对比,方法可借鉴。