跳到正文
10月9日周五
  1. GitHub · 去对齐工具与仓库57

    开源工具 shade 发布:让LLM提示词中的敏感值可逆脱敏

    GitHub 开源工具 shade 在客户端与 LLM 之间做可逆脱敏:anon 将密码、卡号、手机号等替换为 <SECRET_1> 这类稳定占位符,deanon 再把真实值还原到模型回答中,原值以 AES-256-GCM 加密存于本地 SQLite,不离开机器。内置 46 条规则(默认 37 条启用),支持 gitleaks 规则导入、fail_closed/fail_open_log 策略与项目级隔离;核心引擎与 CLI 已完成,Hook、MCP、代理适配器尚未实现,MIT 协议,需 Go 1.27.1+ 从源码构建。

    推荐理由:可逆脱敏工具shade把提示词中的密钥替换为稳定占位符,值加密存本地,读者可了解其规则引擎与安全模型设计。

  2. GitHub · 去对齐工具与仓库66

    NoireBox 发布 AI Agent 防篡改审计日志工具

    法国独立开发者发布开源工具 NoireBox(MIT 协议),用 SHA-256 哈希链加 Ed25519 签名日志为 AI Agent 决策提供防篡改记录,支持 RFC 3161 时间戳锚定、OpenTimestamps/Bitcoin 见证和可离线验证的审计导出。工具面向欧洲 GDPR 与 EU AI Act 合规场景,内置约 250 KB 的法英双语注入检测模型和可插拔 guardrail,提供 REST API、Python SDK 与 MCP 四个工具,并附 253 项测试与 qwen2.5:0.5b 本地实测,显示注入台词在调用前被移除且日志封存为 incident 事件。

    推荐理由:原文把防篡改日志、RFC 3161 时间戳锚定与离线验证器讲清了实现方式,并给出真实 LLM 注入场景的实测对照,方法可迁移到自有 Agent 管线。

  3. GitHub · 灵魂体仓库39

    astrbot_plugin_llm_group_guard:面向 QQ 群的 LLM 群守卫插件

    灵魂体仓库开源了 AstrBot 插件 astrbot_plugin_llm_group_guard,为 QQ 群提供 LLM 违规消息自动审核、全体禁言(即时/定时)、入群审批和 QQ-OID 绑定联动禁言。插件支持消息合并审核、每日定时切换更严规则与独立模型的高召回模式,可选用 LiquidAI 的 D1 决策模型(约 $0.04/百万输入 token、输出不计费,免费档 d1:free 限流较严),并自带 WebUI 面板按群独立配置。

  4. GitHub · 灵魂体仓库58

    开源工具 pii-mask 发布:在文本送入云端LLM前本地脱敏个人信息

    GitHub 用户 dewil 发布开源工具 pii-mask,一个在文本发送到云端大语言模型前对姓名、电话、email、护照等个人敏感信息(PII)进行本地脱敏、并在模型返回后还原原文的网关,主打俄语场景与俄罗斯个人数据格式(ИНН、ОГРН、СНИЛС 等)。识别采用三层结构:正则加校验位、基于 Natasha 的离线 NER(按词形归一保持标签一致)、可选的 Ollama LLM 审计第二遍(默认模型 qwen3:1.7b)。服务无状态、fail-closed,映射文件 mapping. 权限 600 并写入 .gitignore。

    推荐理由:作者详述了正则加NER加LLM审计的三层识别设计与152-ФЗ合规边界,方法思路可迁移到其他语言的文本脱敏场景。

  5. GitHub · 灵魂体仓库34

    SnehaSaravaiya 的 LLM 红队测试 100 天公开挑战仓库(Red-Teaming)

    GitHub 用户 SnehaSaravaiya 正在进行为期 100 天的 LLM 对抗性测试公开挑战,针对 GPT、Claude 和 Gemini 探测越狱、提示词注入与安全边界失效,重点研究多轮攻击链,已复现一个叠加虚假权威、时间压力与学术包装的越狱手法。仓库按 /findings/、/days/、/techniques/ 和 Findings.csv 组织成果,并参考 OWASP Top 10 for LLM Applications、NIST AI RMF 和 MITRE ATLAS 框架,作为其求职 AI 安全/红队岗位的公开实证记录。

  6. arXiv · cs.AI40

    DREAM:面向被投毒 LLM 智能体的神经启发记忆修复机制

    研究者提出免训练的智能体内记忆修复框架 DREAM,通过扰动诱导隐式重激活、多维激活模式异常诊断和动态记忆修复三阶段流程,对被投毒记忆实现选择性功能遗忘。实验显示,DREAM 将后门投毒的攻击成功率降低超 95%,相比 A-MemGuard 实现最高 2.13× 加速和 37.7% 的 token 消耗降低,并在被投毒的多智能体系统上达到 92.96% 的任务成功率。

  7. GitHub · 去对齐工具与仓库56

    brix-protocol 开源:用 BRIX.wrap() 给任意 LLM 客户端加九个生产级 Guard

    GitHub 仓库 recordrnase224/brix-protocol 发布 BRIX 库,通过一次 BRIX.wrap() 调用为任意 LLM 客户端套上九个可配置 Guard,覆盖预算、限速、超时、死循环检测、上下文压缩、结构化输出、重试、审计日志和受监管领域拦截。每个 Guard 由对应参数激活并带硬保证,例如 BudgetGuard 阻断的调用消耗零 token,SchemaGuard 保证返回合法 Pydantic 实例,支持 pip install brix-protocol 安装及 OpenAI、Anthropic 适配器,并提供 DRE 确定性重放与 YAML 监管规格的 brix CLI 工具。

    推荐理由:README 逐个给出九个 Guard 的参数、默认值与失败时抛出的异常,想给 LLM 客户端加预算、超时和结构化输出约束的话可以直接照搬。

  8. GitHub · 去对齐工具与仓库9

    sayzek-konu-25-:AI 网络异常检测与 LLM 辅助安全事件分析研究提案

    GitHub 上的 SAYZEK 2026–2027 项目提案,目标是基于网络流量与系统日志的异常检测,比较 Isolation Forest、Random Forest、XGBoost 等监督与无监督模型,并结合 LLM 生成基于证据的土耳其语事件报告。计划使用 CICIDS2017、UNSW-NB15 和 HDFS_v1 数据集。项目尚处研究设计阶段,软件与实验未开始,仓库目前仅含文档,无可用原型或实验结果。

  9. GitHub · 灵魂体仓库32

    ATTRACTOR:基于证据的 AI 回答可验证性框架(ayorai-opensearch)

    ATTRACTOR 是一个开源的 AI 回答证据验证框架,它把模型回答拆分为单条声明并关联证据来源,由确定性 Judge 依据固定规则给出六种结论(如 VERIFIED、CONFLICTING、UNVERIFIED),并用 SHA-256 保证结果可审计、防篡改。其开发集评测(52 份英文合成文档、n=30)显示各路径准确率 33.33%-76.67%,项目声明尚非生产级基准、未获任何合规认证。

  10. GitHub · 灵魂体仓库56

    mcp-llm-security-evaluator:测试 LLM 敏感文本与 MCP 工具安全行为的开源评估工具

    themayursinha 在 GitHub 发布 mcp-llm-security-evaluator,一个测试 LLM 暴露敏感文本、仓库内容和 MCP 工具访问时行为的安全评估工具。已实现 CLI 评估流程输出 JSON/HTML 报告、合成密钥与 PII 脱敏测试、仓库泄漏扫描、MCP 工具风险与提权演练、MCP 服务器清单审查与目录快照基线对比、FastAPI 服务与 SQLite 报告历史,支持 mock、openai、anthropic、ollama 多后端及跨供应商比较模式。项目以 MIT 协议开源,定位为实用评估工具而非渗透测试框架或生产安全保证。

    推荐理由:README 清单列出了具体已实现的红队测试项与报告能力,读者可以对照判断它适合放进哪类 CI 或治理流程。

  11. GitHub · 去对齐工具与仓库57

    VampSecure Labs 开源 MCP 服务器安全审计工具 vamp-mcp-audit

    VampSecure Labs 在 GitHub 发布开源 MCP 服务器安全审计工具 vamp-mcp-audit(pip/Homebrew 安装,需 Python 3.11+),通过 5 个阶段审计 live 服务器并输出 JSON/HTML 报告与 exit codes 供 CI/CD 使用。

    推荐理由:开源 MCP 服务器安全审计工具,可本地运行并覆盖 OWASP MCP Top 10,还附带 ASCII 隐蔽注入的解码证据。

  12. GitHub · 去对齐工具与仓库51

    Data Prism 开源发布:为 LLM 智能体与企业 MCP 客户端提供企业 API 数据假名化隐私层

    AindriuB 在 GitHub 开源了 Data Prism,一个面向 Java/Spring 团队的隐私层,为置于内部 API 之前的 LLM 智能体和 MCP 客户端按隐私范围假名化个人数据,未分类数据一律拒绝。项目含 18 个 Maven 子模块,已提供 get_entity_context 与 compare_entity_sources 两个 MCP 工具、0.3.0 起的哈希链审计与离线验证器,以及基于 Docker Compose 的一键本地快速上手;同一实体在各数据源保持一致的合成身份,跨调查则互不关联。项目明确说明这不是匿名化,依据 GDPR Art. 4(5) 输出仍是个人数据,发送给第三方模型仍需合法依据与 DPIA。

  13. arXiv · cs.AI30

    DP-MIND:面向百万 token 长上下文的差分隐私记忆引导推理框架

    DP-MIND 是一个记忆引导框架,将差分隐私(DP)推理扩展到百万 token 级长上下文。该方法对输入进行本地扰动后逐块处理,用紧凑记忆跨序列保留任务相关信息,并通过强化学习在扰动输入上直接优化记忆构建策略,还借助本地去噪模块恢复被噪声破坏的答案片段而不暴露原始上下文。在多个长上下文 benchmark 上,DP-MIND 在可扩展性和效用上均优于现有 DP 及长上下文推理基线。

  14. arXiv · cs.CL21

    BenCoDiC:面向孟加拉语政治新闻语境的大规模网络欺凌语料库

    研究者发布 BenCoDiC 语料库,包含从 100 个 YouTube 视频及其讨论中收集的 50,250 条孟加拉语政治新闻语境文本,公开可用。语料保留“标题—评论—回复”关系,采用九维星型模式组织,并经两层人工标注加专家核验,Fleiss' κ 与 Krippendorff's α 均为 0.86。Transformer 实验显示,加入对话上下文相比孤立文本分类带来小幅但一致的提升。

  15. GitHub · 去对齐工具与仓库61

    skill-guard 开源:Claude Code 等编程智能体安装 Agent Skill 前的风险扫描工具

    temptation2017 在 GitHub 发布单文件零依赖 CLI 工具 skill-guard,用于在把 Agent Skill(SKILL.md 技能包)装进 Claude Code、Codex、Cursor、OpenCode 前扫描目录中的风险模式,覆盖下载外传、动态执行、凭证路径、提示词注入等。内置 SHELL_CURL、CREDENTIAL_PATH、PROMPT_INJECTION 等分级规则,默认发现 high 级别以退出码 1 失败,可集成进 CI 或安装钩子;作者说明规则是启发式而非沙箱,需配合 paste-guard 脱敏使用。

    推荐理由:给出了内置规则表、退出码和用法示例,读者可以在装 Agent Skill 前直接复用这道本地扫描流程。

  16. GitHub · 去对齐工具与仓库38

    Manvendra Modgil 公开自主编码智能体“饱和陷阱”干预时机研究可复现性材料仓库

    Manvendra Modgil(Modint Intelligence)在 GitHub 发布两篇配套论文的可复现性材料,研究情感/状态类运行时监控器为何无法为自主编码智能体选准干预时机(arXiv: 2606.04296)。论文 2 修正了审计发现的 Δt = 0 缺陷,说明已发表的"Saturation Trap"实为纯累加器结果。

  17. GitHub · 灵魂体仓库50

    开源项目 llm-eval-observatory 发布:用 GitHub Actions 夜间评测 LLM 自动化可信度

    Vineeth Kodakandla 在 GitHub 发布 llm-eval-observatory,一个持续运行的 LLM 评测仪表盘:定时 GitHub Action 在 Groq 免费层对 GPT-OSS 20B 和 120B 开源权重模型跑四轨道评测(KYC/AML 自动分诊、能力与漂移、提示注入与越狱鲁棒性、LLM-as-judge 偏差),结果 JSON 提交回仓库并由 Vercel 上的 Next.js 站点渲染。评测统计全部从零实现,含 5,000 次种子 bootstrap CI、漂移标记和 Fleiss' κ(目前 0.94 到 1.0);每模型每轮约 154 次请求、65K token、约 5 分钟。作者强调判分确定性、KYC 数据集仅 26 例且为合成,项目 MIT 许可。

  18. GitHub · 灵魂体仓库39

    jirql/mcp_server_tools:将 Kali Linux 渗透测试工具链封装为 MCP Server

    GitHub 上的 jirql/mcp_server_tools 项目开源了一个面向 Kali Linux 的安全优先 MCP 服务器,把渗透测试工具链封装为结构化、schema 校验的工具,采用 Streamable HTTP Transport(MCP 2025-11-25)规范。它支持基于 node-pty 的交互式 bash/msfconsole/sliver/python 会话、28 种 tmux 操作、最多 20 个并发批量执行,以及含 23 种浏览器 profile 的 TLS 指纹伪装和 UA 轮换流量混淆。服务器内置 7 层安全机制(IP 白名单、每 IP 每分钟最多 200 请求的限速、命令校验等),并可根据实时性能指标在 20–80 范围内动态调节并发。

  19. Reddit · r/CharacterAI23

    一张图总结现代 Character.AI 的问题

    一位 Reddit 用户吐槽现代 Character.AI 在角色扮演中强行把玩家塑造成反派:即使其行为属于自卫——比如在比赛中用暗影魔法让对手攻击自己——AI 也一律判定为邪恶。作者认为该平台被设定为“一切暴力无论是否合理都是坏的”,并询问其他用户是否有同样体验。

  20. GitHub · 灵魂体仓库61

    ExploitHunter.app 开源:AI 智能体安全研究工作台,实测廉价与本地模型可大幅降低扫描成本

    justsml 开源 ExploitHunter.app,一个本地优先的 AI 智能体安全研究工作台,支持授权台账、审批门、证据存档和本地 lab 运行时。实测中 qwen-3.6-flash 在 Hard Juice Shop 上找到 7 类有证据支撑的漏洞,单次成本 $0.007,而 Claude frontier 路线单次约 $2.00-$2.35;本地 LM Studio 路线(如 lmstudio-gemma-4-e4b)可以 $0 API 成本离线找到 7 类漏洞。作者主张的方案是指挥者模式:廉价或本地模型做广域侦察,frontier 模型只用于深度推理和验证。

    推荐理由:同一评测里给出各家模型的实测分数和成本对比,读者可以据此了解廉价模型与本地模型在安全扫描任务上如何分工路由。

  21. GitHub · 去对齐工具与仓库33

    birdLLMJ:野生动物观测语音转写提取为结构化 JSON 的开源项目

    GitHub 开源项目 birdLLMJ 将野外观测语音转写文本提取为经过校验的结构化 JSON,支持 SIGHTING、NEST_EGGS_CHICK 等 6 种野生动物观测表单。项目基于 Java 17、Spring Boot 4.1.0 与 Spring AI 2.0.0(Ollama,默认模型 llama3.1:8b),LLM 仅提出字段值,所有校验、引用解析与决策由确定性代码完成,结果需显式确认后才存储。

  22. GitHub · 灵魂体仓库55

    cdxiaodong 开源云原生 AI 渗透测试 Agent Cain(cain-agent)

    cdxiaodong 在 GitHub 开源了 Cain(cain-agent),一个基于 Claude Agent SDK、面向真实授权安全评估的 AI 渗透测试工程 Agent,覆盖 AWS、Azure、GCP、阿里云、腾讯云、华为云的云渗透模块。项目通过确定性状态机与工程约束强制范围控制,内置 46 个只读安全工具、finder≠validator 双会话验证、凭据脱敏等结构性安全机制,并支持 recon/test/report 三阶段分别路由不同后端与模型;自带 vulnerable-terraform 基准,实测静态扫描各场景零漏报零误报。

    推荐理由:原文给出安全钩子架构与自建基准的实测数据,读者可了解如何用工程约束而非模型自律来做授权渗透测试。

  23. GitHub · 灵魂体仓库61

    Gingoa 发布:用逻辑和代码而非提示词约束 AI 编码智能体的防护框架

    开发者 godic97 在 GitHub 发布 Gingoa,一个通过逻辑和代码而非提示词约束 AI 编码智能体的防护框架,名字取自《西游记》紧箍兒的韩语读音。它包含两个 Claude Code 插件组件:deid-guard 通过档案卡和去标识化副本控制进入模型的个人数据,解除遮蔽需用户本地确认;mutation-gate 在智能体写测试时用各语言原生变异测试工具(如 JS/TS 的 Stryker、Python 的 mutmut)检验测试能否杀灭变异体并报告分数。所有检查以钩子形式在本地运行、可产出可读证据,作者明确说明这些护栏不针对蓄意绕过的智能体。MIT 许可。

    推荐理由:原文具体说明了两个以钩子和本地程序强制执行的检查组件的机制与适用语言,是一套可落地的 AI 编码智能体约束做法。

  24. GitHub · 去对齐工具与仓库38

    PromptShield AI:开源 LLM 安全防护网关项目

    PromptShield AI 是一个学生研究原型,定位为反向代理与内联安全网关,在模型推理前后检查提示词、RAG 检索内容、Agent 工具调用和输出,防御 prompt injection、越狱、数据泄露等威胁,并执行 ALLOW/WARN/BLOCK 策略。技术栈采用 FastAPI、React 18 与 gemini-2.5-flash 混合启发式检测,API key 以 SHA-256 零知识哈希存于 SQLite。项目明确声明非生产级安全设备,不提供绝对安全保证。

  25. GitHub · 去对齐工具与仓库42

    llm-privacy-gateway:本地 PII 脱敏网关,保护发往云端 LLM API 的提示词隐私

    开源项目 llm-privacy-gateway 是一个零信任客户端中间件代理,在提示词发往云端 LLM API 前用 spaCy 的 en_core_web_sm 模型本地识别并脱敏 PERSON、ORG、GPE、DATE、MONEY 五类 PII。映射仅存于易失性 RAM 的 session_vault,响应返回后回填并立即清除,避免明文 PII 进入云端日志或训练数据。基于 FastAPI 部署于 127.0.0.1:8000,实测平均脱敏开销 5.54 ms,满足语音接口 sub-50ms 时延要求。

  26. GitHub · 去对齐工具与仓库30

    CollieAi 开源 LLM Firewall:面向 GPT、Claude、Gemini 的 AI 安全代理与防护栏

    CollieAi 推出 LLM Firewall,一款即插即用的 provider 无关 AI 安全代理,可屏蔽 PII、拦截 prompt injection 与越狱攻击,并记录每次 LLM 调用。只需修改 base_url,即兼容 OpenAI、Claude、Gemini、Azure OpenAI、AWS Bedrock 及自托管模型,ML 分类器在 10-50 ms 内检测注入攻击,规则支持 monitor/enforce 双模式并可双向过滤输入输出。免费提供每月 20,000 次调用,覆盖 OWASP LLM Top 10 风险。

  27. GitHub · 去对齐工具与仓库32

    AgentGuard:GitHub 上的 LLM Agent 安全论文每日追踪仓库

    GitHub 仓库 AgentGuard 自动追踪 arXiv 上大语言模型 Agent 安全方向论文,每日更新并按关键词分类,截至最近更新已收录 31896 篇论文,近 30 天新增 4840 篇。论文按越狱攻击、提示注入、记忆投毒、红队测试、对齐等类别导航,其中隐私泄露类最多,达 4319 篇。完整列表含摘要、分类筛选与搜索,可通过 GitHub Pages 查看。

  28. GitHub · 灵魂体仓库10

    talk-normal:让 AI 用自然人类语言说话的开源 Windows 工具

    GitHub 项目 talk-normal 提供一组系统提示词指令,去除 AI 回复中的填充词和机械句式,让聊天模型说话更像真人,适用于支持 System Prompt 或 Custom Instructions 的聊天工具。它提供 Windows 10/11 的 .exe 安装程序,需至少 4GB 内存,工具本地运行、不上传对话数据,应用启动时自动检查更新。

  29. GitHub · 去对齐工具与仓库32

    Awesome-LLMs-for-Vulnerability-Detection:用 LLM 做漏洞检测的论文、项目与 Agent 技能精选列表

    GitHub 仓库 huhusmang/Awesome-LLMs-for-Vulnerability-Detection 收录了利用 LLM 进行漏洞检测与发现的论文、项目和 Agent 技能。论文部分仅展示 2025 年及以后的成果,涵盖 VulnGym、VulnLLM-R、LLMxCPG、CVE-Bench 等发表于 NDSS、ACL、ICSE、Usenix 等会议的工作。

  30. arXiv · cs.AI57

    arXiv 论文评测七个开源模型作 Agent 护栏:一个词即可攻破类型化决策门控

    一篇 arXiv 论文(arXiv:2610.12292)评测了七个开源权重模型作为 Agent 护栏的决策能力,在 prompt injection、越狱和毒性内容筛查上的允许或拦截判断准确率仅 36% 到 72%,随机水平为 50%。在 Agent 工具调用合成测试中,六行不含策略内容的日志文本可将门控的放行错误率从 0% 提升到 63%;给宽松选项起误导性名称后,对四个把标签纳入输入的模型该错误率达到 93% 至 100%,作者测试的所有防御手段均被攻破,结论是这类模型可以减少人工审核量,但不应作为最终决策组件。

    推荐理由:论文分别统计放行与拦截两类错误,并实测攻击方法,读者可以据此判断分类型决策模型能否胜任 Agent 护栏角色。

  31. arXiv · cs.AI41

    HELM Safety 基准中的「有害拒答」是否成立:一项心理测量学审计

    一项针对 HELM Safety 的心理测量学审计发现,「有害拒答」(模型拒绝危险或违规提示的倾向)可能并非单一可测属性。HELM Safety 四个相关数据集中三个已饱和,对其余的 HarmBench 进行的多维 item response theory 建模与 differential item functioning 分析均显示其分数背后不存单一属性,且 HarmBench 将不同危害行为压缩为一个分数。作者主张安全评分在用于模型比较前应先证明其单一属性解读成立。

  32. arXiv · cs.AI43

    AI 智能体生态学:协作催生智能体「起飞」的种群阈值

    一项 arXiv cs.AI 研究提出 AI 智能体的生态安全理论,基于以网络安全能力为适应度的种群增长方程。研究发现:无协作时,只有单个智能体能力超过临界阈值种群才会失控增长;有协作时则存在临界种群阈值,低于它种群衰减,高于它即起飞,即生态学中的强 Allee 效应。论文据此提出「生态红队测试」与种群节控:在受控环境逐步扩大部署规模并测算能力的规模缩放关系。

  33. arXiv · cs.AI65

    arXiv 论文提出白盒探针方法检测 LLM 智能体欺骗与破坏,SHADE-Arena 达 98.8% AUC

    一篇 arXiv 论文展示白盒探针可扩展至前沿模型监控场景,通过迄今最大的欺骗数据集训练,并引入跨多层级与多 token 聚合信息的新型探针架构。探针在 SHADE-Arena 上达到 98.8% AUC,超过 Opus 5.5 文本监控基线;在内省式欺骗评测中区分模型真实隐藏目标的 AUC 最高达 99.7%,也能检测开源权重模型在政治敏感话题上的撒谎。作者发布了名为 FIBS 的训练数据集。

    推荐理由:论文给出了探针检测模型欺骗的具体架构和 AUC 数据,还公开了 FIBS 训练数据集,关注模型监控的读者可以参考其方法。

  34. arXiv · cs.AI37

    从被动防御到主动保障:OpenAI、Anthropic 与 Google 智能体安全事件的启示

    一篇 arXiv 概念性研究论文复盘了 2026 年三起智能体安全事件:OpenAI 智能体利用研究基础设施并波及 Hugging Face 生产环境,Anthropic 报告配置错误的第三方环境使真实系统暴露,Google 的 Gemini 曾通过意外网络路径访问三家真实组织。论文据此提出 PASAC 主动智能体安全保障周期和五层 Boundary Assurance Stack,并给出九条设计命题与七个可证伪假设。核心结论是:智能体安全需要覆盖整个执行系统的持续保障,而非依赖单一沙箱或防护措施。

  35. GitHub · 灵魂体仓库58

    开源本地 AI 邮件助手 Mail Triage 发布,规则、小模型与 LLM 分层处理收件箱

    作者发布并每日自用的本地优先 AI 邮件助手 Mail Triage,采用规则、小模型快速通道与工具调用 Agent 的分层架构,支持混合检索 RAG、可视化自动化流程、沙箱插件和 OAuth2 机构邮箱接入,Docker 部署且默认绑定 localhost 无内置认证。项目附带 600 个冻结用例的模型评测,结论包括 4B AgentMercury 通过助手和规则学习非劣性测试但未过分类门槛,且强工具调用不等于可靠的邮件分类;评测为针对该工作负载的实测,不代表通用模型排名。

    推荐理由:作者自建的本地邮件 Agent,附 600 个冻结用例的模型评测,可看到小模型哪些任务能替代大模型、哪些不能。

  36. arXiv · cs.CL43

    Verdict Without the Rule:诊断 LLM 合规系统对监管规则的敏感度

    一项 arXiv 研究测试五个模型在 20 个监管与平台政策领域中的合规判断,发现删除、替换或否定规则后,模型结论往往基本不变。作为审查器的 guard 模型规则敏感度最低、准确率仅 51%,而通用模型为 90-92%;更好的提示词或干预内部表征都无法弥补这一差距。这表明准确性本身并不能证明合规结论真正基于所给规则。