解构语言对 LLM 智能体工具准入与检索后安全的影响
一项覆盖 10 个模型、7 种语言的受控 URL 检索实验发现 SLIP 现象:非英语有害请求使平均工具准入率从 46.9% 升至 67.4%,且在每个模型中均出现。要求用页面语言作答时,四个闭源模型在相同工具调用下的平均有害率从 50.3% 升至 57.4%,主要出现在中文和印地语。研究建议多语言安全评估应分开测量工具准入与回答有害性,并区分真正的安全拒答与能力失败。
新闻、仓库与研究,按时间排列。
一项覆盖 10 个模型、7 种语言的受控 URL 检索实验发现 SLIP 现象:非英语有害请求使平均工具准入率从 46.9% 升至 67.4%,且在每个模型中均出现。要求用页面语言作答时,四个闭源模型在相同工具调用下的平均有害率从 50.3% 升至 57.4%,主要出现在中文和印地语。研究建议多语言安全评估应分开测量工具准入与回答有害性,并区分真正的安全拒答与能力失败。
研究者提出 ParetoChat,一个基于 LLM 的专家智能体界面,用于交互式多目标优化,可将自然语言输入转换为结构化标量化参数并调用优化系统。仿真研究以基于 LLM 的决策者智能体为基准,与 DESDEO 中的 reference-point 和 NIMBUS 方法对比,在多目标二进制背包和集合划分实例上验证了其能高效引导搜索以匹配用户偏好。
agenticloops-ai 在 GitHub 开源 agentic-ai-engineering 教程仓库,主张不依赖框架、用 LLM API、工具和循环从零构建 Agent,路径覆盖从首次 LLM 调用到生产级 eval harness。内容包括 Anthropic Building Effective Agents 的架构模式、上下文工程、记忆、RAG、护栏等工程主题,以及 Skills、hooks、沙箱、MCP、子智能体与上下文压缩等扩展机制;还用 LangGraph、Pydantic AI、Google ADK、CrewAI、AutoGen 等 9 种框架实现同一 Agent 并对比权衡。
研究提出 Agentic In-Context Learning(Agentic ICL)框架,分析固定参数 Transformer 在闭环交互中能学习哪些算法,涵盖主动学习、bandits 和在线 RL。理论上构造了能在有限步长内近似这些算法的因果 Transformer 并给出回报损失界;蒸馏实验显示 Transformer 可学会执行三种代表性递归。在无 oracle 动作或状态标签下,用结果奖励或过程奖励训练的模型形成不同决策策略,且这种差异在预训练语言模型中跨文本改写依然存在。
这是 bansod-dev 在 GitHub 上开源的生成式 AI 应用与实验合集,基于 Python、LangChain、Groq 和 Hugging Face 构建。包含三个主要项目:Dark AI 多人格 Streamlit 聊天助手、CineSage 电影信息结构化提取工具,以及多模型聊天机器人实验,另有基于 sentence-transformer 的文本嵌入实验。
GitHub 开源项目 pimenovdv/SelfLlmAsResearcher 提供一个基于 ReAct 模式的机制可解释性(Mechanistic Interpretability)实验框架,由生成假设并写代码的 LLM 智能体和作为实验对象的目标模型(如 GPT-2、LLaMA)两部分组成。框架支持 attention head 消融、Activation Patching 因果干预分析,以及从权重层面研究越狱和系统提示词绕过等漏洞。运行需在 Docker 容器中隔离执行,可通过 .env 或命令行参数配置 openai 或兼容端点(如 Ollama、vLLM)的 API 密钥。
GitHub 上的 llm-gui 是一个基于 Svelte 5、Hono(Node.js 26)和 PostgreSQL 构建的自托管聊天应用,通过 OpenAI 兼容 API 进行推理,本地不运行模型、工具、嵌入向量、RAG 或 agent 循环。支持流式聊天、断线后可恢复的持久生成、文件附件、会话搜索与文件夹管理、定时自动化,并提供 OIDC SSO 与 admin/user 两种角色,通过 Docker Compose 部署。
zeroaihub 在 GitHub 开源 Java-Agent-Study 项目,为 Java 开发者提供 30 天 AI Agent 工程师转型路线,基于 Java 21、Spring Boot 4.1.0 与 Spring AI 2.0.0。前 10 天模块已完成,涵盖 LLM API、Function Calling、Memory、RAG、Workflow、MCP、Multi-Agent、Browser Agent 与 Planning Agent,最终目标是构建可商业化的 ZeroHub AI Agent Platform。项目采用 MIT License,各 Day 模块可独立编译运行并附完整学习文档。
GitHub 用户 VasudevCodeReaper 发布开源项目 Claim_Back_AI,这是一个由 LLM 和 TinyFish 驱动的 AI 智能体,用于认领用户自己拥有的东西。项目包含 api 目录、.env.example、vercel.json 等文件,可部署于 Vercel,目前尚无 star、fork 或 release。
该仓库整理了 SKT-ALEPH 第 1 科目 2026 年 9 月 22 日至 10 月 8 日的安全日志分析实操代码与学习记录,用 Python 实现日志归一化、聚合与检测规则,并调用 Gemini API 生成事件摘要、按风险度排序并输出 Markdown 报告。项目包含 Flask webhook 通知、9 项 assert 测试,输入固定为 events_1008.json,审批待办流程尚未实现。
开发者 mattjcoles 开源了代码审查工具 lgtmaybe,并针对本地模型做了适配:大文件按 hunk 分块审查,大 diff 拆分以适配上下文窗口,使 27B 模型也能胜任。默认每次审查调用模型 5 次,单张 GPU 即可运行。
研究者推出 KiranaBench,一个模拟印度杂货店的多智能体基准,由四个 LLM 智能体分别扮演经理、收银员、帮手和账房,用英语、印地语或 Hinglish 与顾客和供应商交互,需求按印度家庭消费支出调查校准。评测四个开源权重 LLM 发现,表现最好的模型利润仅为固定规则店主基线的八分之一,两个模型甚至低于无人管理的店铺,且印地语和 Hinglish 下的表现持续弱于英语。结果表明当前 LLM 智能体尚不能可靠地自主经营印度的小生意。
GitHub 仓库 K0NG1212/geometry-qa-builder 自 2026-10-03 起采用“题型族代码生成 + 独立检查器复算 + 人工审核”的出题流程,其 v0.3 Builder 将构题拆为范围配置、证据提取、构题与计算、质量筛查、导出等七个独立模块,当前默认由 Codex 会话执行 AI 模块,不需要 API Key,Claude Code 也可按固定 packet 接手。2 类可复用函数已在 12 份真实结构上完成数值短答案试跑;可信计算器仅支持 XYZ 距离与夹角,每条记录 benchmark_ready=false,仍需专家抽审。
开发者 basitalisandhu 在 GitHub 开源 dev-mcp-servers,包含十个独立 MCP 服务器,覆盖漏洞查询、安全响应头评分、JWT 解码、正则测试、cron 解释、JSON Schema 校验、OpenAPI/Dockerfile lint、git 统计和 llms.txt 生成,可一行接入 Claude Code、Claude Desktop 或 Cursor。全部为 TypeScript,基于官方 @modelcontextprotocol/sdk,仅走 stdio,用 zod 校验输入并限制运行时间,不发送遥测;镜像经 cosign 签名并附带 SBOM,容器镜像已可拉取,npmjs.com 发布暂未开启。
AmritaCore 是一个构建于 AmritaSense 之上的轻量级 Agent 运行时,提供原生异步流式传输、工具集成、事件钩子和内存管理。其特性包括支持 OpenAI 与 Anthropic 的厂商无关适配器系统、声明式依赖注入、MCP 客户端支持,以及基于上下文窗口和 token 优化的自动内存管理。项目采用 Apache 2.0 许可证开源,文档见 core.amritabot.com。
arXiv 论文(arXiv:2610.22937)发现,多种选择题偏差(如谄媚)大多依赖同一小群注意力头,该共享电路在预训练模型中已存在,多数 base 模型会跟随明文提示。仅用约 200 条无提示的通用助手样本微调即可在聊天格式中激活这些头,RL 阶段几乎在所有对比中都增强线索效应;在 Tulu-3-8B 和 OLMo-2-7B 上交换 6 个中间层的注意力模式,可将两版模型的线索效应大幅互换,缓解手段可针对该电路设计。
推荐理由:论文用因果追踪把谄媚等偏差归因到预训练已有的共享注意力头电路,指出后训练只是调节其使用强度。
GitHub 上的 demand-mining 是一个面向已上线产品维护者的需求挖掘插件,可收集 Discord 反馈、按不同作者去重累积证据,并用 RICE、Opportunity、WSJF 和 Kano 规则排序生成每日迭代队列。工作流将模型聚类与确定性打分分离以保证可复现,支持定时运行与收据确认,每日最多推送 5 条需求头条,完整证据存于私有归档。
GitHub 上的 schedule-reminder(v0.1)以 SQLite(WAL)实现崩溃安全、并发安全的待办与进度存储,提供 pending/doing/done/blocked/cancelled 状态机和幂等写入,通过本地 Discord relay 以 at-least-once 方式触发到期提醒,并暴露带 api_version 的稳定 reminder.py CLI/JSON API。安装方式为 /plugin install github:DaizeDong/schedule-reminder,默认启用 store 与 remind 能力,Windows 优先部署,要求 SQLite ≥ 3.51.3 且数据库须位于本地 NTFS。
lafollett-labs 在 GitHub 开源 Litmus,一个用于 LLM 和 Agent 评测的测试运行器,目前处于 pre-release 阶段。它像单元测试运行器一样实时显示每个用例的通过、失败或 flaky 状态,支持跨模型、跨 provider 的成对比较并指出哪些用例结果翻转。项目采用 MIT 许可,首个套件是植入 bug 的代码评审评测,执行器支持 Anthropic API、AWS Bedrock、OpenRouter 及 Claude Code harness。
nehalvaghasiya/agentic-rag 仓库配置了 clean-install CI 工作流,在每次 PR、main 推送、手动触发和 merge-group 检查时运行。必检项包括 actionlint 1.7.12 与 ShellCheck 0.11.0 的 workflow 校验、Python 3.11.16/3.12.14/3.13.15 矩阵下的 Ruff 与 basedpyright 质量检查和离线 pytest 回归测试,以及前端 ESLint、Vitest 和 Vite build。工作流仅请求 contents: read 权限、禁用持久化凭据并固定外部 action 的 commit SHA,缓存命中时目标运行约 10 分钟。
dawngnd 发布 llm-wiki-agent 插件,可将 Claude Code、Codex、Antigravity CLI 等 coding agent 转变为 wiki 知识库的 ingest 与维护 agent,通过直接读写 filesystem 工作,不依赖 MCP llm-wiki 或桌面应用。插件提供 8 个 skills,包括 wiki-ingest、wiki-lint、wiki-graph、wiki-research 及 6 阶段无人值守的 wiki-autonomous-ops 流水线,并内置 Reasoning Stability Index 基准工具测量 LLM 多次运行间的漂移。项目以 MIT 许可证开源。
Bazza1982 发布开源本地优先平台 HASHI(橋),当前版本 v4.0.0-beta.1(Python 4.0.0b1),将 Agent 的人格、上下文、记忆、工具与工作流整合在自托管基础设施上。平台内置 HERV3 引擎维持持久 Engine Session,也可接入 Claude Code、Codex CLI、Antigravity CLI、Grok CLI 等引擎,通过终端、Telegram、WhatsApp 或认证 API 使用;npm 包名为 hashi-bridge,企业治理功能仍处 Alpha,macOS 支持尚待验证。
Jamie643 在 GitHub 发布 agent-fallback-sentinel,一个轻量级 LLM 调用韧性中间件,提供可配置退避重试、主备供应商自动切换(如 OpenAI 到 Anthropic)、熔断和 Pydantic schema 校验。校验失败不重试而是立即切换,全部失败时抛出携带完整错误上下文的 SentinelCircuitBreaker;除 pydantic 外零依赖,MIT 协议,异步支持和 LangChain/LlamaIndex 适配器在路线图中。
DayuanJiang 开源 next-ai-draw-io,用一句话描述即可让 AI 在真实 draw.io 画布上生成架构图、流程图等,支持手动编辑、选择局部让 AI 修改,每次 AI 改动都是可对比、恢复或撤销的版本,可导出 .drawio、.png、.svg。提供 Web、Windows/macOS/Linux 桌面版和 MCP server,Claude Code、Cursor、VS Code 等 Agent 可直接调用,内置 AWS、Azure、GCP、Kubernetes 图标库,支持上传截图、草图或 PDF、Markdown 等文本文件重绘为图,并支持 25 家模型供应商(含 AWS Bedrock、Ollama、DeepSeek、Qwen 等)。
推荐理由:作者完整给出了从一句话生成 draw.io 图的开源工具用法,含 MCP 接入、版本回退和 25 家模型供应商配置,方法可直接复用。
研究者构建双 LLM 共识流水线,从 Texas Children's Hospital 108 名 Trofinetide 用药患者的 26,763 份临床笔记中提取 18 种治疗反应表型。腹泻提取任务上最优提示词准确率达 84.2%(F1 = 0.674),比正则匹配高 47 个百分点,专家复核一致率为 90.2%(92/102)。该架构仅需改配置即可适配新表型与药物,为真实世界证据提取提供可扩展的替代方案。
Intern-Decision 发布 0.8B、2B、4B 三款多模态决策模型,从文本和可选图像输出结构化选择与候选概率。4B 版本在七个评测套件上平均准确率 90.02%(对比 Jev v1.13.0 的 88.74%),单张 RTX 4090 上 289-token 请求平均延迟 44.16 ms。温度缩放将 Brier 从 0.628 降至 0.550,基于置信度的路由把 Jevbench-Hard 准确率从 73.87% 提升至 87.39%。
研究者提出 PremiseSQL 基准,用于评估 NL2SQL 系统识别错误前提查询并拒绝生成误导性 SQL 的能力,基准包含 1,800 条带缺陷查询及 1,800 条原始查询,覆盖四类前提失败。评测框架在三种提示设置下测量模型的前提感知行为。实验显示前沿 LLM 默认倾向信任前提、很少质疑缺陷,而批判导向提示虽提升检测与弃答,但也增加误判并抑制原始查询的 SQL 生成。
研究者提出多会话 Agentic 强化学习(Multi-Session Agentic Reinforcement Learning)设定及方法 Mosaic,采用无 critic 的分层优化:在轨迹层将 session 使用信号纳入优势估计,在会话层按估计的边际贡献塑形各会话优势。在 Qwen3.5-4B 上的 BrowseComp 实验显示,Mosaic 在 context compaction 和 subagent forking 两种场景均优于广播式方法,且平均使用更少 session。
研究者提出 AutoSFT,一个用于监督微调(SFT)数据自动化研究的多智能体系统,由 meta agent 分离执行与分析,并调用 synthesis 子智能体补充数据池无法覆盖的操作。相比单智能体,executor 将上下文丢失减半,分析子智能体使 IFEval 提升 +6.5,合成再加 +3.4 IFEval 和 +2.9 IFBench;同一流程迁移到代码任务可带来 +3.7 MBPP+。所有结果均基于每轮从基座模型重新训练,结论表明自动化 SFT 数据研究更依赖覆盖多样化的数据操作。
研究者推出心理健康支持评估框架 MindEval2,包含与博士级心理学家合作开发的 MHQR 评分标准和患者模拟组件 MindSim,后者带有跨轮次记忆以建模纵向心理健康过程。该框架评估了 18 个闭源和开源权重模型,发现前沿模型在表层质量和边界问题上已大幅改进,但指导校准仍是所有模型的主要失败模式,占质量差距的大部分。
arXiv 论文提出集合级强化学习目标,让模型一次生成 K 张基于源论文、彼此明显不同的结构化想法卡片,质量按与前文想法的距离加权。训练后的 8B 模型在无污染 benchmark 上的 creative utility 超过 Claude Opus 4.8 和 GPT-6 Astra。四位专家试点评估认为其想法集与 Claude Opus 4.8 相当且独特想法略多,coding agent 验证的 success@k 也与之相当。
HTN-Orchestrate 是一个两层多智能体编排框架:Planner 通过分层任务网络(HTN)维护子任务层级与依赖,本地 Orchestrator 调度 worker 执行叶子子任务,结果按 AND 语义向上传递,必要时重建任务网络。在网页研究、科学推理等五项 benchmark 上,它使用相同底座模型超越 ReAct、Agent Team 和 DeepSeek Harness,BrowseComp 达 89.73%,SUPERChem 达 73.44%,分别超出 Agent Team 2.45 和 4.69 个百分点。
一项 arXiv 研究提出通过序贯拍卖构建去中心化智能体市场来解决多步任务。该框架突破了此前理论要求“完美克隆体”的完全竞争假设,证明缺乏竞争同样会导致市场失灵;在不完全竞争下,智能体学会策略性压低出价以保留利润。研究评估了 Mirror Descent、Thompson Sampling、Bayes-Optimal 和 PPO 四种出价算法及 1st-Price、2nd-Price、Credit-Conserving Vickrey 三种拍卖协议,结果显示不完全竞争能在维持高任务成功率与低成本的同时保留智能体利润空间。
arXiv 论文 OS-Helix 提出端到端训练的多模态计算机使用智能体,把 GUI 操作和代码执行统一到一个动作空间。通过应用与真实文件配对构建可执行 Ubuntu 环境和可验证任务,先 SFT 冷启动再在真实桌面环境做在线 RL,提出 Step-balanced GSPO 按动作步聚合重要性权重;OS-Helix-27B-RL 在 OSWorld-Verified 上成功率达 66.44%,比匹配的 Qwen3.5 混合基线相对提升 42.9%,并在 WindowsAgentArena 上展示跨平台迁移。
推荐理由:论文给出 GUI 与代码执行统一到单一动作空间的训练方法,以及 Step-balanced GSPO 等具体做法和消融证据,可迁移到同类 Agent 研究。
Hasan Demirkiran 在 arXiv 发布论文(arXiv:2610.22243),提出三层 shortcut 审计框架,审计 LinuxArena 轨迹和两个 TS-Bench 衍生数据集,已被 NeurIPS 2026 工作坊 TAE 与 AIWILD 接收。实验显示改变 <INFORMATION> 标记使拦截率下降 8.33 个百分点,不透明工具别名使其上升 11.46 个百分点;AgentHarm-Traj 上 TS-Guard 的 F_1 从 .902 降至 .719。作者建议采用域分组 holdout、评估单元指标和安慰剂对照配对干预。
推荐理由:论文给出shortcut审计框架与配对干预实验,说明评测数据表征如何改变guard决策和指标,方法可直接借鉴到自建评测。
一项 arXiv 研究(arXiv:2610.22245)提出用模型间分歧信号指导弱模型到强模型的路由,无需正确性真值标注。该方法先刻画最优弱到强路由策略,再基于多个弱模型本地推理响应推导出近似方案,且强模型越接近真值分布近似越准确。在智能体与单轮任务上,该方法能平衡路由成本与响应准确率,即使有真值信号可训练,分歧路由也可优于直接预测正确性的方法。
X-RIC 是一个将智能体 AI 融入 O-RAN 架构的新框架,把响应式强化学习与策略性智能体推理结合,包含基于领域启发式的自动化 Behavioral Cloning、Telecom Language Model 推理模块,以及 Near-RT RIC 控制环内的闭环协同适应。配套的 BARX 评测框架从延迟、合规性和确定性等指标评估智能体控制。在 SLA 感知网络切片的仿真与 O-RAN 兼容测试床验证中,X-RIC 实现 89% 运营成本下降,收敛快 75%、训练步数减少 50%、方差降低 46%,且保持 SLA 合规。
论文提出 Librarian Agents 框架,由 builder agent 把原始文档整理成层级化合成文件工作区,并将构建过程建模为 MDP、用强化学习直接优化下游答题准确率。方法在 BrowseComp-Plus 上比最强检索与预计算基线高 33 个百分点,并在 BRIGHT 上零样本泛化,平均准确率提升 31 点。
推荐理由:论文把工作区构建建模为 MDP 并用 RL 直接优化下游答题准确率,方法路径和基线对比对长上下文 Agent 研究有可迁移参考。
一项研究用 Codex 智能体在 ARC-AGI-3、AGI Maze 和 Terminal-Bench 上对比两种几乎相同的提示词变体,仅改动一条“报告困难并交还控制权”的指令即可提升前两个环境的平均分。但即使搭配 GPT-5.6-sol,通用智能体仍低于 ARC-AGI-3 专用参考方案,把 reset 决策交给脚本控制器可挽回部分差距,额外教程经验反而可能降低 AGI Maze 表现。收益同时带来更高的 token 成本,作者发布了 EnvTraverse 框架与基线智能体。
研究者提出一种 steering agent,用于实时监督基于 LLM 的单智能体与多智能体系统,在其偏离整体目标(goal drift)时将其拉回正轨。该方法通过强化学习联合训练低成本快速路径与高成本慢速路径,结合成对排序目标与 GRPO。在信息搜索任务上的实验显示其能提升单智能体与多智能体系统的性能和效率,且引导能力可泛化到域外任务、迁移到未见过的执行器,并支持无需重训的可控干预频率。