redteamforge-ai:面向 LLM 的对抗安全、越狱测试与偏见评估工作台
GitHub 仓库 princeparvez3/redteamforge-ai 是一个针对 LLM 的对抗安全、越狱测试与偏见评估工作台,面向 AI 红队测试与安全审计场景。仓库目前处于初期阶段,尚无 star、fork 和发布版本。
新闻、仓库与研究,按时间排列。
GitHub 仓库 princeparvez3/redteamforge-ai 是一个针对 LLM 的对抗安全、越狱测试与偏见评估工作台,面向 AI 红队测试与安全审计场景。仓库目前处于初期阶段,尚无 star、fork 和发布版本。
GitHub 项目 kuarezma/ensemble-ai 是一款桌面模型分配向导和可回滚的工具规则写入器,用户选择工具与配置档、审阅六角色 crew、预览变更后需显式点击 Apply 才写入,支持 revert 回滚。内置目录含 11 个模型、35 个实测 effort 变体、26 个工具和 11 个订阅档位估算,目前仅启用 Claude Code、Codex CLI 和 Gemini CLI 的默认路径,其余 22 个客户端未验证。核心无 Electron/DOM 依赖、无遥测,提供 macOS/Windows/Linux 安装包,默认英文、可选土耳其语。
GitHub 上的 mojentic-unify 仓库以 git 子模块方式整合 mojentic 的六种语言实现(mojentic-ex、mojentic-kt、mojentic-py、mojentic-ru、mojentic-sw、mojentic-ts),并包含 RELEASE-2.1.0 与 RELEASE-3.0.0 等发布文档。仓库还收录 REASONING-PROTOTYPE-2026-10、MODEL-METADATA-2026-10、PARITY 等设计与对齐文档,用于跟踪各语言实现间的一致性。
GitHub 仓库 pscyk/astra-control-lab 开源了基于 Astra 生成动作轨迹的机器人操控实验,涵盖 COLOSSEUM V2 与 RLBench,测试残差修正与动作—观察回路,并附 Astra 编写的抽屉控制器作训练参考。在 PlaceDishInRack-v1 的 200 个场景中,Astra 基线完成率 10.5%,加 RL 残差后达 35.0%,随机搜索残差为 29.0%。主包仅用 Python 3.10+ 标准库,无需第三方库、GPU 或 API key;运行新机器人 episode 需自行准备模拟器与模型访问。
一个自我验证的 LLM 智能体可将英文硬件规格转为 Verilog,自行编译、编写 testbench、仿真并迭代修订代码,在 VerilogEval v2 上以 5 次设计版本预算对比单次调用基线,且不接触参考测试。实验设置 Baseline、Compile、Self-verified、Oracle 四种模式,计分始终使用隐藏参考 testbench,并跟踪自验通过但隐藏测试失败的概率,同时报告每个设计的 token 与美元成本。项目支持 gemini-* 与 claude-* 模型,因 VerilogEval 源自公开的 HDLBits,绝对通过率可能偏高,模式间差异更有意义。
whetstone 是一个基于 MCP 的提示词增强器,从用户过去效果良好的提示词及其后续结果中学习,当前状态为"透传并记忆":enhance 调用先原样返回提示词,同时在脱敏后存储每次调用及结果。它提供 export、forget、reindex、import claude-code 等数据管理命令,检索功能默认关闭,可用 WHETSTONE_RETRIEVAL=on 开启;若服务故障,客户端会直接发送原始提示词。项目采用 Apache-2.0 许可证。
Google 开源了 Harness2,可将任何 AI harness 变成随时间自我改进的系统。harness 指模型外围的一切,包括系统提示词、工具、记忆、技能和子智能体;agent 会为每个任务提出修改、运行多个候选版本并按表现择优,无需正确答案或评分器,模型权重不变,学到的改进可跨任务延续并保存。Google 用 Gemini 3.5 Flash 和 GLM-5 在法律、办公和专业工作基准上测试,一轮修改即超过原始 harness,多轮后分数更高。GitHub 地址:https://github.com/google-research/harness2
推荐理由:原文说明了 Harness2 让智能体自行改进外围 harness 的机制,且无需标准答案即可比较候选版本,方法可迁移到本地部署场景。
Reddit r/LocalLLaMA 用户称,让智能体在潜空间而非文本中思考,可加快推理速度、减少 token 消耗并提升智能表现,发帖者希望了解他人是否见过相关总结。
开源跨平台桌面应用 showmaker 发布,可将 Markdown(含 AI 生成的文件)转换为基于 Quarto 的交互式 HTML 幻灯片。应用采用 Rust 和 Tauri 构建,提供图形界面、无需命令行配置、内置主题支持,且可离线运行以保障数据隐私。目前支持 Windows 和 macOS,暂不支持 Linux,运行前需安装 Quarto。
GitHub 新仓库 cfg_molecular_generation 发布,这是一个用 Classifier-Free Guidance(CFG)做属性条件分子生成的研究框架,支持 QED、LogP、TPSA、SAS 四种分子属性条件,预扫默认 guidance scale 分别为 LogP=1.5、TPSA=2.0、QED=2.5、SAS=2.5。框架采用 LoRA 微调与可配置模型路径,可评估不同因果语言模型及其适配器,并提供 SMILES 有效性、唯一性、新颖性与属性误差评估;数据集与模型权重不含在仓库内。
开源仓库 PersonaSync 是一个面向开发者工作流的 AI 虚拟会议编排框架,通过 tmux 三分屏架构(Claude AI 核心、Ralph 循环处理器、会议编排器)让终端里的数字分身代替用户参会。它支持 OpenAI 与 Claude API 双供应商切换、Zoom/Teams/Slack 集成,可自动生成 Word 会议纪要和 PowerPoint 演示文稿,并用 vector database 保持跨会话的 persona 上下文。
filio623 在 GitHub 开源 FW_AI 仓库(v1.2),用于搭建短片 AI 辅助 VFX 制作管线。仓库包含角色圣经文档、ComfyUI 工作流策略、Higgsfield 计划、RunPod GPU 配置与 shot004 VACE 运行记录,并坚持保留原始 plates、生成可分离角色/特效元素以便合成的核心原则。
Zachary1850 在 GitHub 开源 self-improving-agents 仓库,把自我改进代码 Agent 分为四级,从 AutoResearch Loop 到带自改写 Agent 的对抗 Arena Loop。实验显示固定基准会制造虚假信心,Level 1-3 在邮件验证原始测试上得 90-100%,在 Arena Loop 对抗测试集上跌至 62-66%,而 Arena Loop 保持 70%;Feedback Loop 在 snake 任务上以 31.1 分胜出且成本仅为 Arena 的 1/20($0.03 vs $0.63 每任务)。框架支持断点续跑、自定义任务,全部实验可用 python run_all.py 一键复现。
ajaved1205 在 GitHub 开源 self-improving-agents 框架,把自我改进代码 Agent 分为四级:AutoResearch 循环、结构化反馈循环、重写自身源码的 HyperAgent 循环,以及代码 Agent 与测试 Agent 对抗共进化的 Arena 循环。实验显示固定基准会制造虚假信心,Level 1-3 在 email validation 原测试上得 90-100%,换到 Arena 对抗测试套件后降到 62-66%,而 Arena Loop 保持 70%;Feedback Loop 性价比最佳,snake 得 31.1 分且每任务成本 $0.03 仅为 Arena($0.63)的 1/20。
推荐理由:原文给出四个等级的完整实验数据,固定基准与对抗基准的分数落差能说明自改进方案的脆弱点在哪。
adeelahmad 发布 aloop(Aladdin's Loop,前身 agentic-agile,当前 v0.12.0),把一行意图转成计划、测试优先、门控验证的软件交付,支持 Claude Code、Codex 和 OpenCode 三种宿主。流程为用户批准计划后由隔离 git worktree 中的廉价 worker 执行,RED/GREEN/结构审查等确定性 hook 门控决定验收,模型不能自行宣称完成。实测示例包括 11/11 检查通过耗时 11m10s 花费 $0.65 等;一个约 17K 行 Go 后端用约 155 万输出 token 完成,其中 76% 由 Sonnet 4.6 承担,输入缓存命中 99.9%。
推荐理由:原文给出多组可复现的实测数据,包括检查通过数、耗时和成本,读者可以据此评估这套门控循环在自家工作流里的可行性。
开源项目 bpmn-assistant 可将自然语言描述的业务流程转为可编辑 BPMN 图,支持对话式修改、拖拽导入 BPMN 文件或图片,并导出 .bpmn 文件。需自备 OpenAI 或 Anthropic API key,支持 GPT-6.1 Sol、GPT-6 Luna、Claude Opus 5.5、Claude Sonnet 5.5,可用托管应用或 Docker 本地部署,采用 MIT License。
GitHub 用户 ALucek 发布了名为 chat-lucek 的开源仓库,正文以 ASCII 艺术字形式展示 "chat lucek" 字样。该项目已在 GitHub 公开,可前往仓库查看代码与后续更新。
dave-holden 发布 proxytoolpatch 仓库,提供 FastAPI 代理 proxytool 和纯 Python 修复库 toolpatch,把小模型以原始文本泄漏的工具调用在传输途中修复为结构化调用,opencode、pi、curl 等任何 OpenAI 兼容客户端无需改动即可使用。
推荐理由:给出了在本地模型前加代理层修复泄漏工具调用的完整方案,含架构图、启动顺序和配置示例,方法可直接迁移复用。
GitHub 仓库 LLM-KG4QA 维护了一份关于 LLM 与知识图谱(KG)结合用于问答(QA)的论文列表,配套综述已被 EMNLP2025 主会接收。内容涵盖 KG 作为背景知识、推理指南、精炼与过滤器等分类,以及预训练、微调、KG 增强提示词和 RAG/Graph RAG 等方法,并收录复杂问答、可解释问答、多跳问答等场景与相关 Benchmark 数据集。该教程亦被 EDBT2025 接收,预print 于 2025-05 上线 arXiv。
GitHub 开源 RustyRAG,一个 Rust 编写的单二进制 RAG 服务器,检索、重排、生成全流程控制在 1 秒内,无 reranker 时 TTFT 低于 200ms。在 Open RAG Bench 3,045 题上用 qwen-3-235b 做 LLM-as-judge 评测,开启 Jina Reranker v3 后通过率 94.5%(失败 167/3,024),关闭后 91.6%(失败 253/3,020),重排增加约 100ms TTFT 和约 370ms 总延迟。
推荐理由:README 给出了同一套 3,045 题基准下开关 reranker 的通过率与延迟对比,读者可据此自行权衡精度和速度的取舍。
GitHub 项目 w3b5h3ll/llm-models-track 上线 Model Watch,定时采集关注模型的参数与 Token 免费活动并通过 GitHub Pages 展示,纯 Python 标准库加原生 HTML/CSS/JavaScript 实现,无需前端构建、服务器或模型推理调用。初始核对覆盖 15/20 个型号的官方规格,包括 OpenAI GPT-6 Astra、Claude Opus 5.5、DeepSeek V4.1 Flash、GLM 5.3、Kimi K3、Qwen3.8 系列等;GPT-6 Pro 变体、Grok 4.7 等 5 项因未找到独立官方规格而明确标注为平台规格。
GitHub 开源项目 dinoesau/langgraph-template 提供一个面向生产环境的 LangGraph Agent 最小起步模板,采用 uv-only 工具链完成安装、运行、lint 和测试。目前仅内置 echo loop 图和带 GET /api/v1/health、POST /api/v1/chat 的 HTTP 骨架;docs/examples.md 规划了五个 agent 示例,LLM fallback、memory、auth、可观测性等功能仍在计划中。使用需安装 uv 和 Python 3.11 及以上版本。
开源项目 Grounded Docs(docs-mcp-server)为 AI 编码助手提供与项目所用库版本一致的文档索引,是 Context7、Nia 和 Ref.Tools 的开源替代。它可从网站、GitHub 仓库、npm、PyPI 和本地文件夹抓取文档,支持 HTML、Markdown、PDF、Office、EPUB 等格式,按版本分别存储,并通过 MCP、命令行和 Web UI 提供全文搜索及可选向量搜索(支持 OpenAI、Ollama、Gemini 等)。索引保存在本地 SQLite 数据库,需 Node.js 22+ 或 Docker 运行,采用 MIT 许可证。
BlockRunAI 开源了其六款产品共用的智能 LLM 路由引擎 router-core。它用 15 维本地特征对请求分类,先硬过滤不满足能力契约的模型,再按任务质量、成本、速度、可靠性打分排序,决策约 0.05 ms、无推理调用、无网络访问,并返回可审计的理由和有序回退链。V3.4 基准显示任务成功率从 49% 升至 57%,单任务成本降 6.4%,但质量增益的 95% 置信区间为 −1.9 到 +15.5 点、跨零,官方明确声明未统计显著优于原规则路由。MIT 许可、零运行时依赖,需 Node ≥ 20.19,仅以 commit tarball 安装而不发布 npm。
推荐理由:原文给出了完整的分级过滤与打分机制、实测延迟和带失败区间的基准数据,读者可以据此评估这套本地路由引擎是否值得复用。
lowtide 是 DeepSeek Harness(dsh)的任务队列插件,可把任务排入队列,在设定的低谷价格时段(默认 19:00 后)自动运行,据称同一批任务成本约为高峰时段的一半。插件提供单次、迭代、采样、评审四种执行策略和 L1 到 L3 三级自治档位,内置五道 preflight 检查、沙箱(approval 设为 never)、每日预算与文件 sha256 锁,含 168 个单元测试和 10 个端到端规格;默认模型为 deepseek-flash(DeepSeek-V4.1-Flash),安装地址 https://github.com/KelaoHu/dsh-lowtide 。
推荐理由:原文把任务调度、沙箱与预算约束的设计讲得足够具体,读者可以评估无人值守跑批这件事的安全边界在哪。
开发者为 VoctEnsemble 声乐合唱团开发的 VoctManager 已在生产环境使用,涵盖选角、排练计划、数字谱台、练习音轨、乐谱集、版权水印和项目财务等功能。其 AI 流水线上传 PDF 乐谱几分钟后即可生成归档条目,由一次 Sonnet 5 调用读取全文档,匹配 MusicBrainz 与 Wikidata 并生成 IPA 行文本,再由指挥校正。指挥自 9 月 20 日起每天使用应用,9 月 20 日至 10 月 1 日通过应用内反馈按钮提交 59 份报告,其中 53 份当天被关闭。
xclaude-plugin 为 Claude Code 提供模块化 iOS 开发自动化,包含 8 个工作流专用 MCP 服务器和 24 个工具,覆盖 Xcode、Simulator 和 IDB。每个 MCP 仅占约 400-3500 tokens,可按需启用,工具将 Xcode 原始日志封装为结构化 JSON,较旧架构减少 87% tokens。作者已停止维护,因 MCP 空闲时上下文占用已大幅降低,推荐改用 xc-mcp 或 ios-simulator-skill。
作者 /u/msalsas 发布了 llama-doctor,一个 CLI 工具加实时面板,可指向运行中的 llama.cpp 或 Unsloth Studio 服务器,拉取 /metrics、/props 和 /slots,给出按严重度分级的问题诊断,涵盖 prefill 与 decode、队列压力、prefix cache 复用率和内存余量。退出码映射到严重度,可用于 cron 门控;工具只读、仅依赖标准库、需 Python 3.10+,代码在 https://github.com/msalsas/llama-doctor,作者欢迎 PR,尤其是能让工具崩溃的服务器场景。
推荐理由:作者开源了一个读取 llama.cpp 运行指标并按严重度分级诊断问题的 CLI 工具,退出码可直接接入 cron 做自动门控。
作者 /u/Tjalis 发布 SillyTavern 扩展 Mundi v0.1,将群聊变成受《模拟人生》启发的生活模拟,包含城市地图、需求、职业、账单、手机、人际关系与日记等系统。引擎用 TypeScript 处理时间、金钱、角色日程和骰子等规则,AI 只负责写场景;上下文按场景注入,记忆以带时间戳的原子事实存储而非 AI 摘要,仅注入当前场景相关角色的记忆。安装只需粘贴 https://github.com/tjalis/Mundi,支持 SillyTavern 1.19+ 和任意 API,约 30k token 上下文效果较好。
推荐理由:作者讲清了规则引擎与 AI 分工、按场景裁剪上下文和原子事实记忆的构造方法,做法可迁移到类似的多角色长期扮演项目。
OhMesch、ADuerig 编写的 C++ 业余国际象棋引擎 shumi-chess 开源在 GitHub,提供 generate_legal_moves 等函数库、engine_communicator Python 模块和一个 Python GUI。其内置的 MinimaxAI 使用 Bit Boards、Nwegamax、Alpha/Beta 剪枝、迭代加深、MVV-LVA 排序、killer moves 和 SEE 等技术,默认参数为 -d8、-t3000。
GitHub 新仓库 news-snap-automation 上线,定位为自动化 NEWS SNAP 全球新闻发布系统,覆盖新闻发现、AI 核验、帖子生成、标题文案、话题标签及 Instagram 发布流程。仓库目前为 0 star、0 fork。
开源项目 Post Engineer(Ryan-Carloso/post-engineer)可创建 AI 人设,自动完成脚本撰写(LLM)、配音(TTS)、字幕、素材与配乐组装,生成 HD 短视频并按计划发布到 YouTube、Instagram、LinkedIn 和 Bluesky。项目为 pnpm/Nx monorepo,包含 Next.js 15 仪表盘、Python/FastAPI 生成引擎和 MCP server,支持 Claude、Cursor、Codex 等 AI 智能体通过 MCP 调用,托管版在 post-engineer.com。
GitHub 新仓库 yassinebhk/project-1 提供一条自动化流水线,用 AI 生成西语和英语“冷知识”短视频并发布到 YouTube Shorts 和 TikTok。用户运行 `videogen create` 后,Claude 生成 JSON 格式的双语脚本,ElevenLabs 合成带逐词时间戳的双语语音,Pexels 下载匹配 B-roll,ffmpeg 合成 9:16 及可选 16:9 视频。生成的 MP4 先进入 output/pending_review 待审,`videogen publish` 可通过 YouTube Data API v3 自动上传,TikTok 则打开桌面上传器。
GitHub 用户 mim2021 发布了 qassist-ai 开源仓库,这是一个软件测试 AI 助手,提供自愈定位器(self-healing locators)、重复 Bug 检测和测试用例生成三项功能。仓库目前分为三个对应模块,尚无 star 和 fork 记录。
这是一个课程结业项目仓库,研究用大语言模型从 User Stories 自动生成 Gherkin(BDD)验收测试场景。评估结合四方面:METEOR 与 BERTScore 文本相似度指标、Gherkin 语法结构符合度验证、基于 Relevância/Clareza/Completude/Singularidade 四属性的人工评分,以及面向 QA 从业者的问卷调研。
GitHub 新仓库 uzairwattooo/AI-Lead-Generation-System 提供 CodeNativeX AI 获客流水线的前端,基于 Next.js 16(App Router)、React 19、TypeScript strict 与 Tailwind CSS v4,覆盖线索搜索、评分、人工审批、邮件触达、回复处理到会议预约等环节。浏览器仅访问同源 /api/*,n8n webhook、Supabase service-role key 等凭据只在服务端读取。设置 NEXT_PUBLIC_DEMO_MODE=true 可用内置 demo adapter 离线运行,无需 Supabase 或 n8n。
GitHub 新仓库 sunday-podcast 通过手动触发的 GitHub Actions workflow,用 Gemini 生成双主持人游戏播客脚本,再用 Kokoro 在 CPU 上本地合成语音(Felix 用 am_adam,Jasper 用 bm_george),以 ffmpeg 混音并将 MP3/RSS 发布到 GitHub Pages。需配置 GEMINI_API_KEY 密钥并支持 test_mode 与 gTTS 应急回退(ALLOW_GTTS_FALLBACK=true),每次运行还会随机选取并循环 CC0 1.0 配乐垫在人声下方。
Giskard 是一个开源 Python 评测框架,可自动检测 LLM 及 RAG 应用的性能、偏见和安全问题。其 RAG Evaluation Toolkit(RAGET)能从 RAG 知识库自动生成问题、参考答案和参考上下文组成的测试集,并对 Generator、Retriever、Rewriter、Router、Knowledge Base 各组件打分定位弱点。默认生成 6 种问题类型,示例基于 IPCC 气候报告用 gpt-4-turbo 构建 LlamaIndex 智能体并输出 HTML 评测报告。
Reddit 用户为 SillyTavern 社区分享了一个制作和编辑聊天示例对话的简易 HTML GUI 工具。该工具可通过 GitHub Pages 在线使用,也可下载 HTML 文件完全本地运行。作者提醒用户在关闭前务必导出或保存项目。
作者开源 self-improving-agents 仓库,把自我改进代码 Agent 分为四级:AutoResearch 循环、反馈循环、重写自身源码的 HyperAgent 循环、以及对抗共进化 Arena 循环。实验显示固定基准会造成虚假信心,Levels 1-3 在 email validation 原始测试上得 90-100%,在 Arena 对抗套件上降至 62-66%;Feedback Loop 在 snake 上得 31.1 分且成本仅为 Arena 的 1/20(每任务 $0.03 对 $0.63)。仓库支持自定义任务、checkpoint 恢复和 run_all.py 一键跑全部实验。
推荐理由:作者用三组任务横向对比了四个层级的自我改进循环,给出了固定基准得分虚高与成本差距等实测数据。