跳到正文
我的
GitHub · 去对齐工具与仓库·· 1 小时前AI 评分41

GitHub 上的 LLM-Reliability-Lab:可复现的 LLM 行为可靠性研究框架

Vedkhajone/LLM-Reliability-Lab

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Vedkhajone/LLM-Reliability-Lab

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 项目 LLM-Reliability-Lab 提供一个可复现的 harness,用于在受控条件下研究 LLM 的行为可靠性,覆盖指令冲突、误导性上下文、不确定性/幻觉、提示注入鲁棒性、上下文敏感性与响应稳定性六项实验。软件已实现并通过 97 个离线测试,但尚未运行真实模型实验,暂无研究发现;117 条种子数据集由模型生成且未经人工审核。框架支持 Claude、OpenAI、Gemini、本地 Hugging Face 及 mock 适配器,并内置成本上限与断点续跑机制。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。