跳到正文
GitHub · 灵魂体仓库·· 12 天前AI 评分50

Jitter00 开源 llm-on-a-stick 本地网络工程 LLM 评测工具

Jitter00/llm-on-a-stick

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Jitter00/llm-on-a-stick

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Jitter00 在 GitHub 开源了 llm-on-a-stick,一个免费的开源基准工具,用 Docker 与 containerlab 在本地搭建 leaf/spine 虚拟网络,测试 LLM 完成真实网络工程任务的能力。已实现的部分包括虚拟实验环境、stick 命令、NetBox 和 Oxidized 两个工具、评分器 grader、五个基于 CLI 和 NETCONF 的配置任务,以及让模型尝试任务并对比结果的 runner。它能解释模型失败的具体原因,如 CLI 语法错误、编造 API 字段或改动不该动的东西,而不只是给分数;支持本地模型(如 Ollama 运行的 qwen3:14b)与付费 API 模型对比,MIT 许可,项目自述尚处早期阶段。

来源:GitHub · 灵魂体仓库 · github.com