GitHub · 灵魂体仓库·· 12 天前AI 评分50
Jitter00 开源 llm-on-a-stick 本地网络工程 LLM 评测工具
Jitter00/llm-on-a-stick
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Jitter00/llm-on-a-stick
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Jitter00 在 GitHub 开源了 llm-on-a-stick,一个免费的开源基准工具,用 Docker 与 containerlab 在本地搭建 leaf/spine 虚拟网络,测试 LLM 完成真实网络工程任务的能力。已实现的部分包括虚拟实验环境、stick 命令、NetBox 和 Oxidized 两个工具、评分器 grader、五个基于 CLI 和 NETCONF 的配置任务,以及让模型尝试任务并对比结果的 runner。它能解释模型失败的具体原因,如 CLI 语法错误、编造 API 字段或改动不该动的东西,而不只是给分数;支持本地模型(如 Ollama 运行的 qwen3:14b)与付费 API 模型对比,MIT 许可,项目自述尚处早期阶段。
来源:GitHub · 灵魂体仓库 · github.com