Jitter00 开源本地网络工程 LLM 基准 llm-on-a-stick
先了解这件事
开发者 Jitter00 在 GitHub 开源了免费基准工具 llm-on-a-stick,用于测试 LLM 完成真实网络工程任务(搭建实验环境、读取和修改路由器配置、保持 NetBox 同步、验证变更和排障)的能力。项目采用 MIT 许可,自述尚处早期阶段。 工具在用户本地机器上用 Docker 与 containerlab 搭建 leaf/spine 虚拟网络,可对比本地模型(如 Ollama 运行的 qwen3:14b)与付费 API 模型的表现。目前已实现虚拟实验环境、stick 命令、NetBox 和 Oxidized 两个工具、评分器 grader、五个基于 CLI 和 NETCONF 的配置任务,以及让模型尝试任务并对比结果的 runner。 除打分外,它能解释模型失败的具体原因,如 CLI 语法错误、编造 API 字段或改动不该动的东西。
AI 根据报道生成 · 8 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
- GitHub · 灵魂体仓库Jitter00 开源 llm-on-a-stick 本地网络工程 LLM 评测工具
Jitter00 在 GitHub 开源了 llm-on-a-stick,一个免费的开源基准工具,用 Docker 与 containerlab 在本地搭建 leaf/spine 虚拟网络,测试 LLM 完成真实网络工程任务的能力。已实现的部分包括虚拟实验环境、stick 命令、NetBox 和 Oxidized 两个工具、评分器 grader、五个基于 CLI 和 NETCONF 的配置任务,以及让模型尝试任务并对比结果的 runner。它能解释模型失败的具体原因,如 CLI 语法错误、编造 API 字段或改动不该动的东西,而不只是给分数;支持本地模型(如 Ollama 运行的 qwen3:14b)与付费 API 模型对比,MIT 许可,项目自述尚处早期阶段。