Jossiaah/slm-benchmarking-agent:基于 Ollama 的开源小模型基准评测框架
Jossiaah/slm-benchmarking-agent 是一个面向通过 Ollama 本地运行的开源小语言模型(SLM)的性能评测框架,通过 httpx 异步流式遥测捕获 TTFT 与 token 生成吞吐,并用正则规则校验输出 JSON 的结构对齐。框架内置双模式容错,本地 GPU 通信失败时可回退到模拟指标生成器实现开箱即用,并集成 pytest-asyncio 与 GitHub Actions 定时任务做自动化回归测试。