GitHub · 去对齐工具与仓库·· 20 天前AI 评分40
Jossiaah/slm-benchmarking-agent:基于 Ollama 的开源小模型基准评测框架
Jossiaah/slm-benchmarking-agent
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Jossiaah/slm-benchmarking-agent
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Jossiaah/slm-benchmarking-agent 是一个面向通过 Ollama 本地运行的开源小语言模型(SLM)的性能评测框架,通过 httpx 异步流式遥测捕获 TTFT 与 token 生成吞吐,并用正则规则校验输出 JSON 的结构对齐。框架内置双模式容错,本地 GPU 通信失败时可回退到模拟指标生成器实现开箱即用,并集成 pytest-asyncio 与 GitHub Actions 定时任务做自动化回归测试。
来源:GitHub · 去对齐工具与仓库 · github.com