跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分40

Jossiaah/slm-benchmarking-agent:基于 Ollama 的开源小模型基准评测框架

Jossiaah/slm-benchmarking-agent

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Jossiaah/slm-benchmarking-agent

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Jossiaah/slm-benchmarking-agent 是一个面向通过 Ollama 本地运行的开源小语言模型(SLM)的性能评测框架,通过 httpx 异步流式遥测捕获 TTFT 与 token 生成吞吐,并用正则规则校验输出 JSON 的结构对齐。框架内置双模式容错,本地 GPU 通信失败时可回退到模拟指标生成器实现开箱即用,并集成 pytest-asyncio 与 GitHub Actions 定时任务做自动化回归测试。

来源:GitHub · 去对齐工具与仓库 · github.com