GitHub · 灵魂体仓库·· 18 天前精选AI 评分73
llm-assay:面向 OpenAI 兼容端点的真实上下文深度基准测试工具
alexeytz/llm-assay
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/alexeytz/llm-assay
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
alexeytz 发布了 llm-assay,一个针对 vLLM、SGLang 或 llama.cpp 等 OpenAI 兼容端点的基准工具,可测量不同上下文深度下的 prompt processing 与 decode 速度,支持置信区间、配对 A/B 显著性检验和 prefix-cache 陷阱检测。工具由 llama-benchy 分支重构而来,包含 compare 显著性比较、tune 端点自动检测和 probe 长上下文质量探针三个子命令;probe 通过生成合成事件日志并注入已知异常来检验模型长上下文理解,相关发现记录在 docs/fabrication-programme/fabrication-findings.md。
推荐理由
原文详细说明了 prefix cache 陷阱、统计方法和长上下文质量探针的设计思路,对自建推理基准有直接参考价值。
来源:GitHub · 灵魂体仓库 · github.com