Reddit · r/LocalLLaMA· /u/lahwran_·· 10 天前AI 评分18
LocalLLaMA 用户呼吁建立与 jev 官方基准校准结果相关的开源基准
I'd like a jevlikes benchmark that tests for what jev's official benchmarks do (eg, calibration). Anyone got one or want to make it?
来源与原文
Reddit · r/LocalLLaMA
作者：/u/lahwran_
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x86877/id_like_a_jevlikes_benchmark_that_tests_for_what/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 用户发帖称，开源模型在 jev 官方基准（如 calibration 校准）上的表现与开源基准排名不一致，kev 在官方基准排第二却进不了非官方 jev decision index 首页，说明两者中至少一方有问题。他希望有人做一个与官方基准强相关、按图像解析、视频解析、数学、代码、游戏等技能细分并覆盖不同输入格式的开源基准；现有 jevbench 结果太少且只测游戏能力。
来源：Reddit · r/LocalLLaMA · reddit.com