Reddit · r/LocalLLaMA· /u/nunodonato·· 3 小时前AI 评分22
TinyLeague 更新:移除 AA 指标,新增 KV cache 效率评分
Important update to TinyLeague (AA out, KV efficiency in)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/nunodonato
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xhndti/important_update_to_tinyleague_aa_out_kv/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
TinyLeague 排行榜移除 AA 指标,原因是许多小模型没有 AA 分数,且 AA 正转向闭源基准,未来小模型和开源权重模型的分数会更少。新增 KV cache 效率指标:按 128K 上下文估算 GB 占用,并以 0-100% 评分,面向 VRAM 有限的本地模型用户。作者还在探索自建 TinyLeague-Index,但尚未找到公平方法。
来源:Reddit · r/LocalLLaMA · reddit.com