跳到正文
Reddit · r/LocalLLaMA· /u/Any_Flounder8768·· 8 天前精选AI 评分64

mnemonic-proxy 作者实测 AgentLongBench:32K 窗口加归档回取得分 86/100,超全窗口的 69

AgentLongBench with a 32K window on one 12 GB GPU: an ambiguous question hid the differences; with it clarified, archive + recall scored 86/100, full context 69, LLM summary 47

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Any_Flounder8768

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x9xj8x/agentlongbench_with_a_32k_window_on_one_12_gb_gpu/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

mnemonic-proxy 作者在 AgentLongBench 上用 Qwen3.8 Flash Next(IQ3_XXS、Strata 0.1.40、单张 RTX 4070 Ti 12 GB)对比四种方法:归档加 recall 工具的 proxy 得 86/100,全窗口 69,LLM 摘要 47,截断 49。第一轮因题目歧义各方法都接近随机(proxy 52、summary 56),在每题加一句澄清后重测,proxy 对 summary 合并配对检验 p=7.6e-9,对全窗口 +17 分(90% CI [+7, +26]);128k 下全窗口 32/50 的回答撞到 3,072 token 推理预算。

推荐理由

作者用预注册的两轮测试区分了题目歧义与真实差距,并给出各方法的置信区间、耗时和显存数据,局限也写得很清楚。

来源:Reddit · r/LocalLLaMA · reddit.com