跳到正文
10月23日周五
  1. Reddit · r/LocalLLaMA34

    本地 LLM 记忆写入评测:Qwen3.5、Hy-Memory、LFM2.5 谁知道何时该「不存」

    一项针对本地 LLM 记忆提取的 120 例基准测试(60 组对照对、96 例英文主测试)显示:Hy-Memory 30B-A3B 召回率 100%(52/52),但 44 个空输出用例全部错误并产生 76 条冗余提议;Qwen3.5 4B 和 9B 更克制,空用例正确率分别为 95.5% 和 90.9%,冗余提议仅 3 条和 5 条;LFM2.5 24B-A2B 召回 76.9%,受指令示例污染和引用格式问题困扰,后验映射可修复 9/18 个无效引用字段。所有模型经 llama.cpp 在同一台 Ubuntu 机器上运行,测试不涉及速度。

10月21日周三
  1. GitHub · 3D 生成新仓库42

    arc-labs-ai 开源 brain-eval:面向 AI Agent 认知底座的评测与基准报告工具

    arc-labs-ai 发布 brain-eval 仓库,为 AI Agent 认知底座 Brain 提供评测、基准与报告生成。该工具通过 brain-db-sdk 连接运行中的 brain-server,驱动 ENCODE → RECALL 认知循环跑基准数据集,内置 SmokeBenchmark、DmrBenchmark、LongMemEvalS、LocomoBenchmark 及编译内置的防过拟合压力集,支持 substring + token-overlap 启发式判分,并可通过 live-llm feature 启用 LLM-as-judge(默认关闭)。

10月20日周二
  1. Hugging Face Blog71

    IBM Research ALTK-Evolve 用学习式记忆登顶 τ²-bench 客服任务榜单

    IBM Research 发布 ALTK-Evolve,通过 GPT-4.1 从智能体自身轨迹中蒸馏行为规则并追加到系统提示词,在不更新权重的情况下让 stock ReAct 智能体在 τ²-bench retail 达到 Pass^4 67.5%,登顶 2026 年 10 月 12 日榜单快照。换用 gpt-5.5 后 airline 以 82.0% 位居第一;对比显示 retail 需 292 条 lossless 全集才见效,airline 的 14 条 sup3 核心反而更可靠,代价主要是输入 token 成本上升,对话轮数略降。

    推荐理由:不更新权重,仅靠从轨迹中蒸馏的提示词级规则就把 stock ReAct 智能体推上 τ²-bench 榜首,方法可直接复用。

10月19日周一
  1. Reddit · r/LocalLLaMA64

    mnemonic-proxy 作者实测 AgentLongBench:32K 窗口加归档回取得分 86/100,超全窗口的 69

    mnemonic-proxy 作者在 AgentLongBench 上用 Qwen3.8 Flash Next(IQ3_XXS、Strata 0.1.40、单张 RTX 4070 Ti 12 GB)对比四种方法:归档加 recall 工具的 proxy 得 86/100,全窗口 69,LLM 摘要 47,截断 49。第一轮因题目歧义各方法都接近随机(proxy 52、summary 56),在每题加一句澄清后重测,proxy 对 summary 合并配对检验 p=7.6e-9,对全窗口 +17 分(90% CI [+7, +26]);128k 下全窗口 32/50 的回答撞到 3,072 token 推理预算。

    推荐理由:作者用预注册的两轮测试区分了题目歧义与真实差距,并给出各方法的置信区间、耗时和显存数据,局限也写得很清楚。