跳到正文
10月16日周五
  1. Reddit · r/SillyTavernAI22

    RP 逻辑基准测试:记忆、情感与保密能力(Reddit r/SillyTavernAI)

    Reddit 用户自建了一套测试角色扮演逻辑的基准,让模型阅读角色档案和多轮故事中的散落线索与秘密,再以特定角色写出下一轮,共 27 项任务、满分 1000 分,覆盖本地与 API 模型。测试只考察逻辑而非文笔,故事由 AI 生成,评分由 gpt-6-astra 担任 AI 评审,作者提醒结果仅供参考。

10月9日周五
  1. GitHub · 去对齐工具与仓库36

    CAGE:面向 LLM 服务的 KV-cache 复用评测框架

    GitHub 上的开源项目 CAGE(Cache-Augmented Generation Evaluation)提出在统一协议下同时衡量 KV-cache 复用(CAG)、检索(RAG)及其混合方案的服务性能与答案质量,指标包括 TTFT、吞吐量和 grounding、faithfulness、abstention。项目以"服务产出 Y"(按时且正确的请求每秒数)为核心指标,并附上 truth tax 等归因分析,覆盖 vLLM、SGLang、LMDeploy 四种引擎、十二条基线与八个数据集。工程链路已建成并配有 3,000+ 测试的离线套件,但正式评测活动尚未运行,早期数据仅为试点、不可作为结果引用。