跳到正文
  1. arXiv · cs.CL64

    Forty Questions 论文提出仅凭单词答案识别语言模型的方法,准确率达92.5%

    arXiv 论文提出通过40个日常问题(如“说出一种声音”“说出一位诗人”)的单字答案为语言模型建模指纹,在94个模型的面板上识别出确切模型的准确率为92.5%,随机仅为1.1%;系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点,其中92个与其声称的模型一致,一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4(自报身份且计费按 Gemma 4 的 token 数);计费记录还显示第一方模型被附加了额外上下文,如 Grok 4.7 对一行问题计费1,247个输入 token,而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分,代码与数据已公开。

    推荐理由:这篇论文展示了用40个单词答案就能指纹识别API背后的模型,还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文,方法成本极低可复现。

  1. GitHub · 去对齐工具与仓库73

    modeltested 开源基准发布:65 个本地模型的真实工作评测

    GitHub 开源项目 modeltested 发布了一个面向开放权重 LLM 的真实工作基准,结果在 modeltested.com 自动更新,当前榜单覆盖 65 个本地模型。评测分编码(30 题,沙箱内跑隐藏单元测试)、文档抽取(24 题)和决策(56 题,含 Brier score 校准)三套,大部分题目以 age 加密存放、密钥为 CI secret,公开与隐藏分数并排展示以暴露背题;模型经 OpenRouter 以全精度或 8-bit 运行,部分 Q4 模型在 Mac mini(M4, 16 GB)上用 Ollama 补测以量化损失,并给出显存适配估算而非速度数字。

    推荐理由:这个开源基准用隐藏题集加密和 canary 字符串对照公开分,可用来识别模型背题,且单模型复测成本仅几美分到几美元。

已经到底了