跳到正文
arXiv · cs.CL· Tapan Parikh·· 6 天前精选AI 评分64

Forty Questions 论文提出仅凭单词答案识别语言模型的方法,准确率达92.5%

Forty Questions: Identifying a Language Model from One-Word Answers

来源与原文

arXiv · cs.CL

作者:Tapan Parikh

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.28281v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文提出通过40个日常问题(如“说出一种声音”“说出一位诗人”)的单字答案为语言模型建模指纹,在94个模型的面板上识别出确切模型的准确率为92.5%,随机仅为1.1%;系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点,其中92个与其声称的模型一致,一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4(自报身份且计费按 Gemma 4 的 token 数);计费记录还显示第一方模型被附加了额外上下文,如 Grok 4.7 对一行问题计费1,247个输入 token,而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分,代码与数据已公开。

推荐理由

这篇论文展示了用40个单词答案就能指纹识别API背后的模型,还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文,方法成本极低可复现。

来源:arXiv · cs.CL · arxiv.org