arXiv · cs.CL· Tapan Parikh·· 6 天前精选AI 评分64
Forty Questions 论文提出仅凭单词答案识别语言模型的方法,准确率达92.5%
Forty Questions: Identifying a Language Model from One-Word Answers
来源与原文
arXiv · cs.CL
作者:Tapan Parikh
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.28281v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出通过40个日常问题(如“说出一种声音”“说出一位诗人”)的单字答案为语言模型建模指纹,在94个模型的面板上识别出确切模型的准确率为92.5%,随机仅为1.1%;系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点,其中92个与其声称的模型一致,一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4(自报身份且计费按 Gemma 4 的 token 数);计费记录还显示第一方模型被附加了额外上下文,如 Grok 4.7 对一行问题计费1,247个输入 token,而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分,代码与数据已公开。
推荐理由
这篇论文展示了用40个单词答案就能指纹识别API背后的模型,还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文,方法成本极低可复现。
来源:arXiv · cs.CL · arxiv.org