跳到正文
10月21日周三
  1. arXiv · cs.CL64

    Forty Questions 论文提出仅凭单词答案识别语言模型的方法,准确率达92.5%

    arXiv 论文提出通过40个日常问题(如“说出一种声音”“说出一位诗人”)的单字答案为语言模型建模指纹,在94个模型的面板上识别出确切模型的准确率为92.5%,随机仅为1.1%;系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点,其中92个与其声称的模型一致,一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4(自报身份且计费按 Gemma 4 的 token 数);计费记录还显示第一方模型被附加了额外上下文,如 Grok 4.7 对一行问题计费1,247个输入 token,而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分,代码与数据已公开。

    推荐理由:这篇论文展示了用40个单词答案就能指纹识别API背后的模型,还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文,方法成本极低可复现。

10月17日周六
  1. GitHub · 去对齐工具与仓库39

    designpatternsummarisation-nlg-swum-llm:Java 设计模式摘要生成与评测平台

    GitHub 开源的 designpatternsummarisation-nlg-swum-llm 平台,针对 Java 设计模式实现自动生成、排序与评测自然语言摘要。它对比三种策略——基于 AST 的模板 NLG、标识符语义建模 SWUM,以及经 OpenRouter 调用的 Mixtral-8x22B 等 LLM,并以 150 篇人工摘要为参照,用 cosine similarity、BERTScore 和 LLM 评审进行评测。

10月15日周四
  1. GitHub · 去对齐工具与仓库39

    llmoose:在西班牙纸牌游戏 Mus 上训练与评测 SLLM 的研究环境

    GitHub 开源项目 llmoose 提供在西班牙纸牌游戏 Mus 上训练与基准测试 SLLM 的研究环境,涵盖从对局到构建 MooseBench、保留 trace、蒸馏 SLM 的学习路径。环境支持 heuristic、conservative、random、llm 四种策略,LLM 玩家通过 OpenRouter 调用模型,无效响应最多重试两次。当前已确认一个牌型排序缺陷,其结果尚不能作为已验证的 benchmark 分数或训练标签。

10月14日周三
  1. GitHub · 去对齐工具与仓库73

    modeltested 开源基准发布:65 个本地模型的真实工作评测

    GitHub 开源项目 modeltested 发布了一个面向开放权重 LLM 的真实工作基准,结果在 modeltested.com 自动更新,当前榜单覆盖 65 个本地模型。评测分编码(30 题,沙箱内跑隐藏单元测试)、文档抽取(24 题)和决策(56 题,含 Brier score 校准)三套,大部分题目以 age 加密存放、密钥为 CI secret,公开与隐藏分数并排展示以暴露背题;模型经 OpenRouter 以全精度或 8-bit 运行,部分 Q4 模型在 Mac mini(M4, 16 GB)上用 Ollama 补测以量化损失,并给出显存适配估算而非速度数字。

    推荐理由:这个开源基准用隐藏题集加密和 canary 字符串对照公开分,可用来识别模型背题,且单模型复测成本仅几美分到几美元。

10月13日周二
  1. GitHub · 灵魂体仓库47

    SlopBench:衡量大模型代码“膨胀度”的开源基准

    GitHub 上的 SlopBench 是一个衡量大模型写代码冗余程度的开源基准,用 inflation(生成行数 ÷ 参考解行数)量化代码浪费,并额外发布 minimal 提示词可减少的行数(ponytail Δ)。基准含 5 个 Python 任务,所有运行在 Docker 沙箱中完成,模型须达到 pass@1 ≥ 0.6 才计入行数,参考解公开且可通过 PR 争议,结果每周由 GitHub Actions 快照更新。

10月8日周四
  1. GitHub · 灵魂体仓库53

    NYU Abu Dhabi 团队审计四个 LLM:真相标签翻转情绪基调但种族差异依旧

    NYU Abu Dhabi 等机构的研究团队在 GitHub 发布论文数据仓库,审计 GPT-5.4 mini、Claude Haiku 4.5、Llama 4 Scout 和 NVIDIA Nemotron 3 Nano 对事实核查新闻标题的模拟情绪反应。标注 confirmed false 后,GPT、Llama、Claude 的情绪从负面转向正面,六维度合并正面评级从 15% 升至 68%,Claude 的 Confident 评级从 22% 升至 99.6%;但在 84 个统计显著比较中有 82 个显示 Black 人设比 White 人设获得更多负面情绪,标签并未消除人设差异。仓库包含刺激材料、原始输出和聚合评级数据及复现代码。

10月7日周三
  1. GitHub · 去对齐工具与仓库45

    llm-bench-data:每小时更新的 LLM API 性能开源数据集

    GitHub 上的 Jwrede/llm-bench-data 仓库以 JSONL 格式发布对主要 LLM API 端点的每小时性能探测原始数据,字段包括 TTFT、总延迟、tokens_per_sec 等。探测每小时运行、经 OpenRouter 路由(因此延迟含代理开销),模型按 OpenRouter 周热度榜每家前 3 自动选取。数据按月/日分文件组织,采用 CC0 1.0 许可发布。

10月6日周二