语言模型能玩好维基百科游戏吗?
一项 arXiv 研究用“维基百科游戏”评测语言模型的信息检索能力,要求模型仅通过文章链接到达目标条目。研究者在本地构建了大规模维基百科图谱和基于 OpenAlex 的论文引用图谱,对比了嵌入向量模型与 LLM 在五种语言和五个学术数据集上的表现,并与人类及 TF-IDF 基准比较。结果显示没有任何模型显著超越人类,但 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 达到了可比水平,且性能排名随语言和主题变化。
新闻、仓库与研究,按时间排列。
一项 arXiv 研究用“维基百科游戏”评测语言模型的信息检索能力,要求模型仅通过文章链接到达目标条目。研究者在本地构建了大规模维基百科图谱和基于 OpenAlex 的论文引用图谱,对比了嵌入向量模型与 LLM 在五种语言和五个学术数据集上的表现,并与人类及 TF-IDF 基准比较。结果显示没有任何模型显著超越人类,但 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 达到了可比水平,且性能排名随语言和主题变化。
研究者提出自主测试智能体 QuSema,利用量子语义与文档约束作为源码级语义 oracle,在量子库中查找静默 bug。其已适配 Qiskit 和 PennyLane,在 20 个历史静默 bug 基准上平均定位数超过 Claude Code 和 Codex,且 DeepSeek 配置成本低于 Claude Code。QuSema 还发现 40 个经开发者确认的未知 bug,其中 30 个为静默 bug。
Hongru Cai 等人提出 EngramEdit,通过条件记忆架构(如 DeepSeek Engram)实现解耦的 LLM 事实知识更新,保持 Transformer 主干固定。方法先计算使模型在多种表达下都能预测更新事实的目标记忆表示,再联合更新共享 n-gram 嵌入,并对频繁复用的嵌入施加更强惩罚以保护无关知识。实验显示编辑成功率接近完美,更新后的知识可用于未见表达和多跳推理,CoT 提示下准确率接近最强基线的三倍,且无关知识与通用能力在事实更新累积时基本保持不变。论文地址 https://arxiv.org/abs/2610.10533v1
推荐理由:论文给出了一种在固定 Transformer 主干上编辑条件记忆事实知识的方法,CoT 场景准确率约为最强基线的三倍。
arXiv 论文提出测量优先的审计框架,将基准污染声明分为训练期暴露、评估期检索和管线泄漏三类证据通道,在 Holistic Agent Leaderboard 的 9 个配置中 27 项通道评估无一被判定为 closed,但 4 个配置确认了污染事件。
推荐理由:论文提出按证据类型区分污染声明的审计框架,并给出 HAL 上 27 项通道评估与 SWE-bench Verified 匹配对照复测的具体结果。
dealignai 团队发布 DeepSeek-V4.1-Flash 的 abliterated 无对齐版本,量化为 EXL3 2.9bpw,约 197 GiB,可在两台 DGX Spark (GB10) 上以 TP=2 部署。
推荐理由:原文给出 HarmBench 拒绝率与 MMLU 全量对比,量化了能力损失集中在伦理子集,读者可自行评估取舍。
DeepSeek-AI 在 Hugging Face 发布多模态 MoE 模型 DeepSeek-V4.1-Flash,552B 骨干参数、每 token 预填充激活 8B、解码激活 16B,支持 1M token 上下文,MIT License 开放权重。
推荐理由:原文给出CED架构与CSA2等KV cache压缩设计细节,并附同框架基准分数,读者可自行对比它与V4-Flash及前沿模型的性价比。
LatentIndex 将 Multi-head Latent Attention 的潜在共享原则扩展到稀疏注意力索引层,通过共享潜在缓存加层特定打分实现跨层索引复用。在 DeepSeek-V3.2 上,四层共享使逻辑 indexer 缓存存储减少 61.1%;免训练版本在 DeepSeek-V3.2 与 GLM-5 上的头级注意力质量召回率最高超出 IndexCache 3.28 个百分点,同时保持接近原生 DSA 的 RULER 和 LongBench 表现。分层选择(HS)变体在 8K-128K 上下文下实现相对 DSA 2.30-2.72 倍的 decode indexer 加速。
Anthropic 指认 DeepSeek、月之暗面(Moonshot AI)与 MiniMax 通过约 24,000 个欺诈账户从 Claude 非法提取能力,累计超过 1600 万次交互,分别针对推理、智能体、工具使用与编码等能力。DeepSeek 用让 Claude 复述内部推理的方式规模化生成 chain-of-thought 训练数据;Moonshot 动用数百个账户并在后期试图重构 Claude 的推理痕迹;MiniMax 被在训练期间检测到,Anthropic 新模型发布后 24 小时内其近半流量转向新模型。Anthropic 已部署分类器与行为指纹检测,并向其他实验室、云厂商和监管机构共享情报,同时呼吁行业与政策层面的协同应对。
推荐理由:原文披露了三家实验室通过欺诈账户规模化提取 Claude 能力的细节,可以作为了解蒸馏攻击手段与防御思路的一手材料。