TII 发布 Falcon-Emirati-7B 阿拉伯方言特化模型
Technology Innovation Institute 发布 Falcon-Emirati-7B，基于 Falcon-H1-Arabic 7B 变体，针对阿联酋方言的词汇、语法与文化语境做特化训练。
推荐理由：官方同时给出 Alyah 准确率、方言保真度和逐类对比数据，读者可以据此判断方言特化训练相对模型规模的收益。
#能力评测
新闻、仓库与研究，按时间排列。
Hugging Face Blog精选AI 评分6262 arXiv · cs.AIAI 评分4444 AI 究竟是帮攻击者还是防御者？来自非公开漏洞与后续攻击的证据
一项 arXiv 研究在五个非公开软件环境中评估开源与闭源 AI 模型的漏洞利用生成、修复与后续攻击能力，采用研究者开发的确定性评分而非 LLM 评审。结果显示各系统与漏洞类型差异显著：两个环境中修复得分高于攻击得分，三个环境则相反；524 个非独立防御者测试区间中有 92 个在初始漏洞利用被阻止后仍被另一利用攻破。
arXiv · cs.AIAI 评分4646 The Review Lottery：基于 ICLR 2017-2025 十年数据校准同行评审噪声的观测估计器
该研究构建仅用公开评审数据的观测估计器，模拟两个独立评审委员会对同一论文的接受/拒绝差异，并应用于 ICLR 2017-2025 共 36,113 篇论文、134,912 条评审。
arXiv · cs.AI精选AI 评分5555 TasteVal 基准发布：衡量 AI 系统相对人类专家的实验研究品味
arXiv 论文提出 TasteVal 基准，用于评估前沿模型挑选问题、设计实验和解读结果的实验研究品味，并将其操作化为算力效率。基准含 8 个开放式任务，由被测模型担任 Researcher、固定 Coder agent 负责实现，预算为 40 H100 小时或 120 小时墙钟时间，另招募 24 名人类专家、每任务至少 2 人，取每人任务最佳成绩为基线。
推荐理由：论文把实验研究品味量化为算力效率，并给出模型与 24 名人类专家的对照数据，可用于理解 AI 研究能力的度量方式。
arXiv · cs.CLAI 评分4141 SOL：基于双重 Sliced Wasserstein 距离度量文本分布差异
研究者提出文本分布距离指标 SOL：将每条序列表示为固定 transformer 隐状态的经验测度，再用双重 sliced Wasserstein 距离比较分布，并证明当 transformer 为单射时 SOL 是一个度量。
arXiv · cs.CL精选AI 评分5757 arXiv 论文解析 LLM 谄媚性：单一 flip rate 掩盖了什么
arXiv 论文（arXiv:2610.06522）提出 SycoLens 模块化重放协议，对三家机构的十一个前沿模型进行约 76 万次受控重放，检验用户压力与评测设置如何影响测得的 flip rate。
推荐理由：论文拆解了单一 flip rate 掩盖的测量依赖，指出不同追问措辞下模型谄媚排名几乎不相关，对评测方法设计有直接参考。
arXiv · cs.CLAI 评分3333 语音金融助手对英国口音的鲁棒性研究：CavaBench 基准发布
研究者发布 CavaBench，首个口语金融查询基准，用于评估 ASR 模型及 ASR-LLM 端到端流水线在英国口音下的表现。结果显示 WER 与下游工具调用准确率强相关（r = -0.93），但未必反映任务级性能，口音相关失败在不同模型和声学条件下差异显著。多数 ASR 模型以美式英语数据训练，导致苏格兰、爱尔兰和威尔士口音识别困难。
arXiv · cs.CLAI 评分4949 JEV 与 LLM 对比：七项政治科学复现任务中的准确率、成本与校准分析
该研究在七项政治科学复现任务中对比商业模型 JEV 与 GPT-6 Luna、开源 Qwen3.8-27B 及人工编码员。JEV 的准确率接近两款 LLM，单次提问时概率校准优于 GPT-6 Luna 的 token 概率，但不稳定优于 Qwen3.8-27B；在 OpenAI batch 价格下 JEV 无成本优势，主要优点是解析选择概率更方便。
arXiv · cs.CLAI 评分5050 arXiv 论文：语言模型能发现不可能的工程问题却仍报告已解决
arXiv 论文（arXiv:2610.06668）测试了 14 个模型在 30 对力学问题上的表现，每对含一个有效版本和一个因改动给定值或假设而变得不可能的缺陷版本，两个独立求解器验证了答案并证明缺陷问题物理上不可能。
arXiv · cs.CLAI 评分4343 反抗悖论：用于评估大语言模型顺从性的双探针诊断基准
研究者提出开源双探针基准，用主动探针测量模型可被利用程度、被动探针测量可被叫停程度，并合成顺从指数 κ。对 12 个大语言模型的测试显示，7 个模型在两个探针中均服从指令；仅 Claude Sonnet-4.6 和 Claude Opus-4.7 可被叫停而不被利用，Claude Opus-4.6 和 GPT-5-mini 则同时抵抗两类指令，没有模型可被利用却不可叫停。
arXiv · cs.CLAI 评分4141 ufakzeka-karar：开源土耳其语决策模型，采用顺序无关选项打分
ufakzeka-karar 是一个 182,494,466 参数的开源土耳其语决策模型，基于 ufakzeka-1-base，单次 CPU 前向传播即可对最多十个选项输出温度缩放概率与期望误差信号，且打分与选项顺序无关。
arXiv · cs.CLAI 评分4343 PlotGround：基于真实科研图表及其源数据的图表数字化基准
研究者推出 PlotGround，一条从真实科研图表及其作者发布源数据自动构建图表数字化基准的流水线，并据此构建了经人工核验的 PlotGround-1k，包含来自 1,066 篇 bioRxiv 预印本的 1,119 道问题。
arXiv · cs.AIAI 评分4343 GENAI4IDN Benchmark 3.0 发布：评估生成式 AI 创作交互式数字叙事的公开工具
GENAI4IDN Benchmark 3.0 发布，这是用于评估生成式 AI 创作交互式数字叙事（IDN）工具的第三版公开评测框架。新版通过公开网页应用实现 AI 辅助评测，支持社区按需运行基准、添加新模型和提出新任务，采用“盲评”避免模型偏差，并可处理音乐、视频等复杂媒体；新增经人工验证的事实核查与偏见检测任务。测试发现模型创作能力趋于成熟，但存在思维失控和过度保守的安全过滤等局限。
arXiv · cs.AIAI 评分3333 时序 QA 系统真的在读时间序列吗？证据使用与推理可靠性分析
该研究评估 TimeOmni-1、ChatTS、TimeOmni-VL 和 Time-MQA 四个时序问答系统，并发布统一样本表示与评测标准的 benchmark COMMON-TSQA。
arXiv · cs.AI精选AI 评分5353 OR-Bench 诊断 VLM 物体旋转推理缺陷并提出 RotationCue 改进
arXiv 论文 2610.05715 提出 OR-Bench，用 8 项任务评测 12 个 VLM 的物体旋转推理能力，发现检测任务接近 100% 准确但角度估计接近随机，91.8–100% 的预测集中在 0°、90°、180°，称为 canonical-angle collapse。
推荐理由：论文用线性探针证明 VLM 已编码旋转信息却未使用，并给出可复用的 RotationCude 解码器改进方案。
arXiv · cs.AIAI 评分3838 日志异常检测的协议敏感性评测：HDFS 与 BGL 上的组件成本与目标访问敏感性分析
一项联合实证研究显示，评测协议选择会改变日志异常检测基准的结论。在 HDFS 与 BGL 日志上，随机切分使多种配置接近平均精度上限，而组不相交与按时间顺序评测得分更低且排序不同；HDFS-to-BGL 平均精度从仅源访问的 0.191 提升至联合语料、目标 IDF 访问的 0.325。研究还拆分了解析、表示与分类器各阶段的成本。
arXiv · cs.AI精选AI 评分5252 arXiv 论文提出测量优先的 Agentic 榜单审计框架并复测 SWE-bench Verified 污染差距
arXiv 论文提出测量优先的审计框架，将基准污染声明分为训练期暴露、评估期检索和管线泄漏三类证据通道，在 Holistic Agent Leaderboard 的 9 个配置中 27 项通道评估无一被判定为 closed，但 4 个配置确认了污染事件。
推荐理由：论文提出按证据类型区分污染声明的审计框架，并给出 HAL 上 27 项通道评估与 SWE-bench Verified 匹配对照复测的具体结果。
arXiv · cs.CL精选AI 评分6565 MemStrata 论文：本地 Qwen 3.8 27B 读取器在 LongMemEval-500 达 95% 源感知准确率
论文提出源感知评分方法，由裁判先对照完整对话源再评判系统答案，并用本地 Qwen 3.8 27B Q4_K_M 读取器测试 MemStrata CL1。
推荐理由：论文用源感知评分重新衡量长对话记忆基准，同一答案在两种评分下差距明显，提示仅对照参考答案的榜单可能低估系统。
arXiv · cs.CLAI 评分4343 GNN-CB：面向人类与 LLM 评测的图神经网络竞赛基准
研究者推出 GNN-CB，首个在竞赛设定下评测人类与 LLM 端到端 GNN 编码任务的基准，包含 18 场覆盖节点、边、图级预测的竞赛，采用隐藏测试集与统一自动化评分。结果显示 LLM 很少达到人类顶尖水平且表现稳定性较差，多数任务最高分仍由人类保持。该基准已开源，提供动态排行榜与可复现评测流程。
arXiv · cs.CL精选AI 评分6262 DelegationBench：评测 AI Agent 何时该先询问再行动
Shiva Pochampally 在 arXiv 发布 DelegationBench，包含 156 个场景、四种响应（行动、请求许可、询问缺失信息、拒绝），多数场景以改变单一特征的配对形式出现。
推荐理由：原文用配对场景拆解了单一一致性分数的三种误导，并给出应分开报告的评测建议，方法可迁移到 Agent 决策评测。
arXiv · cs.CL精选AI 评分6060 arXiv 预注册研究：评测 harness 修复的到底是什么
arXiv 论文 2610.05533 通过预注册研究分析 harness 搜索带来的分数提升来源，覆盖 3 个小模型、3 个基准、GEPA 搜索臂和 6 种注入的评测缺陷，报告全部 47 个主要终点。
推荐理由：预注册研究拆解了 harness 搜索带来的分数提升来源，并给出六种评测缺陷在复现中被掩盖的比例，对评测方法设计有直接参考价值。
arXiv · cs.CLAI 评分4343 SALUS：基于多智能体输出弱监督自动审计 NL-to-SQL 基准
SALUS 系统利用多个 LLM 智能体生成的 SQL 驱动弱标注函数，通过生成式标签模型自动检测 NL-to-SQL 基准中的标注错误。在含 298 个 BIRD 任务的 BIRD-Clean-xs 上达到 F1 = 0.9194，显著超越 SOTA 基线；估计 BIRD 与 Spider 开发集的标注错误率分别约为 37% 和 27%。
arXiv · cs.CLAI 评分3838 知规则难应用：语言模型在传统中文八字命理上的评测
一项 arXiv 研究用 3,000 道中文选择题（14 个理论类、11 个案例类）评测六个大语言模型在传统八字命理上的表现。
arXiv · cs.CLAI 评分5050 MedicalHarness：LLM 与 Agent 框架在医疗任务上的受控评测
arXiv 论文提出 MedicalHarness，通过 MedicalHarnessBench 的 107 个任务（覆盖四个领域）对五个开源权重模型与五种 agent 框架进行受控评测，并用 MH-Lab 逐一关闭上下文管理、规划或工具暴露来分析单一机制的作用。结果显示框架及其与模型的交互约占结果方差的四分之一，且没有单一框架在所有模型和任务上最优。代码与数据已公开。
Hugging Face · 趋势模型精选AI 评分6565 
Liquid AI 发布基于 LFM2.5-VL-3B 的决策模型 d1-3B
Liquid AI 发布 3.1B 参数的多模态决策模型 d1-3B，基于 LFM2.5-VL-3B 后训练，对状态（文本、JSON 或图片）中的一组问题一次前向返回带置信度的类型化答案，零输出 token。Decision Index 0.2.1 得分 48.57，高于所有 4B 和 9B 模型及 Decider 35B-A3B（47.11）；RTX 4090 上单次决策 8 ms，AMD MI325X 上打包 64 个状态吞吐达 1,106/s。它不是聊天模型，适用于路由、分类、审核、reranking、LLM-as-a-judge 等场景。模型卡：https://huggingface.co/LiquidAI/d1-3B
推荐理由：官方给出了完整基准表和各硬件实测延迟，读者可以据此判断这个 3B 决策模型在自己的部署场景里是否划算。
Hugging Face · 趋势模型精选AI 评分8383 
智谱发布 GLM-5.3：与 GLM-5.2 同底座，编码与漏洞利用能力大幅提升
zai-org 发布 GLM-5.3 开放权重模型，称其与 GLM-5.2 使用同一 base 模型，全部提升来自后训练。
推荐理由：模型卡逐项列出各基准的评测脚注、采样参数与反作弊措施，并附完整对比表，读者可自行核对编码和漏洞利用成绩的可信度。
Hugging Face · 趋势模型精选AI 评分6868 
DavidAU 发布 Qwen3.8-27B-TURBO 无审查微调版 GGUF
DavidAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的多阶段微调去审查版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored 的 GGUF 量化。
推荐理由：作者给出了用 Heretic ARA 方法去审查的拒绝率前后数据，并附各量化档位与 Qwen 官方模型的基准对比，可核验其宣称。
Hugging Face · 趋势模型精选AI 评分6464 
nerkyor 发布 Qwen3.8-27B-Coder390 微调版，修复不停止推理问题并放出十余档量化权重
nerkyor 在 Hugging Face 发布基于 Qwen3.8-27B-EfficientThink 的多轮 SFT 与 RLOO 后训练模型 Qwen3.8-27B-Coder390-EfficientThink，目标是修复原模型已有答案却反复推导直至撞上 94K 上限导致空答案的习惯。GPQA 178/198、MMLU 450/500、LCB 90/100（静态 FP8，原模型为 177/444/83），94K 截断从 GPQA 4 降到 1、LCB 13 降到 3。仓库提供 BF16、静态 FP8、NVFP4、INT8、INT4、GGUF Q2 至 Q8_0 等多档权重，均含内置 MTP，支持 SGLang 免补丁加载，并给出 DFlash2 与 MTP 两种投机解码的测速建议。
推荐理由：从模型卡给出多档量化的完整三套评测与截断对比，读者可据此判断修复后模型在精度和速度上的实际表现。
Hugging Face Blog精选AI 评分7474 
微软与 Hugging Face 发布 ThinkingBox 基准，以数据库终态评测 Agent 并要求 20 次重复运行
Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench，通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用，而非只看工具调用或回复文本，覆盖 507 个有状态业务工作流，每任务独立运行 20 次，已通过 OpenEnv 上线 Hugging Face。
推荐理由：基准不看工具调用而看数据库终态，18 个模型在 507 任务上跑 20 次，区分了单次成功与可依赖性，并给出每次可靠任务的成本对比。
arXiv · cs.AIAI 评分3232 Knossos 与 Ariadne：用视觉语言模型评测并学习完整图表拓扑抽取
论文提出图表拓扑抽取任务，并发布 Knossos 基准：涵盖 6 个领域的 19,200 张图表，含 245,179 个节点和 439,740 条边，符号生成保证图与标注精确对齐。同时提出 Ariadne 框架，将任务分解为节点抽取与源条件边预测，在 Knossos 上取得评测方法中最高的平均 Edge F1，且在真实世界外部基准上也优于未适配的基座模型。代码与基准已开源。
arXiv · cs.AI精选AI 评分5252 RAGStress：面向知识库退化的 RAG 受控评测基准发布
研究者发布 RAGStress 基准，用于系统测试 RAG 系统在知识库损坏下的鲁棒性，覆盖事实损坏、数字错字、相关性投毒和矛盾注入四类损坏与三个严重度，基于 57 个 MMLU 学科和 182,546 篇文档。52,500 次模型-问题-条件评估显示，干净检索会掩盖鲁棒性差异，语义保真型损坏危害远大于信号效用型扰动，无检索准确率不能预测损坏检索下的鲁棒性，混合知识库准确率不应视为最坏情况。基准附带生成脚本、损坏提示词、元数据模式和评测代码，定位是受控压力测试而非通用排行榜。
推荐理由：论文用受控实验区分了语义保真型与信号效用型知识库损坏的差别，还澄清了无检索准确率与抗扰性的错位。
arXiv · cs.AIAI 评分3333 临床 LLM 在不完整证据下如何决策、追问或转诊：DECIDE/ASK/DEFER 框架研究
一项将临床大语言模型的决策从二元 DECIDE/ABSTAIN 扩展为 DECIDE/ASK/DEFER 三动作框架的研究，在基于 DDXPlus 构建的 200 个匹配临床证据状态上评估 Qwen、Gemini 和 GPT，其中 137 个状态出现动作选择分歧。针对 Qwen 的匹配分析显示，所选信息对后续自主决策可能性的影响比诊断正确性更明显；与 DECIDE/ABSTAIN 基线相比，三动作策略既能纠正部分错误自主决策，也会取消部分正确决策，暴露了安全性与自主性的权衡。该研究已获 NeurIPS 2026 GenAI4Health Workshop 主赛道接收。
arXiv · cs.CL精选AI 评分5252 arXiv 论文提出几何答案选择方法：正确性在模型隐状态中呈可恢复方向
arXiv 论文（arXiv:2610.04512）发现答案正确性在语言模型隐状态中编码为可恢复的几何方向。
推荐理由：论文给出无需参数更新的几何方向打分法，在 MMLU、TruthfulQA 等基准上对比 log-probability 的提升幅度都有具体数字可查。
arXiv · cs.CLAI 评分4343 VAL 框架解析：为何相同的 ASR 零值在 LLM 智能体安全中意味着不同的保证
一项 arXiv 研究提出 Verification Autonomy Levels（VAL，L0-L5）框架，对 22 种 LLM 智能体安全防御进行分级，并在 AgentDojo/JADE 上以约 17,000 次 LLM 调用做了首个受控部署价值对比。
arXiv · cs.CL精选AI 评分7070 arXiv论文：激进GGUF量化的语言模型仍能写出已无法定义的生僻词
arXiv论文2610.04403审计27个GGUF量化产物，覆盖13个模型族、0.35B-14B参数，用429个低频英文词测试写词与定义两种探针。发现Q2_K下三种状态：完全崩溃、2B以下模型出现严重语义脱节（定义能力比基线低20-67%）、约3B以上基本保持；词表大小不预示损伤（rho=0.12），参数量主导（rho=0.72），Q4_K_M在1B以上词汇无损，且WikiText-2困惑度无法校准该损伤，需逐产物验证。
推荐理由：论文用429个低频词实测27个GGUF量化产物，指出WikiText-2困惑度无法预警语义损伤，对本地部署有直接参考。
arXiv · cs.AI精选AI 评分5353 大语言模型了解哥伦比亚法律吗：哥伦比亚法律系统可靠性基准发布
论文发布一个经专家校验的哥伦比亚法律系统LLM可靠性基准，含1042道题、十个法律领域和三种题型，用多阶段专家评审的人在环流水线构建，评测了15个专有与开放权重模型。
推荐理由：论文用专家校验的1042题基准实测15个模型在哥伦比亚法律任务上的表现，给出开放题正确率与引用规范真实性的量化证据。
arXiv · cs.AI精选AI 评分5252 arXiv 论文提出 TPRS 度量：Agent 安全基准的表述方式会显著改变攻击成功率
论文提出威胁保持表述敏感性（TPRS），测量在任务、策略与评测标准不变时改变工具命名等表述导致的攻击成功率（ASR）变化。
推荐理由：论文提出 TPRS 方法量化基准表述对攻击成功率的影响，用 ASB、MCPTox、AgentDojo 的实测数字说明单一安全分数可能不可泛化。
arXiv · cs.AIAI 评分5151 FinSkillBench：拆解可验证金融 Agent 工作流中的技能溢价
论文提出 FinSkillBench，包含 2,603 个跨 12 个子任务的时点金融 Agent 评测场景，覆盖组合构建、风险管理与基本面分析，并配隐藏可再生的标准答案与确定性验证器。
arXiv · cs.CL精选AI 评分5555 MintEval：评测大语言模型能否忠实实现自然语言描述的交易策略
论文提出 MintEval 基准，通过从可组合模块程序化生成参考策略、转译成交易员口语指令再让被测模型重新实现，在相同市场数据和摩擦下逐 bar 执行并比较行为而非代码相似度。
推荐理由：原文用逐 bar 行为对比衡量代码是否忠实执行交易策略，给出了前沿模型仍存在静默失败的具体比例。
arXiv · cs.CLAI 评分3434 揭开宣传检测的面纱：掩码语言模型与因果语言模型的对比分析
基于 SemEval-2020 Task 11 数据集对比掩码语言模型（XLM-RoBERTa、DeBERTa V3）与 OpenAI、Google、Mistral、Anthropic、Meta 的因果模型在宣传技巧检测上的表现，采用 base 与 chain-of-thought 两种提示策略。