智谱发布 GLM-5.3:与 GLM-5.2 同底座,编码与漏洞利用能力大幅提升
zai-org 发布 GLM-5.3 开放权重模型,称其与 GLM-5.2 使用同一 base 模型,全部提升来自后训练。
推荐理由:模型卡逐项列出各基准的评测脚注、采样参数与反作弊措施,并附完整对比表,读者可自行核对编码和漏洞利用成绩的可信度。
方向
模型能力评分、基准与榜单。重点是方法可复现、有对照基线、给出失败模式的评测,尤其是针对无对齐模型与角色扮演场景的那部分。
193 条精选近 30 天 193 条共收录 882 条
zai-org 发布 GLM-5.3 开放权重模型,称其与 GLM-5.2 使用同一 base 模型,全部提升来自后训练。
推荐理由:模型卡逐项列出各基准的评测脚注、采样参数与反作弊措施,并附完整对比表,读者可自行核对编码和漏洞利用成绩的可信度。
DavidAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的多阶段微调去审查版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored 的 GGUF 量化。
推荐理由:作者给出了用 Heretic ARA 方法去审查的拒绝率前后数据,并附各量化档位与 Qwen 官方模型的基准对比,可核验其宣称。
作者用 llama.cpp Vulkan 版在搭载 AMD Ryzen 7 6800H 与 Radeon 680M 核显、64GB DDR5 的 Acemagic miniPC 上,实测 GLM-4.7-Flash 的 MXFP4、Q4_K_M、Q4_K_XL 三种量化(内部 GGUF 头均报告为 deepseek2 30B.A3B MoE)。
推荐理由:作者在 AMD 680M 核显上实测三种量化的速度差异,给出了聊天与长上下文场景各自该选哪个格式的具体依据。
nerkyor 在 Hugging Face 发布基于 Qwen3.8-27B-EfficientThink 的多轮 SFT 与 RLOO 后训练模型 Qwen3.8-27B-Coder390-EfficientThink,目标是修复原模型已有答案却反复推导直至撞上 94K 上限导致空答案的习惯。GPQA 178/198、MMLU 450/500、LCB 90/100(静态 FP8,原模型为 177/444/83),94K 截断从 GPQA 4 降到 1、LCB 13 降到 3。仓库提供 BF16、静态 FP8、NVFP4、INT8、INT4、GGUF Q2 至 Q8_0 等多档权重,均含内置 MTP,支持 SGLang 免补丁加载,并给出 DFlash2 与 MTP 两种投机解码的测速建议。
推荐理由:从模型卡给出多档量化的完整三套评测与截断对比,读者可据此判断修复后模型在精度和速度上的实际表现。
Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench,通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用,而非只看工具调用或回复文本,覆盖 507 个有状态业务工作流,每任务独立运行 20 次,已通过 OpenEnv 上线 Hugging Face。
推荐理由:基准不看工具调用而看数据库终态,18 个模型在 507 任务上跑 20 次,区分了单次成功与可依赖性,并给出每次可靠任务的成本对比。
研究者发布 RAGStress 基准,用于系统测试 RAG 系统在知识库损坏下的鲁棒性,覆盖事实损坏、数字错字、相关性投毒和矛盾注入四类损坏与三个严重度,基于 57 个 MMLU 学科和 182,546 篇文档。52,500 次模型-问题-条件评估显示,干净检索会掩盖鲁棒性差异,语义保真型损坏危害远大于信号效用型扰动,无检索准确率不能预测损坏检索下的鲁棒性,混合知识库准确率不应视为最坏情况。基准附带生成脚本、损坏提示词、元数据模式和评测代码,定位是受控压力测试而非通用排行榜。
推荐理由:论文用受控实验区分了语义保真型与信号效用型知识库损坏的差别,还澄清了无检索准确率与抗扰性的错位。
arXiv 论文(arXiv:2610.04512)发现答案正确性在语言模型隐状态中编码为可恢复的几何方向。
推荐理由:论文给出无需参数更新的几何方向打分法,在 MMLU、TruthfulQA 等基准上对比 log-probability 的提升幅度都有具体数字可查。
arXiv论文2610.04403审计27个GGUF量化产物,覆盖13个模型族、0.35B-14B参数,用429个低频英文词测试写词与定义两种探针。发现Q2_K下三种状态:完全崩溃、2B以下模型出现严重语义脱节(定义能力比基线低20-67%)、约3B以上基本保持;词表大小不预示损伤(rho=0.12),参数量主导(rho=0.72),Q4_K_M在1B以上词汇无损,且WikiText-2困惑度无法校准该损伤,需逐产物验证。
推荐理由:论文用429个低频词实测27个GGUF量化产物,指出WikiText-2困惑度无法预警语义损伤,对本地部署有直接参考。
论文发布一个经专家校验的哥伦比亚法律系统LLM可靠性基准,含1042道题、十个法律领域和三种题型,用多阶段专家评审的人在环流水线构建,评测了15个专有与开放权重模型。
推荐理由:论文用专家校验的1042题基准实测15个模型在哥伦比亚法律任务上的表现,给出开放题正确率与引用规范真实性的量化证据。
论文提出威胁保持表述敏感性(TPRS),测量在任务、策略与评测标准不变时改变工具命名等表述导致的攻击成功率(ASR)变化。
推荐理由:论文提出 TPRS 方法量化基准表述对攻击成功率的影响,用 ASB、MCPTox、AgentDojo 的实测数字说明单一安全分数可能不可泛化。
论文提出 MintEval 基准,通过从可组合模块程序化生成参考策略、转译成交易员口语指令再让被测模型重新实现,在相同市场数据和摩擦下逐 bar 执行并比较行为而非代码相似度。
推荐理由:原文用逐 bar 行为对比衡量代码是否忠实执行交易策略,给出了前沿模型仍存在静默失败的具体比例。
Hugging Face 推出面向开源与多语言 TTS 的 Open TTS Leaderboard,用客观指标替代难以扩展的 arena 式人工投票。评测维度包括基于 Qwen3 ASR 的 WER/CER 可懂度、H200 GPU 上的 RTFx 与 TTFA 速度、以及 WavLM 嵌入余弦相似度(SIM)衡量说话人相似度,将单模型评测从数周缩短到数小时。
推荐理由:用 WER、SIM、TTFA 等客观指标把评测周期从数周缩到数小时,并解释了开源模型在 arena 榜单上代表性不足的原因。
NVIDIA 发布开放权重的表格数据基础模型 Kumo Tabular,基于人工生成的表格预训练,单次前向传播即可完成分类和回归预测,无需训练、调参或特征工程,提供 28M 至 215M 参数的三个尺寸,采用 OpenMDW-1.1 许可证可商用。
推荐理由:官方给出了模型架构、人工数据预训练配方和四大榜单的具体名次与 ELO 数字,读者可据此评估这一表格基础模型的实际水平。