新闻、仓库与研究，按时间排列。
作者发布塞尔维亚语大语言模型基准 serbeval，基于 lm-evaluation-harness 0.4.12，官方集 v1.2 共 351 题，其中 61 题经人工核验、214 题由四模型共识确认、76 题由其派生，重点考查翻译无法覆盖的语法现象如格支配、动词体、aorist/imperfect、正字法与西里尔/拉丁字母一致性。30 个模型经 OpenRouter 零样本评测显示 openai_gpt-6-sol 以 99% 居首，gemini-3.8-flash、claude-opus-5.5、gpt-6.1-sol 98%，前沿模型差距很小，剩余错误多为有争议的正字规范；DeepSeek V4 Pro 达 95% 超过 Sonnet 5.5（94%），Kimi K3 92%。
GitHub 开源工具 llm-number-bias 让多个 LLM 在独立会话中回答「在 1 到 10 之间选一个数」，并统计答案分布。2026 年 10 月 21 日每模型 10 次的测试中，GPT-6.1-sol、Claude Opus 5.5、Gemini 4-argon 全部答 7，Grok 4.7 七次答 7，meta/muse-wonder 在启用 Python 后答 1 到 7 不等；此前无工具的 50 次回答中 49 次为 7。
Reddit r/LocalLLaMA 用户在编码、数据分析与本地 RAG 等任务上对比了 Qwen3.8-27B 与前沿模型，测试集从 500+ 题精简而来，只保留能区分模型的题目。结果显示 or-qwen-qwen3.8-27b 以 bf16 原始精度运行，or-qwen-qwen3.8-flash-next 未披露量化且最常被截断（单次测试最大 16,384 token，提高到 32k 后仍有过思被截断），iq3 GSQ-RCO 表现不差，mradermacher 的微调版持续出色。作者结论：本地模型的输出仍需 Claude 或 GPT 复核。
/u/dergachoff 用 4 个真实 brief 和 52 条消息对比 Haiku 5.5 与 DeepSeek V4.1 Flash，后者经 OpenRouter 以至少 8-bit 精度运行。研究子智能体任务中，Haiku 低档更快且便宜约 4 倍，但同样两个 brief 反复失败，例如始终找不到含精确 HEX 和 Pantone 色值的品牌 guideline 页面，高档 60 次工具调用也没找到；DeepSeek 低档耗时 721 秒、$0.35。聊天标题任务 DeepSeek 胜 28 对 8，Haiku 常把标题写成回答第一句，还把一条 prompt injection 测试消息当成了标题。评判由 Opus 盲评 A/B 双序完成，每组只跑一次，作者说明这不是大型基准测试。
开源项目 eval-connections 提供基于《纽约时报》Connections 谜题的语言推理评测框架，通过 OpenRouter 支持 200+ AI 模型（含 GPT-5、o3、Grok-4 等推理模型）。4.0.0 版新增 one-shot 模式，模型一次提交全部 4 组，含陷阱检测加分，每题最高 5 分、20 题满分 100 分。框架支持并行执行（默认 8 线程）、prompt 缓存、成本追踪和可复现评测，并有人机交互模式。
该仓库记录 DeepSWE 1.1 榜单的多组测试结果：stealth/ox-alpha 经 openrouter.ai 用 mini-swe-agent 得分 46.9%（53/113）。