跳到正文
#能力评测
10月8日周四
  1. GitHub · 去对齐工具与仓库47

    OpenRouter 开源内部评测工具 benchmark-harness

    OpenRouter 将内部评测工具 OpenRouterTeam/benchmark-harness 对外公开，以提升透明度，并可在自有基础设施上大规模运行基准测试、快速迭代。该工具通过 bun 安装运行，支持指定 benchmark（如 gpqa_diamond）和模型（如 openai/gpt-4o-mini）等参数，并提供了 CONTRIBUTING.md 与 SECURITY.md 供贡献者和安全报告使用。

  2. arXiv · cs.CL30

    情感标注难有共识：人类、专用工具与 LLM 在社交媒体文本上均难达成一致

    一项对 100 条推文的评估显示，TextBlob、VADER、Twitter-roBERTa-base 三种专用情感分析工具与 Qwen3-32B、GPT-OSS-120B、Llama-4-Maverick-17B 三个 LLM，和六名人类标注者的一致性都仅属一般。Twitter-roBERTa-base 与人类评分最契合，尤其在区分负面与非负面情感时领先；LLM 彼此一致性较高，在正面分类上表现更好。研究表明领域微调对可靠的情感分析仍不可或缺。

  3. arXiv · cs.CL44

    无真值下的有效性评估：陈述偏好经济学能为大语言模型评测带来什么

    一篇 arXiv 论文提出用陈述偏好经济学的有效性框架（内容、构念、效标有效性、可靠性、激励相容等）评测大语言模型。作者将 Vossler 等 2023 年发表的水质经济价值评估问卷施测于六个模型，以需求向下倾斜、支付意愿随商品范围和收入变化等经济学理论预测为检验。结果分化明显：两个较旧模型在 75,000 美元家庭收入水平上未通过最基本检验，两个最新模型通过全部理论有效性检验但在聚合有效性上出现分歧。

  4. GitHub · 去对齐工具与仓库18

    LLMpanorama：用 GEMINI、CLAUDE、CHATGPT 评测下颌阻生智齿分类的牙科 AI 评估工具

    GitHub 开源项目 LLMpanorama 是一个基于 Streamlit 的牙科 AI 评测系统，用于对比 GEMINI、CLAUDE、CHATGPT 三种多模态大模型按 Pell & Gregory 和 Winter 分类法判断下颌阻生智齿的能力，研究包含 129 个病例和 4 名数据录入成员。工具支持自动解析 AI 回复中的 P&G Class、Winter's Class、Confidence (%) 等字段，每 5 分钟自动备份并同步生成 ai_evaluation_results.xlsx。项目可免费部署到 Streamlit Community Cloud，也可本地通过 streamlit run app.py 运行。

  5. Reddit · r/LocalLLaMA34

    两个月盲测实验：普通人能分辨出不同 AI 模型的差异吗？

    一位 Reddit r/LocalLLaMA 用户用 RTX 3090 和自建 WebUI 对 8 名普通人做了约两个月的盲测，轮换 Qwen 3.6 27B、Gemma 26B-A4B 等 7 个本地模型，共处理 7,912 次请求。结果参与者普遍偏爱 Gemma 模型的回答，多数人以为自己在用 ChatGPT 5.5/5.6；抱怨集中在 9B 及以下模型“理解不了”。使用场景以文档写作和语法检查为主，仅 51 次请求用高推理档，绝大多数请求上下文约 64K。

  6. GitHub · 去对齐工具与仓库54

    TimeCraker 开源 coding-plan-bench 编码模型测速台，支持 glm-5.3 世代同条件对比

    TimeCraker 在 GitHub 发布 coding-plan-bench 测速台，测量 TTFT/TPS/Total 并在同条件组内排名，支持 Anthropic 兼容与 OpenAI 兼容双协议。内置智谱 glm-5.3 / glm-5.3-flash / glm-5.3-flashx 同 key 三档直对比，外加方舟、千帆、DeepSeek、Kimi 渠道；提供浏览器直连、受信代理、Windows 本地版三种连接方式，Key 不入应用存储。2026-10-05 实测 32/32 成功，GLM-5.3 端到端中位 19.9s / 89 TPS，GLM-5.3-Flash 34.7s / 64 TPS。

  7. arXiv · cs.CL34

    ArcticQA：面向 LLM 科学弃答能力的北极科研数据集与基准

    研究团队推出 ArcticQA 数据集，包含来自北极一手科研的 194 道问题，并构建 ArcticAbstain 基准，对比有答案与无答案条件下的弃答表现。评测覆盖 Gemini、Claude、ChatGPT 三个系列的 8 个模型，在 9,312 条记录中，有答案条件下的弃答率为 0.0%–63.0%，替换正确答案平均仅提升 5.05 个百分点，表明需同时评估弃答频率与灵敏度。

  8. arXiv · cs.CL11

    基于 Transformer 的长文档金融叙事摘要评估指标比较研究

    一项研究以 FNS 2020 共享任务数据集（伦敦证券交易所上市公司年报及其摘要）为基准，比较了多种预训练 Transformer 摘要方法与抽取技术，并考察不同评估指标的行为差异。研究者认为部分指标无法真实反映摘要能力，提出由 ROUGE-2 与 BERTscore 调和平均构成的新指标 BRUGEscore，并通过统计显著性检验和三种污染方法的对抗分析验证结果稳健性。

  9. arXiv · cs.CL50

    RELATE：衡量大语言模型关系取向的评估框架

    研究者提出 RELATE，一个以人设条件化测量 LLM 关系取向的评估框架，区分将 AI 定位为持续支持来源的内向型（IF）语言与鼓励现实人际连结的外向支架型（OS）语言。框架将 76 个求助情境与 3 种模拟用户风格组合成 228 个评估刺激，对 7 个 LLM 各进行 6 轮助手对话，共产生 1,596 段对话和 69,194 句助手句子，用基于量表的 LLM 评判加二次评判评估。结果显示第 6 轮的 IF 句子比例高于第 1 轮，且犹豫、间接的用户得到的 OS 语言明显更少。

  10. arXiv · cs.CL54

    Igor Slinko 提出编码智能体基准应匹配用户真实任务流，并给出 SWE-TaskFlow 转换方法

    研究收集了 4782 个 JetBrains IDE 中真实软件工程师的智能体会话，其中 33% 有至少三条用户消息，发现这些长会话的任务类型与类型间切换分布和 issue 衍生基准任务差异显著。论文提出 SWE-TaskFlow 方法，在保留已验证任务与测试的同时，通过提示词拆分和可验证的仓库问答将交互导向目标 Task Flow，并用 TFAS 分数筛选生成的轨迹；在 700 个 SWE-Bench Pro 任务上的试点显示，将任务拆成多步顺序执行大约使智能体成本翻倍，而 resolve rate 无稳定变化。

    推荐理由：论文用 JetBrains IDE 中 4782 个真实工程会话测量任务流分布，指出基准交互协议本身影响评测结果，方法可迁移。

  11. arXiv · cs.CL28

    InsClaimBench：跨决策链评测保险理赔裁定的基准

    研究者推出 InsClaimBench，一个端到端评测 LLM 保险理赔裁定的基准，涵盖车险、财产险和健康险共 3,780 个案例、375 个案例族、86,656 条原子规则判断。对六个 LLM 的评测显示，赔付决策准确率为 74.23%–80.19%，决策与金额联合准确率降至 47.54%–73.15%；原子规则准确率达 95.48%，但规则向量完全匹配最高仅 36.90%，表明沿决策链的可靠组合与传播仍是关键挑战。

  12. arXiv · cs.CL47

    LiveMACE：在演化市场中过程感知地评估 LLM 智能体能力

    研究者推出 LiveMACEBench，以真实金融市场为持续演化测试床，过程感知地评估 LLM 智能体能力。五个前沿 LLM 在 Tool Use、Persistent Memory、Rule Following 和 Multi-Agent Collaboration 匹配配置下运行，经 30 天实时评测发现明显的"结果-能力差距"：实际收益常与能力特定指标背离。Trace 级诊断揭示了各能力的不同瓶颈，说明机制访问、有效使用与最终表现并非可互换的能力度量。

  13. GitHub · 灵魂体仓库27

    Gtheory4LLM v0.4.1：面向 LLM 评测研究的 G 理论可靠性分析 R 包

    GitHub 开源的 R 包 Gtheory4LLM（源码版本 0.4.1）提供精确平衡的 Gaussian 概括理论模型和有界实验 Laplace 引擎，用于 LLM 标注与评测研究中的可靠性分析。用户可指定评估者、提示词和重复运行来源，拟合并比较不同评估者与提示词数量下的投影可靠性。该包为研究 beta，需 R 4.5 及 OpenMx 2.22.11，内置含 24 个条目、4 名评估者、3 个提示词、2 次运行的教程工作流。

  14. GitHub · 灵魂体仓库60

    MIT 团队发布 HugAgent 基准：评估大语言模型能否模拟具体个人的推理与信念更新

    MIT Media Lab 等机构在 EMNLP 2026 发布 HugAgent 基准，评估大语言模型能否仅凭本人访谈话语模拟具体个体的推理与信念更新，含信念状态推断（BSI）和信念动态更新（BDU）两个任务。基准基于 54 名参与者、3 个争议领域共 1,742 个条目，已以 gated、CC BY-NC 4.0 协议发布在 Hugging Face（social-atoms/hugagent）。结果显示模型较能恢复个体信念（最佳模型比人类上限低 7 至 9 分），但预测个体如何改变立场明显偏弱，最佳模型 68.6% 对人类的 85.7%，且该差距在所有被测模型家族中都存在。

    推荐理由：基准测出模型能推断个体信念却难以预测其转变，榜单和评测脚本都开放，结果可直接复跑。

  15. GitHub · 去对齐工具与仓库46

    krxi/asm-adlandirma：用小型语言模型为 stripped 二进制中的函数自动命名

    GitHub 上的 krxi/asm-adlandirma 项目用小型语言模型为去符号二进制中的汇编函数生成有意义的名称和描述，替代逆向工程中手动分析 FUN_00401a30 类函数的首步工作。项目从 zlib 等 C 项目在 -O0/-O2 下编译提取汇编数据，真名从源码免费获得；初步测试 60 个函数中，表现最好的 mimo-v2.6-pro（思考模式）平均 F1 在 -O0 下仅 0.39，完整命中率 16/60。后续计划用该数据集对小模型做 LoRA 训练并开源，代码 MIT 许可。

  16. Reddit · r/LocalLLaMA31

    Strata 编程实测：prefill 提速但幻觉频发，作者因可靠性问题弃用

    作者用 12 小时自动化编程测试对比 Strata 托管的 Qwen3.8-Flash-Next-UD-IQ4_XS 与本地 llama.cpp 运行版本（两者均 Q8_0 KV-cache、推理设为 xhigh）。Strata 大幅提升 prefill 速度，但出现混淆是否已创建报告、幻觉读取工具输出、反复写入损坏文件等可靠性问题，作者已停用，认为其不适合企业级应用开发环境，建议必须配合全自动测试和 QA 流程使用。

  17. GitHub · 灵魂体仓库46

    rag-forge：可配置生产级 RAG 问答系统与评测框架

    GitHub 开源项目 rag-forge 提供完整的 RAG 文档问答流水线，支持固定/句子/段落/语义多种分块、BM25、dense（FAISS）及 RRF 融合的混合检索，可选 cross-encoder 重排序，LLM 与嵌入 Provider 可插拔（OpenAI、Anthropic、Ollama、离线）。内置评测框架，在 5 部经典小说、1,603 个 chunk 和 76 个 QA 对上度量 Recall@k、MRR、faithfulness 与 abstention，检索-only 基线可在 4 核 Intel Xeon 无 GPU 环境离线运行。

  18. GitHub · 灵魂体仓库59

    vllm-project 推出 SLO 感知的 LLM 推理基准测试平台 GuideLLM

    vllm-project 的 GuideLLM 是面向真实负载的 LLM 推理基准测试与评估平台，模拟 OpenAI 兼容和 vLLM 原生服务器端到端交互，采集 TTFT、ITL 等完整延迟分布以支持 SLO 驱动评估。支持文本、图像、音频、视频多模态的真实与合成数据集，提供 synchronous、concurrent、constant、poisson、sweep 等流量模式，新增多轮对话、tool calling、Mooncake/WEKA/OTEL trace 回放等能力，输出 、csv、html 等报告，采用 Apache License 2.0，可通过 pip install guidellm 或容器镜像使用。

  20. GitHub · 灵魂体仓库23

    dkships/llm-moods：LLM Vibes 每日追踪 Claude、ChatGPT、Gemini 与 Grok 的开发者情绪看板

    GitHub 项目 LLM Vibes 从 Reddit、Hacker News、Bluesky、Twitter/X 和 App Store 这 5 个平台抓取开发者讨论，用 GPT-6 Sol 做情感分类，为 Claude、ChatGPT、Gemini、Grok 4 个模型生成每日 0-100 情绪分数并全天刷新。项目还提供 30 天历史图表、按幻觉、拒答、编码质量等维度拆解的抱怨分类，以及 CSV 与 JSON-LD 数据导出。技术栈为 React 18.3 + Supabase，含 17 个 Deno edge functions，采用 MIT 许可证开源。

  21. GitHub · 灵魂体仓库40

    Arbiter-L8：Rhizome Risk 系统的独立 AI 评估框架

    Arbiter-L8 是一个独立于 Sentinel-L7 和 Synapse-L4 数据路径之外的 AI 评估框架，基于标准化 EvalPrediction 契约对两者输出打分，不含服务 SDK 和共享导入边界。技术栈为 Python 3.12 + uv、Pydantic 2.9、httpx，在线层使用 Ollama、Gemini Flash（judge 回退）和 Upstash Vector，并通过 OpenTelemetry 导出 traces + metrics。实测中一次 --driver ollama 驱动覆写调用耗时约 4.7s 到超过 10s，偶尔超出适配器默认单请求超时。

  24. GitHub · 灵魂体仓库52

    keygen bench 发布：评测大语言模型在 FastTracker II 中创作 tracker 音乐

    Microck 发布 keygen bench 基准，测试大语言模型在 FastTracker II 环境中创作 tracker 音乐的能力。模型在离线 Docker 沙箱中仅用一个 bash 工具编写 XM 模块，随后在沙箱外的新 FT2 进程中以 44.1 kHz / 16-bit 渲染并用 craft-v7 评分。每个模型用相同提示词跑三次独立尝试、取最佳成绩排名，单次限时 120 分钟、单命令 120 秒。仓库开源了运行器、容器构建、评测器、结果网站和全部记录，代码采用 MIT 许可。

  25. GitHub · 去对齐工具与仓库58

    LLM-invoice-extraction：用 claude-haiku-4-5 评测发票结构化抽取的开源项目

    作者开源了一个基于 LLM 的发票结构化数据抽取与评测项目，用 claude-haiku-4-5 在 40 份合成测试发票上跑了三种提示词策略：rules 策略全字段正确率达 87.5%，few_shot 75.0%，zero_shot 60.0%，仅 zero_shot 与 rules 的差异通过配对 McNemar 检验显著（p=0.007）。项目具备固定种子、dev/test 切分和 API 结果磁盘缓存的可复现设计，并用确定性校验层检查数字一致性；事后故障注入测试显示完全自洽的错误数字（协调改价）在 49/49 次试验中都无法被算术校验发现，zero_shot 的校验召回率也只有 50%。数据为合成生成且仅测单一模型，结果未必适用于真实发票。

    推荐理由：用合成发票把提示词策略、确定性校验和可复现评测串成完整流程，还用故障注入演示了纯算术校验的盲区，方法可迁移到同类抽取评测。

  26. GitHub · 去对齐工具与仓库9

    wahhyun 开源 llm-eval：轻量级 LLM 提示词一致性测试工具

    llm-eval 是一个开源的 LLM 提示词测试工具，可将同一提示词重复运行多次（默认 10 次），通过一致性评分和 variance flags 检测模型回答是否稳定。工具用 C++ 编写、零依赖、single-header 库，在 Windows 10 及以上系统免安装即可运行，仅占约 50 MB 空间且支持跨厂商模型。

  28. GitHub · 去对齐工具与仓库47

    eval-connections：用《纽约时报》Connections 谜题评测 AI 语言推理能力的开源框架

    开源项目 eval-connections 提供基于《纽约时报》Connections 谜题的语言推理评测框架，通过 OpenRouter 支持 200+ AI 模型（含 GPT-5、o3、Grok-4 等推理模型）。4.0.0 版新增 one-shot 模式，模型一次提交全部 4 组，含陷阱检测加分，每题最高 5 分、20 题满分 100 分。框架支持并行执行（默认 8 线程）、prompt 缓存、成本追踪和可复现评测，并有人机交互模式。

  29. GitHub · 灵魂体仓库44

    Massed Compute 发布 gpu-benchmark 仓库：多款 LLM 在不同 GPU 上的推理速度评测数据

    Massed Compute 开源了 gpu-benchmark 仓库，收录多款 LLM 及图像/视频模型在 RTX PRO 6000 Blackwell、H100、H200 NVL、L40S 等 GPU 上的推理速度评测数据，涵盖 Llama 3 系列、DeepSeek V4.1 Flash、Qwen3.8 27B、GLM 5.3 Flash 等模型。2026 年新增测试改用 vLLM 和 SGLang 引擎，固定输入 128 / 输出 128 tokens，并在 concurrency 1 / 8 / 32 下运行，Wave 5 的复现脚本位于 scripts/wave5/。

  30. GitHub · 灵魂体仓库56

    local-llm-benchmarks：V100 与 RTX 3060 本地 llama.cpp 模型实测

    作者发布了本地 llama.cpp 模型基准测试套件，测试环境为 Tesla V100 32GB 加 RTX 3060 12GB 双 GPU，llama.cpp v9836（upstream-dflash 分支），统一 8K 上下文并开启 flash attention。结果显示 V100 上 MTP 推测解码带来明显收益，Qwopus3.6-27B-Coder-Compat 在 MTP n=3 下达 40.3 tok/s，比无推测快 29%；而 35B MoE 模型在 RTX 3060 上 MTP 反而拖慢速度（25.5 降至 16.9 tok/s），建议该卡用 no-spec 并开启 --cpu-moe。

    推荐理由：作者在双 GPU 本地系统实测了 MTP 推测解码的适用边界，27B 密集模型受益而 35B MoE 反而变慢，结论可直接迁移到类似硬件选型。

  31. Reddit · r/LocalLLaMA55

    LiquidAI 发布 d1-3B 与 d1-omni-600M 决策模型

    Reddit 用户转发 LiquidAI 的两款决策模型：d1-omni-600M 基于 LFM2.5-Encoder-350M，支持文本、图像和最长 30 秒语音的单次前向推理；d1-3B 基于 LFM2.5-VL-3B，在 Decision Index 0.2.1 得 48.57，为 10B 以下最佳决策模型。d1-3B 在 RTX 4090 上单次决策 8 ms，M5 Pro 上 30 ms，权重及 GGUF 版本已上传 Hugging Face。

  32. GitHub · 灵魂体仓库51

    AP-Model-QC 评测用例仓库进入 Phase 3，已对四家模型产出 14 项发现

    apolskiy 发布 AP-Model-QC 仓库（MIT 许可），处于 Phase 3，包含 70 个分级用例：41 evaluator、21 security、8 tool，覆盖 gemini、openai、claude、grok 四个引擎。已记录 851 条候选响应、466 条评判和 14 项模型发现（openai 8、claude 5、grok 1、gemini 0），撤回的 15 项均为自身缺陷。每例观测 3 次、分歧时升至 5 次，11 项发现存在同题异答；录制回放让任何发现无需厂商账号即可复现，如 pytest --engine grok --mode replay --tests 134205。

10月7日周三
  1. GitHub · 灵魂体仓库37

    Evaluating Large Language Models in High-Stakes Domains 专著配套代码与数据仓库发布

    Thalles Ferreira Costa（Oswaldo Cruz Institute, IOC/Fiocruz）发布专著配套 GitHub 仓库，包含 LLM 高风险领域评测的代码、模拟数据生成器、去标识研究数据与图表。仓库内 figures.py 复现第 2–6 章全部图表，data/ 含 15 模型输血医学研究的逐次调用去标识记录（2026 年 9 月 14 日），并附各章 notebook。代码采用 MIT 许可，数据采用 CC BY 4.0，v0.1.0 已归档至 Zenodo。

  3. GitHub · 灵魂体仓库55

    aicharts 开源发布：把 AI 基准分数按成本与 token 用量绘成一图并标记各预算最优分

    aicharts 将已发布的 AI 基准分数与每任务成本、token 用量绘在同一张图上，并在每个预算档标记最优分数，图表见 https://aicharts.io。项目提供本地收集器测量自己 Agent 的 token 用量，Linux x86-64 与 Apple silicon Mac 构建发布在 GitHub Releases，Mac 构建已签名公证；收集器可通过只读 MCP 服务器让 Agent 查询本机用量历史，数据默认不离开本机。基准数据涵盖 Terminal-Bench 4.0、ARC-AGI-2/3、Artificial Analysis Intelligence Index v4.3.2 等，各快照记录来源、版本与检索时间，站点与基准所有方无隶属关系。

    推荐理由：把已发布的基准分数与成本、token 用量放在同一张帕累托图上，还提供本地用量收集器，读者可自行核对不同预算下的最优配置。

  4. GitHub · 灵魂体仓库54

    ZxBench 发布本地大模型评测系统，题库 1.60.0 含 803 道来源题

    ZxBench 是一个本地部署的大模型评测平台，提供 Docker 执行、规则评分、可选 AI Judge、实时监控、冻结题集和排行榜。当前题库 1.60.0 / v0.2.7 包含 803 道来源题（614 道普通题加 189 道来源题的 306 个迁移执行实例），全量执行 920 个实例，覆盖编程、工具、智能体工作流、安全权限等 11 个维度并附综合分权重。v0.2.4 起加入可选语义 Judge 复核，v0.2.9 增加题库同步检查，v0.2.10 冻结带引用立场校验的语义复核 v2。部署需 Node.js ≥22.13、pnpm ≥11，编程和 Docker 执行任务需 Docker 及指定本地镜像。

  5. GitHub · 灵魂体仓库73

    tuieval 发布：用自己的题目同测本地模型与 OpenRouter 前沿模型

    ashe-wb 在 GitHub 发布 tuieval，一个让用户用自己的 eval packs 同时评测本地模型（llama.cpp GGUF、LM Studio、Ollama、vLLM）和 OpenRouter 前沿模型的工具，同时测量准确率、速度和 token 用量，给出 PASS / FAIL / INCONCLUSIVE 判定，无内置基准、无 LLM 评委。它提供 TUI、Smoke/Screen/Certify 两级评测、自动调速、selftest 自检、verdict 历史记录，支持 code 类测试需在容器或 VM 中运行，MIT 许可，可通过 pip install tuieval 安装。

    推荐理由：原文详细说明了用自有题目同测本地与前沿模型的方法，判定门槛和评分机制都写清楚了，方法可直接复用。

  6. GitHub · 去对齐工具与仓库50

    开源 LLM 评测框架 DeepEval：类 Pytest 的 LLM 应用单元测试工具

    DeepEval 是一个开源 LLM 评测框架，类似 Pytest 但专用于 LLM 应用单元测试，指标覆盖 Agent、RAG、多轮对话、MCP、多模态及幻觉、偏见等，包含 G-Eval 和基于 Jev 的 JevEval。它支持端到端与组件级评测，集成 LangChain、LangGraph、Pydantic AI、CrewAI、OpenAI、Anthropic、LlamaIndex 等框架，可接入 CI/CD，并配套企业评测与可观测平台 Confident AI，采用 Apache 2.0 许可证。

  7. GitHub · 去对齐工具与仓库37

    Exios66 开源 llm-dojo-scoring：LLM-Mailroom 的确定性评分引擎库

    GitHub 上的 llm-dojo-scoring v0.20.0 是一个确定性、字段类型感知的评分库，统一替代 llm-entity-extraction 和 llm-mailroom 两个项目中各自的项目本地评分。库涵盖字段级 P/R/F1/F2、bootstrap 置信区间、失败模式分类、成本估算及 26 个 agent profiles 和 11 个预置任务 bundle，并通过 pip 以 git 安装方式提供，可选 embeddings、tracing 等扩展。

  8. GitHub · 灵魂体仓库47

    SilverquiLLM-bench：用万智牌卡牌实现评测 LLM 编程智能体

    开源基准 SilverquiLLM-bench 通过让 LLM 编程智能体在自定义游戏引擎中以 Python 类实现万智牌（MTG）卡牌来评测其代码能力。任务卡牌来自训练时不存在的新 MTG 系列，降低记忆污染风险；评测维度包括卡牌正确性、参考卡牌回归和引擎回归三项，采用隐藏测试套件，智能体以黑盒 Docker 容器运行且与模型无关。当前工作集 hob-medium 选取 5 张 HOB 卡牌，历史 SOS 基准选取 10 张卡牌，roster 覆盖 GPT-6 Astra、Sol、Luna 及 Claude Opus 5.5、Sonnet 5.5、Fable 5.1、Haiku 4.5。