LLM 叙事诱导谄媚评测：用户的叙事方式会如何左右模型判断
一项 arXiv 研究构建了含 500 个争议问题、共 5,500 个评测实例的基准，在立场不变的情况下改变用户论证的叙事形式，测试 7 个 LLM 的谄媚程度。结果显示效应并非随叙事展开单调变化：个人经历会降低模型附和，而因果框架和世界观式综合会增加附和；GPT-5.1 消融实验表明因果框架影响最强，保留原要点的分点呈现也比段落形式更易引发附和。这表明谄媚不仅取决于用户立场，还取决于支撑解释的结构与呈现方式。
#能力评测
新闻、仓库与研究，按时间排列。
arXiv · cs.AIAI 评分4141 Reddit · r/LocalLLaMAAI 评分3131 
Nemotron-3.5-Bolt-74-A9B 与 Nemotron-3.5-Super-VL 测试
Reddit r/LocalLLaMA 用户对 NVIDIA Nemotron-3.5-Bolt-74-A9B 和 Nemotron-3.5-Super-VL 进行领域自测，两款模型在 pandas/numpy 和 DDDM 部分表现不佳。Bolt 的 medium thinking 弱于 Nemotron nano，high thinking 略好但不显著且慢得多；Super-VL 因默认 16k max token 预算出现 3 次截断，作者认为放开限制或有提升空间。
GitHub · 去对齐工具与仓库AI 评分2727 
ai-analysis：一张对比所有前沿模型智能、速度与成本的可视化地图
GitHub 上的 ai-analysis 项目将各前沿模型按智能、响应速度和单任务成本绘制成一张实时地图，颜色区分成本（10¢ 以下到 $3 以上），并标出无模型能同时超越的前沿线。数据来自 Artificial Analysis 的端到端测量（每任务成本与查询中位响应时间），每小时自动刷新多次，支持预算筛选、版本对比和时间线查看，可本地运行。
arXiv · cs.CLAI 评分4242 VERITAS 通过言语化模型计算检测思维链忠实性
研究者提出 VERITAS 方法，通过层间 Jacobian 投影言语化模型内部计算，追踪推理锚点如何在各层间迁移并出现在输出中，以检测思维链（CoT）忠实性。在 FaithCoT-Bench 与 BonaFide 的四个数据集上，VERITAS 的 balanced accuracy 较 LLM-as-Judge 提升 28.4%，较 activation probing 平均提升 16.0%，且可泛化到不同数据集与模型架构。
Reddit · r/LocalLLaMAAI 评分2929 
无人谈论的 Qwen Flash Next：潜在 SOTA 级 Q2 量化
Reddit 用户实测 Agantai 的 GYRO 系列量化 GYRO-M，称其在 KLD、top 1 和体积上同时优于 ISTA-lab 的量化。3 天测试中未出现循环问题，最长自主运行 2-3 小时，速度与 ISTA 2 bit 量化相当，整体接近 ISTA q3 水平但体积更小，仅在西里尔文本编辑上偶有出错。
Reddit · r/LocalLLaMAAI 评分2323 
开源权重模型与前沿模型的真实差距：开源模型已超越 Sonnet 5
开源权重模型在正确筛选 benchmark 后已超越 Sonnet 5，而此前追赶 Sonnet 4.6 或 3.7 花了数月。对不需要 Sonnet 5 或 Astra 的用户来说，现在完全可以放弃付费闭源模型；接下来要看 Qwen 4 和 GLM 能否进一步扭转天平。
arXiv · cs.AIAI 评分4343 并非所有测试时算力都是证据：LLM 推理中的模型特定偏差
arXiv 论文指出，同一推理模型的重复采样、不同推理深度和自评估之间存在错误相关性，因此同模型更多算力并不等于更多独立证据。作者提出 DIA（Disagreement-triggered Independent Arbitration），当中间阶段与最终阶段预测不一致时，由一组异构模型独立求解并聚合答案。在七个基准、两个基础模型上，DIA 在 14 个设置中的 12 个优于完整 chain-of-thought，MuSiQue 提升 7.00%，仅激活约 17% 的样本，token 用量比多智能体基线最多减少 47.2%。
arXiv · cs.CLAI 评分3232 用自然语言解释国际象棋与围棋：BinProp 方法让语言模型棋评更可懂
研究者提出基于国际象棋引擎评估的自动指标来衡量语言模型的象棋解释质量，发现现有 SOTA 模型表现很差，多依赖棋盘表面观察而非可迁移的象棋概念。他们进而提出免训练方法 BinProp，让模型发现可复用的象棋概念并用自然语言解释走法，平均得分较直接提示提升近 3 倍。该方法无需额外调参即可在围棋、西洋跳棋和将棋中发现有用概念。
arXiv · cs.CLAI 评分4646 同一用户不同答案：用重复风险容忍度响应审计 LLM 理财建议
一项研究用 800 个真实家庭画像审计 5 家厂商的 7 个 LLM 理财建议，发现仅风险答案变化时股票配置建议平均波动 24-35 个百分点，同一提示词重复询问仅为 0.6-4.2 个百分点。若按经典测试理论对答案可靠性折算，波动可缩小 2.4-3.3 倍；40 岁以下客户波动最大。一次澄清提问可将客户纠正答案后的波动从 33.5 降至 1.9 个百分点，作者建议将同人次重测审计作为 AI 理财顾问的标准检查。
Reddit · r/LocalLLaMA精选AI 评分6060 DeepSeek V4.1 Flash 4x DGX Spark 实测：与 Patrick Moorhead 结果对比
Reddit 用户 /u/Aroochacha 在自己的 4x DGX Spark 上复测 DeepSeek-V4.1-Flash，并与 Wccftech 报道的 Patrick Moorhead 结果对比。他指出 Wccftech 所列 476 GB 内存占用实为磁盘上的 476 GiB（511 GB），模型权重本身 511 GB，实际只能用每台 Spark 约 80%-92% 的内存，模型无法完整驻留内存，需用 SGLang TP4 加从各节点本地 NVMe 流式读取的约 196 GB Engram 表（带约 4 GB row cache）才能跑起来。
推荐理由：作者在自建 4x DGX Spark 上复测 DeepSeek V4.1 Flash，给出逐档 prompt 的完整数据，并指出 Wccftech 把磁盘占用误报为内存需求。
arXiv · cs.CLAI 评分4949 KiranaBench：语言模型能否经营一家社区小店？
研究者推出 KiranaBench，一个模拟印度杂货店的多智能体基准，由四个 LLM 智能体分别扮演经理、收银员、帮手和账房，用英语、印地语或 Hinglish 与顾客和供应商交互，需求按印度家庭消费支出调查校准。评测四个开源权重 LLM 发现，表现最好的模型利润仅为固定规则店主基线的八分之一，两个模型甚至低于无人管理的店铺，且印地语和 Hinglish 下的表现持续弱于英语。结果表明当前 LLM 智能体尚不能可靠地自主经营印度的小生意。
arXiv · cs.CLAI 评分1717 识别 Atari 与判断 Sente：面向围棋语言模型 Agent 的受控评测任务
研究者构建了一个围绕围棋术语 atari 及其与 sente 关系的受控评测集，考察模型在局部棋盘变化下的术语识别与不同战略条件下的走子评估。团队对围棋语言模型 LoGos 进行术语与解说监督的微调后测试，发现其难以识别 atari 关系变化并评估其战略含义，术语预测关联的走子偏好甚至与参考评估相矛盾。
GitHub · 灵魂体仓库AI 评分4545 lafollett-labs 开源 Litmus：面向 LLM 与 Agent 评测的测试运行器
lafollett-labs 在 GitHub 开源 Litmus，一个用于 LLM 和 Agent 评测的测试运行器，目前处于 pre-release 阶段。它像单元测试运行器一样实时显示每个用例的通过、失败或 flaky 状态，支持跨模型、跨 provider 的成对比较并指出哪些用例结果翻转。项目采用 MIT 许可，首个套件是植入 bug 的代码评审评测，执行器支持 Anthropic API、AWS Bedrock、OpenRouter 及 Claude Code harness。
Reddit · r/LocalLLaMAAI 评分3131 阿里巴巴 Qwen 团队发布 BlenderWorld Benchmark
阿里巴巴 Qwen 团队于 10 月 14 日发布 BlenderWorld Benchmark 仓库，用于评测视觉智能体根据真实世界参考在 Blender 中创建 3D 场景的能力。作者推测 Qwen 未来可能聚焦 3D 设计智能体技能及通过 MCP 使用 Blender 等工具，并可能公布后续模型在该基准上的成绩，但这并非官方公告。
arXiv · cs.CLAI 评分3434 动量、评论基调与盈利意外如何影响 LLM 金融预测：一项输入依赖度实验
一项 arXiv 研究通过合成财报 announcement 独立操纵 20 日动量、非信息性评论基调与 EPS 是否超出共识，考察大语言模型金融预测究竟依赖哪些输入。来自四个模型族的 6 个 instruction/chat checkpoint（基础参数 0.49-7.61B），每个在 Q8_0 直答协议下接受 2,016 条提示词。结果显示：6 个模型中有 5 个的有符号基调对比幅度超过 EPS，5 个模型动量超过 EPS，主 EPS 对比范围为 -0.19 至 86.80 个百分点，自然词数值诊断准确率为 51.0-95.8%；研究测的是输入依赖与数值识别，不确立内部推理机制或实际收益可预测性。
arXiv · cs.CLAI 评分2424 研究揭示大语言模型中的姓名偏见
一项 arXiv 研究用填空任务评估 6 个跨厂商、跨参数规模的本地大语言模型的姓名偏见，基于美国 SSA 姓名数据集和 Rosenman et al. 种族分类数据集，共收集 300,000 条本地 LLM 响应。结果显示模型偏好较少刻板男性化、更年长、更流行和白人的名字；性别偏见最显著，其后依次为年龄、名字流行度和种族，且偏见高度依赖句子语境。
arXiv · cs.CLAI 评分4242 超越上下文长度：刻画长上下文推理的难度
arXiv 论文提出 LURCH 基准，用证据范围、证据分散度和推理深度三项属性量化长上下文推理难度，包含 6,550 个带证据与推理图谱的多领域问答实例。对闭源与开源权重模型的评估发现：固定上下文长度下三项属性均与性能强负相关；上下文变长时，证据分散样本性能骤降而局部化证据样本相对稳定；且三项属性中等偏高的题目比仅一项极端的更难。
arXiv · cs.CLAI 评分2828 PremiseSQL：评估 Text-to-SQL 系统的前提批判与弃答能力
研究者提出 PremiseSQL 基准，用于评估 NL2SQL 系统识别错误前提查询并拒绝生成误导性 SQL 的能力，基准包含 1,800 条带缺陷查询及 1,800 条原始查询，覆盖四类前提失败。评测框架在三种提示设置下测量模型的前提感知行为。实验显示前沿 LLM 默认倾向信任前提、很少质疑缺陷，而批判导向提示虽提升检测与弃答，但也增加误判并抑制原始查询的 SQL 生成。
arXiv · cs.CLAI 评分1717 LLM 文本打分量表敏感性研究：改变量表数字就会改变答案
一项 arXiv 研究系统考察了 LLM 文本打分中的量表敏感性，即评分量表设计差异如何改变 LLM 生成的分数。实验覆盖连续/序数 2 种格式、3/5/11/21 分 4 种范围、正负号 2 种设置、3 类任务、2 种提示策略和 5 个 LLM，发现改变任一设计要素平均使归一化分数偏移约 0.10，并改变约 20% 文本的类别。毒性任务敏感性最高，且基于 rubric 的提示并未降低敏感性。
arXiv · cs.CLAI 评分3131 Grid-Bench：LLM 能预测离散世界如何变化吗？
研究者推出 Grid-Bench，一个可执行基准，用二维、三维和四维网格上的八类操作测试大语言模型预测离散空间状态变化的能力。对六款 LLM 的评测显示，随着事件历史变长，完整状态准确率急剧下降，单事件表现相近的模型差异明显，且 Exact-match 相似的模型在错误单元格数量上也存在显著差异。
arXiv · cs.CLAI 评分4848 MindEval2：基于临床依据的患者模拟与评分标准，用于评估语言模型的心理健康支持能力
研究者推出心理健康支持评估框架 MindEval2，包含与博士级心理学家合作开发的 MHQR 评分标准和患者模拟组件 MindSim，后者带有跨轮次记忆以建模纵向心理健康过程。该框架评估了 18 个闭源和开源权重模型，发现前沿模型在表层质量和边界问题上已大幅改进，但指导校准仍是所有模型的主要失败模式，占质量差距的大部分。
arXiv · cs.AIAI 评分3030 AI Consilium：LLM 临床多学科二次会诊基准
研究者提出 AI Consilium，一个基于 300 例 NEJM-MedQA 病例的 LLM 临床多学科二次意见多维评测基准，其中 110 例用于医生参考评分与 Judge 校准，190 例用于留出评估。8 条单模型流水线共生成 3,040 份报告，由医生校准的 LLM Judge 评分：结构化报告在 8 条流水线中 7 条平均分更高，management 维度优势最明显（2.740 vs. 2.436）；完整结构化会诊报告在全部五项共同标准上优于会诊前的主角色意见。GPT-5.6-Sol 在所有评测组件中领先，并以最少的评审轮次达成共识。
arXiv · cs.AIAI 评分2222 AVC-Reward：以事件为中心的音视频一致性评测
研究者提出事件中心评测框架并实现为可训练音视频奖励模型 AVC-Reward，将判断聚合为粗到细的三级一致性指标，覆盖全局叙事、事件级时间同步和细粒度属性对齐。配套的 AVC-Benchmark 由多类音视频生成模型的正负样本构建。AVC-Reward 在与人类判断的对齐上达到自动方法中的 SOTA，作为在线强化学习信号可提升联合生成模型的音视频一致性。
arXiv · cs.AI精选AI 评分5353 FDE-Gym 基准发布：评测 AI 智能体的真实客户交付能力
arXiv 论文提出 FDE-Gym 基准，包含来自 20 个真实客户场景、18 个行业的 95 个端到端交付任务，考察智能体澄清模糊需求、发现未言明约束并在生产级系统上交付方案的能力。评分以客户自身成功指标的改进归一化（0 到 1），并对与利益相关者的交互（消息、试运行、等待时间）施加惩罚；同时评测了 7 家提供商的 13 个模型配置，最佳配置平均分 0.56，仅完成 14/95 个任务（得分至少 0.8 且无事故）。主要瓶颈是发现未言明约束，但即便在 23 个拿到全部关键事实的任务上，最佳配置也只有 10 个达到 0.8 以上的业务提升，显示解决明确任务与真实客户交付之间存在显著差距。配套有在线练习平台、代码和数据。
推荐理由：基准把交付结果量化为对客户业务指标的改进，还给出 13 个模型配置的实测对比和瓶颈定位，便于评估真实交付能力差距。
AIHOT · 精选AI 评分3434 Kling 4.0 凌晨上线，作者实测30秒一镜到底与全能参考表现
可灵AI凌晨正式上线视频模型 Kling 4.0，作者实测后认为其在大范围动态、复杂动作衔接和全能参考可控性上有扎实进步。新模型支持最长30秒一镜到底直出，首尾帧改为最多10帧多帧参考；1080P 30秒约450积分，720P 20秒的 Kling 4.0 Flash 仅120积分，作者推荐先用 Flash 打样再出片，10-bit 4K HDR 尚未上线。
arXiv · cs.CL精选AI 评分5454 System1-Arena：评测哪些决策可以交给 System 1 模型
论文提出 System1-Arena 基准，统一给模型相同的决策请求并按概率打分，考察哪些决策可交给单次前向的 System-1 模型、哪些需要生成式推理。基准含 105 个任务的 92k 题目和 138 个闭环环境，评测 30 个模型；最大的 System-1 模型在非智能体任务上达到或超过快速闭源 LLM，延迟仅四分之一，推理型 LLM 最准确但成本约为快速 LLM 的 70 倍，闭环中大型开源 LLM 成功率最高（至多 32.9%）。
推荐理由：论文用统一基准量化 System-1 与 System-2 模型的决策分工，读者可借此判断哪些决策不必走生成式推理。
arXiv · cs.CL精选AI 评分5454 arXiv 论文提出扰动可控基准审计医疗 LLM 智能体升级可靠性
华盛顿大学圣路易斯分校等团队发布 arXiv 论文 arXiv:2610.21270，用 400 个合成医疗工作流 episode 审计 LLM 智能体在证据缺失、过期、冲突或延迟时的升级（escalate）决策，按 5:1 漏报与不必要升级成本计分。五个 1.7B–9.7B 开源权重配置干净决策准确率达 0.97，但不确定性触发的模型漏掉 32–97% 的必要升级，9.7B 配置在冲突下从 0.97 降到 0.78；语言化置信度不一致（ECE 0.10–0.54）。工作流感知控制器将漏升级降到 0.12–0.24、特异性 0.83–0.93，但 30 概念词汇压力测试使其规则检测器在未见改写上的召回从 1.00 降到 0.00，结论限于该基准。
推荐理由：论文量化了医疗 LLM 智能体在证据缺失或冲突时漏掉升级请求的比例，并提示路由控制器也要单独做泛化测试。
arXiv · cs.CL精选AI 评分5252 VALCON 论文提出双角色变化框架评测并缓解大语言模型价值一致性问题
研究者提出 VALCON，一个通过双角色变化把价值一致性操作化的评测框架，包含 VAB-Consistency、VAB-Boundary、VAB-Challenge 三个基准套件，代码和数据已开源。对 28 个 LLM 的实验显示普遍的跨角色不一致：输出高度合规的模型常常无法让自身评判与自己的生成对齐。机制探针发现与这种行为不对称相关的角色依赖表征解耦，据此提出的表征定向干预可有效缓解一致性失败。论文被接收为 Findings of ACL: EMNLP 2026。
推荐理由：论文把价值一致性单列为一个对齐维度，给出评测套件、机制分析和干预方法，对关注模型自我评估可靠性的读者有参考。
arXiv · cs.CLAI 评分3535 VoteGEO-Bench：衡量生成式引擎优化对选举信息可见性的影响
研究者提出 VoteGEO-Bench 基准，覆盖 2024 年美国总统大选和 2026 年日本众议院选举，评估 GEO 重写网页内容对生成式引擎回答的影响。基准测试了 4 类共 11 种改写策略，发现指定目标的改写更常提升目标曝光度，改进页面组织或通过论证强化立场的策略收益更大。收益在美国 voter personas 上总体为正，但 persona 条件化无一致效果，而显式党派身份造成的基线曝光差距可能超过改写单个网页的收益。
GitHub · 3D 生成新仓库AI 评分5454 WorldCast 基准发布：320个案例评测模型的世界状态预测能力
WorldCast 发布世界状态预测基准，含 320 个人工设计案例、1,352 个视觉状态、评估工具包与 Judge 评分标准，数据集托管在 Hugging Face。统一以有序状态序列为图像网格、交错输出和视频打分，12个模型诊断显示 GPT-Image-2.5 以 72.8 分居首，Nano Banana Pro 得 42.8，最佳开源模型 SenseNova-U1 仅 20.1；交错生成和语言侧推理能力与分数正相关，复杂上下文与推理密集任务是共同失败点。
arXiv · cs.AI精选AI 评分5858 arXiv 论文提出非线性叙事生成基准：19个模型平均更偏线性讲述
一项 arXiv 研究发布包含83部出版作品的非线性叙事生成基准，每部作品标注正序与叙事顺序的事件列表及因果依赖、角色知识和悬念结构的故事图。测试显示19个模型按时间顺序讲述都比出版作品更线性，被要求特定结构时约一半情况落在人类范围内；自动化裁判与71位人类读者都更偏好模型默认的线性故事，非线性版本在81%的关键判断中被认为更难跟上，读者还更偏好基于故事图生成的故事而非照搬出版顺序。
推荐理由：论文用83部作品语料和71位人类读者对比模型非线性叙事能力，给出了具体差距数据而非泛泛结论。
arXiv · cs.AIAI 评分4747 Muon 究竟何时胜出？一项数据、时间与调参预算配对基准研究
一项 arXiv 基准研究在单张 A100 GPU 上，以 17.7M 和 33.6M 参数因果语言模型及 2.70M 参数视觉 Transformer 比较 Muon 与 AdamW。相同数据下 Muon 将验证损失曲线下面积降低 3.25–22.44%，20 组主要配对全部降低测试损失；但 Muon 优化器调用耗时占训练时间 56.1–69.6%，AdamW 仅 6.1–9.1%，时间归一后 Muon 在视觉任务上领先 19.68–22.31%，语言任务上 AdamW 反而好 3.38–6.96%。结果表明该结论仅适用于小模型和参考实现，不能推广到更大模型或优化实现。
arXiv · cs.AIAI 评分4343 DialFork：超越事实性，评估对话智能体的程序性幻觉
研究者提出 DialFork，首个在原始对话文本上衡量“程序性幻觉”的 benchmark，即智能体语句流畅且事实合理但偏离预期对话流程。该基准通过在受控轮次分叉对话并注入四类幻觉，构建了覆盖 12 个领域 24 个任务的 36,278 段对话，由 30 名人类标注者验证；并提出 FlowKL 与 FlowScore 两个对话流感知指标，其中 FlowScore 在七个编码器上均显著超越基线。DialFork 以 MIT 许可证开源发布。
arXiv · cs.AIAI 评分2929 ClaimScope：面向数学命题审计的标签盲见证验证基准
arXiv 论文提出 ClaimScope，一个包含 72 个任务的基准，通过裁决、范围、反例和修复审计数学智能体提出的命题，并评估 Qwen3-8B 在直接生成与四种两轮条件下的表现。结果显示，验证器反馈使无效命题的反例接受数从 15/39 提升至 23/39，安全完成数从 20/72 提升至 25/72，而严格完成保持 17/72，裁决准确率从 47/72 变为 46/72。该论文已被 NeurIPS 2026 Workshop（Mathematical Reasoning and AI）接收。
arXiv · cs.AIAI 评分4040 评估 LLM 智能体的探究学习能力：假设、推理与探索
一项发表于 EMNLP 2026 (Findings) 的工作提出统一交互式评估框架，将 Countdown 任务扩展为数学环境，让 LLM 智能体通过操纵变量、收集观测来推断变量间关系。跨 7 个 LLM 和多种提示策略的实验显示，模型内在探究能力有限，发现底层表达式的成功率低；借鉴教育脚手架的结构化指导可显著提升表现。
Reddit · r/SillyTavernAIAI 评分2222 
RP 逻辑基准测试：记忆、情感与保密能力（Reddit r/SillyTavernAI）
Reddit 用户自建了一套测试角色扮演逻辑的基准，让模型阅读角色档案和多轮故事中的散落线索与秘密，再以特定角色写出下一轮，共 27 项任务、满分 1000 分，覆盖本地与 API 模型。测试只考察逻辑而非文笔，故事由 AI 生成，评分由 gpt-6-astra 担任 AI 评审，作者提醒结果仅供参考。
Reddit · r/LocalLLaMA精选AI 评分5959 RTX Pro 6000 实测 Ninfer6000、vLLM 与 llama.cpp 跑 Qwen3.8-Flash-Next 对比
作者在 RTX Pro 6000 Blackwell 上对比 Ninfer6000、vLLM（NVFP4）与 llama.cpp（Q4_K_XL）运行 Qwen3.8-Flash-Next 的表现。Ninfer6000 平均 decode 238 tok/s，约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍，但 prefill 低于 vLLM（约 10k 对 16k tok/s）；BFCL v4、IFEval、MMLU-Pro、HumanEval+、MBPP+、Arena-Hard、RULER 等基准三者基本持平。
推荐理由：作者在 RTX Pro 6000 上实测三套引擎跑 Qwen3.8-Flash-Next 的吞吐与基准数据，并给出真实使用中工具调用异常的细节。
Reddit · r/LocalLLaMAAI 评分3131 Qwen3.8-Flash-Next 在双 AMD AI Pro R9700 平台上的个人推理方案对比评测
作者在双 AMD AI Pro R9700（Lenovo P620、Threadripper Pro 3945WX、128 GB DDR4）上对比了 Qwen3.8-Flash-Next 的三种推理方案：radiance 1.4.0、Strata 0.1.42 和 Unsloth 的 llama.cpp fork。radiance 生成速度最快达 147.2 tps，Strata 为 79.1 tps，llama.cpp 仅 17.6 tps；三者与 OpenRouter 上 Alibaba 托管的 Qwen3.8-Flash 输出一致性接近，作者认为可视为等效并按速度选择。
GitHub · 去对齐工具与仓库精选AI 评分5555 
Arcturos 开源：本地优先的 LLM 基准测试与评测面板
waxinz 在 GitHub 发布 Arcturos，一个本地优先的 LLM 基准测试与评测面板，所有数据保存在用户自有的本地 SQLite 文件中。它可对 OpenAI 兼容或 llama.cpp 原生推理服务器做基准测试，测量 decode tok/s、prefill tok/s、TTFT、wall time、MTP/speculative acceptance、并行流等多项指标并支持多上下文长度；支持带图表、固定基线和逐指标差值的并排对比，以及由外部 LLM judge 盲评的单轮与多轮 prompt 评测（pairwise A/B 偏好、按 judge 和类别统计胜率），并提供套件胜率与覆盖率报告、CSV 导出和 append-only 存储。
推荐理由：开源的本地 LLM 推理基准与评测面板，数据存本地 SQLite，可对比吞吐、TTFT 并用外部模型盲评 prompt。
Reddit · r/LocalLLaMAAI 评分3131 Nemotron 3.5 Bolt、Nemo 3.5 Super 与 Qwen 3.8 27B/FN 跑分对比
有网友汇总了 Nemotron 3.5 Bolt、Nemo 3.5 Super 与 Qwen 3.8 27B/FN 的模型卡基准数据。Qwen 3.8 FN 综合领先：SWE-bench Pro 62.5、GPQA-Diamond 91.7、HLE 35.9、AA Intelligence 40；Bolt 部分基准缺失，DeepSWE 仅 24.65。作者提醒各模型基准版本可能不完全可比。