方向
模型能力评分、基准与榜单。重点是方法可复现、有对照基线、给出失败模式的评测，尤其是针对无对齐模型与角色扮演场景的那部分。
193 条精选近 30 天 193 条共收录 882 条
作者发布 lmex 项目，将免费档 LLM API 拟为交易所 ticker，以 TTFT p99 毫秒数为价格，每 :07 由 GitHub Actions cron 运行 llm-latency-bench 基准并将结果提交到仓库，dashboard 用绿涨红跌反转色的蜡烛图展示延迟，错误率超 50% 即停牌。收录 Groq、Google Gemini、Cerebras、OpenRouter 等 7 个模型端点，每 tick 仅 6 到 10 次请求以留在免费额度内，743+ 条历史记录发布为 Kaggle 公开数据集，并附 latency-router 实时选择最快端点。项目 MIT 协议，无服务器，dashboard 由 GitHub Pages 读原始文件。
推荐理由：作者公开了整套测量流程、样本量局限和 p99 取舍理由，方法透明，读者可以直接复用或自己 fork 搭建。
justsml 开源 ExploitHunter.app，一个本地优先的 AI 智能体安全研究工作台，支持授权台账、审批门、证据存档和本地 lab 运行时。实测中 qwen-3.6-flash 在 Hard Juice Shop 上找到 7 类有证据支撑的漏洞，单次成本 $0.007，而 Claude frontier 路线单次约 $2.00-$2.35；本地 LM Studio 路线（如 lmstudio-gemma-4-e4b）可以 $0 API 成本离线找到 7 类漏洞。作者主张的方案是指挥者模式：廉价或本地模型做广域侦察，frontier 模型只用于深度推理和验证。
推荐理由：同一评测里给出各家模型的实测分数和成本对比，读者可以据此了解廉价模型与本地模型在安全扫描任务上如何分工路由。
arXiv 论文 2610.12417 提出 WOVEN，一个面向视觉转移推理的训练源与基准，包含 36076 条覆盖 20 种场景、5 种动作和 8 种推理类型的样本。评测 GPT-5.4 和 Qwen3-VL-235B-A22B 等 38 个前沿多模态模型发现其远低于人类水平；用 WOVEN 训练后，每个约 2000 条的子集在 26 个外部基准中的 22 个带来最高 27.3 个百分点的提升，并可替代任务自身 30-50% 的训练数据。
推荐理由：论文用约2千条子集就在26个外部基准中改善22个，给出了按推理操作而非场景选取监督的可迁移训练配方。
DPJX04 在 GitHub 发布 llm_panel，把 vllm bench serve --save-result 输出的 JSON 结果文件转成浏览器内可读的对比表格与图表，双击 index.html 即可使用、无需安装。面板支持多文件与多种 JSON 格式混入、读取 vLLM 日志补全模型权重与 KV cache 等信息，提供 Overview、Compare models、Model detail、Accuracy、Vector DB 等视图；内置 52 题的 Starter 测试集可在浏览器内对模型服务做准确率测试，另支持 VectorDBBench 结果对比，数据保存在浏览器本地并可导出工作区或 CSV。
推荐理由：原文完整说明了面板的功能、数据格式与指标口径，读者可据此评估是否适合整理自己的 vLLM 基准结果。
arXiv 论文提出 TRACE 协议，通过配对运行、行为对比和重打分，把 LLM agent 分数变化区分为能力变化与评测本身的变化。在 25 个合成任务中重命名工具使脚本 agent 分数降 0.250，打分时恢复原名可完全弥合差距；88 个任务的重命名实验中八个 agent-change 对里七个 reward 变化在 ±0.10 内，误导性工具名则使所有 agent reward 下降 0.20-0.44；相同重跑会翻转 15-36% 的任务结果，两个前沿 LLM 评审在 57% 的相同记录上判断不一致。
推荐理由：论文用配对实验把智能体评测分数变化拆解为能力与测量两类原因，对解读 LLM agent 基准分数的读者有直接参考价值。
jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版，基于 UkisAI 的 Swift 1.5（构建于 Qwen3.8-27B）的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight，含 MTP 草稿层，面向 12 GB 显卡约 200K 上下文。
推荐理由：发布者给出了拒绝率降低说明、KL 散度和 LiveCodeBench 实测对比，读者可以据此判断这个 2.3 bpw 极致量化在 12 GB 显卡上的实际表现。
alexeytz 发布了 llm-assay，一个针对 vLLM、SGLang 或 llama.cpp 等 OpenAI 兼容端点的基准工具，可测量不同上下文深度下的 prompt processing 与 decode 速度，支持置信区间、配对 A/B 显著性检验和 prefix-cache 陷阱检测。工具由 llama-benchy 分支重构而来，包含 compare 显著性比较、tune 端点自动检测和 probe 长上下文质量探针三个子命令；probe 通过生成合成事件日志并注入已知异常来检验模型长上下文理解，相关发现记录在 docs/fabrication-programme/fabrication-findings.md。
推荐理由：原文详细说明了 prefix cache 陷阱、统计方法和长上下文质量探针的设计思路，对自建推理基准有直接参考价值。
GitHub 项目 byteB8/sva-agent 用开源模型检查器 EBMC 加 Spot 重建了 NVIDIA FVEval 的 SVA 评分器，替代需商业工具 Cadence Jasper 且脚本加密的官方评分器。验证显示其与 Jasper 数字一致（Qwen3-8B 得 34.6/49.3，官方 Jasper 数字 32.3/46.1 落在该评分器 95% 区间内）。在重建评分器上实测：CodeV-SVA-8B 人工集 Func@1 为 40.5、机器集 59.9；Qwen3.8-27B（FP8）为 42.7/63.9。
推荐理由：作者用 EBMC 等开源工具重建了 FVEval 评分器并给出与 Jasper 的对照验证，评测方法可复现，结果对关注开源模型硬件验证能力的人有参考。
infobip 团队发布 CIKM 2026 论文 Anchoring Bias in LLM-as-a-Judge Systems 的代码与数据仓库，研究先验分数如何损害 LLM 评委的评估独立性。仓库包含 20 个公开文本任务、192,000 次调用的主实验脱敏数据、Llama 机制探测数据、GPT-4.1 缓解实验数据，并提供 uv run python scripts/reproduce.py 一键复现全部公开统计结果与图表；主实验共 20 任务、8 模型、3 条件、4 温度、每格 100 次试验。工业数据集因含专有内容仅公开聚合结果，论文 DOI 为 https://doi.org/10.1145/3799682.3840879 ，MIT 许可。
推荐理由：仓库公开了19.2万次调用的实验数据和一键复现脚本，读者可以自行验证LLM评委锚定偏差的结论是否站得住。
作者开源了在 RTX 3060 12GB 与 RTX 3090 24GB 两套本地平台上、用 llama.cpp、ik-llama.cpp、moe-cache 分支、vLLM 0.29.0 容器栈和 Strata 引擎跑本地模型的基准报告，含量化档位、上下文长度、prefill/decode 速度表，以及一个基于 Shoko-WebUI 重写任务的 agentic 编码基准，附完整测量方法与逐引擎参数说明。
推荐理由：作者在两套消费级 GPU 配置上实测多个 llama.cpp 分支与引擎的本地推理速度，方法、参数和完整数据公开，结果可直接对比参考。
AKarode 开源的 parallax-markets 项目研究了 LLM 推理系统能否在预测市场上发现并交易错误定价合约，2026 年 6 月研究结束，通过模拟盘交易、13 天回测和结构套利探测得出否定结论：89% 的信号因无可执行报价被拒，回测胜率 46%、P&L 为负。项目在 2026 年伊朗霍尔木兹危机期间摄入 Google News RSS、GDELT、EIA 数据，用 3× Claude 集成预测叠加 6 规则供应链级联模拟，对比 Kalshi/Polymarket 实时价格；独立校准审计显示 isotonic 校准在 3 个 Claude 模型、1531 道已结算 Kalshi 题目上显著优于原始置信度，整个论证仅花费约 $40 的 API 调用，工程代码与评估方法可复用。
推荐理由：项目用预注册终止标准和样本外校准实验给出否定结论，方法论细节对想做类似 LLM 交易研究的人有可迁移参考价值。
open-compass 团队开源了 AgentCompass 统一 Agent 评测框架，v1.0.0 已于 2026.09.30 发布 PyPI，可 pip install agentcompass 安装，代码采用 Apache License 2.0。框架通过稳定接口解耦 Model、Benchmark、Harness 和 Environment，内置 30 多个公开基准和 10 多个 agent harness 的集成，覆盖 Claude Code、Codex、OpenHands、OpenClaw 等，支持本地、Docker 和远程沙箱执行，并提供并发调度、失败重试、轨迹记录和结果可视化。
推荐理由：原文给出了框架的接口设计和集成清单，读者可以据此判断能否把它接进自己的 Agent 评测流程。
TruthNian 发布 llm-pomdp-agent-eval 基准，评估智能体能否在信息不全和资源约束下把模糊故障接管为可验收的业务结果，单元为含失败动作、执行故障和交付成本的完整交互轨迹。GPT-6 Sol 多次在 20-39 个动作内交付，GLM 多次尝试或超时或遗留错误订单，所有高难度目标均未达成，失败尝试与回归锚点全部保留。基准采用 HTTP/SQL 真实业务操作与独立业务评分，不设默认加权智能评分，代码以 Apache-2.0 许可开源。
推荐理由：作者完整公开了各模型在 POMDP 智能体任务上的成败轨迹与失败成本，并对每个候选结论给出明确的适用范围说明。
GitHub 用户 hundredeuk2 发布 judge-adapter，输入一个问题（一或两轮）和两个回答，输出 A、B、平局或显式错误，并记录每次调用，采用 Apache-2.0 许可。核心仅依赖 httpx，提供 JSONL CLI、Python API 和可选 FastChat llm_judge 绑定（MT-Bench 式 pairwise 评审），支持 rubric 和参考答案（随版本与 sha256 一起记录）。默认使用 fake 传输，真实调用需 --allow-real、--max-submissions 和 --budget-cap-usd，失败不重试、不折算成平局，密钥经清洗器移除。作者说明该包本身未对真实模型跑过，仅作 mock 测试。
推荐理由：原文详细写明了调用记录、成本上限、密钥清理和 FastChat 绑定的具体做法，读者可以直接复用这套评测工程方案。
kr4ckhe4d 在 GitHub 公布消费级 AMD GPU 上的本地大模型实测数据，硬件为 RX 9070 XT 16GB 与 Radeon AI PRO R9700 32GB（均为 RDNA4/gfx1201），在 Linux 下用 ROCm 7.2 与 llama.cpp b11434 测得。双卡后 MoE 预设去掉 CPU offload，生成速度提升 38-183%；Qwen3.8-27B UD-Q6_K + MTP 达 57 tok/s、KLD 0.0020，并在 Claude Code 中与 Q8_0 相当且快 12%；Gemma 4 26B-A4B + MTP 在 128K 上下文下达 143 tok/s。
推荐理由：作者在消费级 AMD 双卡上实测多款本地模型，给出吞吐、量化 KLD、投机解码和编码 Agent 的第一手可复现数据。
Michael Ofengenden 在 arXiv 发布 AgentTime 基准，用来自 18 个来源的 222 个任务测试 Agent 能否按要求时长工作、预测运行时间并事后估计耗时。结果显示各模型偏差差异很大：Claude Code 中的 Fable 5.1 偏离要求时长的典型倍数为 2.9 倍，Codex 中的 GPT-6 Astra 仅 1.2 倍；158 次可分类的 Astra 运行中有 14 次在看似完成任务后直接休眠。回溯实验中移除时间信息使 Sol 和 Astra 的偏差翻倍以上，Fable 接近翻倍。
推荐理由：论文用 222 个任务实测各模型 Agent 的时长控制与时间预测能力，给出了可直接比较的偏差倍数数据。
研究收集了 4782 个 JetBrains IDE 中真实软件工程师的智能体会话，其中 33% 有至少三条用户消息，发现这些长会话的任务类型与类型间切换分布和 issue 衍生基准任务差异显著。论文提出 SWE-TaskFlow 方法，在保留已验证任务与测试的同时，通过提示词拆分和可验证的仓库问答将交互导向目标 Task Flow，并用 TFAS 分数筛选生成的轨迹；在 700 个 SWE-Bench Pro 任务上的试点显示，将任务拆成多步顺序执行大约使智能体成本翻倍，而 resolve rate 无稳定变化。
推荐理由：论文用 JetBrains IDE 中 4782 个真实工程会话测量任务流分布，指出基准交互协议本身影响评测结果，方法可迁移。
MIT Media Lab 等机构在 EMNLP 2026 发布 HugAgent 基准，评估大语言模型能否仅凭本人访谈话语模拟具体个体的推理与信念更新，含信念状态推断（BSI）和信念动态更新（BDU）两个任务。基准基于 54 名参与者、3 个争议领域共 1,742 个条目，已以 gated、CC BY-NC 4.0 协议发布在 Hugging Face（social-atoms/hugagent）。结果显示模型较能恢复个体信念（最佳模型比人类上限低 7 至 9 分），但预测个体如何改变立场明显偏弱，最佳模型 68.6% 对人类的 85.7%，且该差距在所有被测模型家族中都存在。
推荐理由：基准测出模型能推断个体信念却难以预测其转变，榜单和评测脚本都开放，结果可直接复跑。
作者开源了一个基于 LLM 的发票结构化数据抽取与评测项目，用 claude-haiku-4-5 在 40 份合成测试发票上跑了三种提示词策略：rules 策略全字段正确率达 87.5%，few_shot 75.0%，zero_shot 60.0%，仅 zero_shot 与 rules 的差异通过配对 McNemar 检验显著（p=0.007）。项目具备固定种子、dev/test 切分和 API 结果磁盘缓存的可复现设计，并用确定性校验层检查数字一致性；事后故障注入测试显示完全自洽的错误数字（协调改价）在 49/49 次试验中都无法被算术校验发现，zero_shot 的校验召回率也只有 50%。数据为合成生成且仅测单一模型，结果未必适用于真实发票。
推荐理由：用合成发票把提示词策略、确定性校验和可复现评测串成完整流程，还用故障注入演示了纯算术校验的盲区，方法可迁移到同类抽取评测。
作者发布了本地 llama.cpp 模型基准测试套件，测试环境为 Tesla V100 32GB 加 RTX 3060 12GB 双 GPU，llama.cpp v9836（upstream-dflash 分支），统一 8K 上下文并开启 flash attention。结果显示 V100 上 MTP 推测解码带来明显收益，Qwopus3.6-27B-Coder-Compat 在 MTP n=3 下达 40.3 tok/s，比无推测快 29%；而 35B MoE 模型在 RTX 3060 上 MTP 反而拖慢速度（25.5 降至 16.9 tok/s），建议该卡用 no-spec 并开启 --cpu-moe。
推荐理由：作者在双 GPU 本地系统实测了 MTP 推测解码的适用边界，27B 密集模型受益而 35B MoE 反而变慢，结论可直接迁移到类似硬件选型。