新闻、仓库与研究，按时间排列。
API Evangelist 在 GitHub 上维护一份 Openlayer 的独立第三方 API 档案，Openlayer 是面向机器学习和 LLM 应用的评估、测试与可观测性平台。档案涵盖 Projects、Inference Pipelines、Data Stream、Commits and Test Results 四个 API，均附 OpenAPI、Postman Collection 等规范文档，并由 Stainless OpenAPI 定义生成官方 SDK。仓库内容仅来自公开资料，评分基于公开评分体系独立计算，不属认证或安全审计。
API Evangelist 为 Comet ML 的开源 LLM 评测、测试与追踪平台 Opik 建立了独立第三方 API 档案。Opik 提供 REST API 用于记录 traces 和 spans、LLM-as-a-judge 自动评估及数据集管理，支持 LangChain、LlamaIndex、OpenAI 等 40 多个框架集成，开源版为 Apache 2.0 许可的 self-hosted 部署。Cloud 免费版每月 $0 含 25k spans 和 60 天保留期，Pro 版 $19/月含 100k spans，全局速率限制为每用户每分钟 2,000 次请求。
KaidevLabs 的 llm-pareto 仓库将 LMArena 前沿模型按质量（Elo）对 OpenRouter 价格排名，高亮 Pareto 前沿，并提供价格×速度×质量的 3D 导览。站点为纯静态，由 GitHub Actions 每 6 小时运行 python3 update.py 刷新数据，通过 override、exact、prefix、fuzzy 等规则将 Arena 名称与 OpenRouter slug 确定性匹配，失败运行不提交、不部署。推送到 main 后经 Cloudflare git 集成自动部署。
GitHub 开源项目 llm-judge-eval 构建了一个基于量规的 LLM 评审员，用于给 PubMedQA 医学问答打分，并通过加权 Cohen's κ、已知错误控制集、长度偏差测试等协议与盲评人类标签进行校验。项目从 pqa_labeled 分层抽取 400 道题，在 grounded、closed_book、incomplete、injected_error 四种条件下生成答案，使用 gpt-4o 作为评审（约 $3-6），采用严格 JSON-schema 输出且评审员不知晓条件。评审员、量规、盲标工具和分析管线已建成测试，人工标注正在进行中，完成后结果将发布在 results/。
一项 arXiv 研究用“维基百科游戏”评测语言模型的信息检索能力，要求模型仅通过文章链接到达目标条目。研究者在本地构建了大规模维基百科图谱和基于 OpenAlex 的论文引用图谱，对比了嵌入向量模型与 LLM 在五种语言和五个学术数据集上的表现，并与人类及 TF-IDF 基准比较。结果显示没有任何模型显著超越人类，但 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 达到了可比水平，且性能排名随语言和主题变化。
reliable-era 发布 karpathy-jev，一个 Claude Code 技能，在首次编辑和声明完成前的固定检查点收集 diff、命令与真实 exit code，交由独立的 TypeSafe Jev 判定 proceed 或 revise。SWE-bench Verified 20 任务上，Claude Code + Sonnet 5 下该方案解决 20/20，虚假完成声明 0 次（原生 2 次），最后一次编辑后真正跑测试的比例 13/20（原生 1/20）；解决数差异在 n=20 下不显著，单任务中位耗时 +8%。实验还发现 Sonnet 在 112 次运行中从未主动打开自愿式技能，强制 hooks 是行为改变的关键。
推荐理由：原文同时给出方法和实测数据，读者可以对照三种方案看到强制钩子与提示词自评在行为上的真实差别。
htang7415 在 GitHub 发布 MaxionBench，一个针对 LLM serving、RAG 和 Agent 的可复现决策评测框架，对比 llm-d 路由的自托管 vLLM、受管 Gemini API 及其混合方案。v0.4 基于 GitHub Copilot 生产流量（301k 会话、中位提示 57k token）实测五种上下文策略：仅 summarize 在校正后判分下准确率显著更高（+20 点），裁写历史会丢失 Gemini 隐式前缀缓存，而缓存感知变体保留约一半缓存、成本比 full 低 17-29%；v0.5 将策略移入 Go 网关后，Gemini 计费 token 减半且准确率未降。
推荐理由：作者用带置信区间的重复实验量化了不同上下文策略在准确率、API 成本和服务端 KV 压力上的取舍，方法可复用。
该研究测量语义查询引擎中 LLM 判断的运行间方差，通过 SemBench、LRO-Bench、UDA-Bench 自带测试框架重新执行 1.2 百万次模型调用。结果显示 temperature 0 下 0.07%–10.2% 的行输出会变化，UDA-Bench 上约三分之二答案不同，SemBench 公布结果中 21% 的 text 结果质量随执行改变。Voting 可降低但不能消除方差，作者据此提出 benchmark 报告规则与引擎设计规则。
一项 arXiv 研究在 Qwen3-14B 上探索让模型学会何时拒答，比较训练模型本身与训练独立答案选择器两种方法。在 TriviaQA 上，学习型选择器将平均覆盖率从 20.2% 提升到 30.9%，已评分答案的错误率从 23.0% 降至 14.5%；但测试的强化学习方法未带来一致增益，NQ-Open 上选择器仍不如始终拒答，跨数据集的可靠拒答仍未解决。
QTestBench 是一个用独立 benchmark checker 评测 LLM 生成量子代码测试套件的框架，不把测试本身当真值。它在 8 个 PennyLane QHack 挑战和 10 个 Qiskit HumanEval 任务上评测了 5 个 LLM，最佳生成器测试质量仅达 QHack 0.71、Qiskit HumanEval 0.34，说明可执行性高不代表判别力强。对于缺乏自然错误解的任务（10 个 Qiskit 任务中有 3 个），oracle 验证的合成 mutants 可稳定 bug 检测估计。
Caesar 是一个开源自主研究智能体，通过持久知识图谱上的深度网页探索和对自身草稿的对抗式修正来综合答案，定位为 ChatGPT Deep Research 与 Perplexity 的开源替代。在盲评 LLM-as-a-Judge 创造性评测中，Caesar 全文配置得 26.96/30，高于 Gemini 3 Deep Research（23.78）和 GPT-5.2 Deep Research（15.74），Cliff's δ ≥ 0.76，另有 23 人的人类评测佐证；在 ~$5/挑战的等算力对比中仍领先。
推荐理由：原文给出了基于知识图谱探索与对抗式合成的完整架构说明，并用LLM评审和人类评测数据对比主流深度研究产品，方法可复现。
Reddit 用户实测 JetBrains 的 Mellum2.1-12B-A2.5B（Q8）搭配 Pi 和 llama-server，五个 one-shot 测试结果参差：Flappy Bird 能完成但画面简陋，Browser OS、Minecraft 等表现不佳。模型工具调用和 agentic 行为出色，能发现并修复自己的编辑错误，还成功完成修改现有项目代码等任务。在 8GB VRAM + 32GB RAM 笔记本上以 131K 上下文跑出约 40 t/s。
5.3B 参数的 Aplomb 1 登顶 Hugging Face 官方 Typed Decisions 概率决策基准，KL from gold 为 0.123，Brier score 为 0.065，均居榜首，低于约为其五倍规模的 27B 第二名模型（KL 低 40%）。模型支持文本、JSON、图像、视频和音频单次输入，上下文达 1M tokens，API 上 1M-token 文档约 3 秒读完，输入价格 $0.02 per 1M tokens 且输出免费。权重已在 Hugging Face 开源。
GitHub 上的 local-llm-bench-lab（v0.11.0）发布，用一个 YAML 文件描述模型、llama.cpp 设置和变化参数，自动编译、下载模型、跑完所有组合并存入 SQLite，最后给出胜出配置和对应的 llama-server 部署命令。工具优先为 Raspberry Pi 5 设计，也可在任意 Linux PC 包括 WSL2 上运行，测量速度、延迟、质量与并发，每个结果记录 llama.cpp commit、模型 sha256、完整 flags 和机器信息，附带置信区间、运行间冷却和不稳定标记，并可选用 lm-evaluation-harness 与 LLM judge。
推荐理由：工具用单个 YAML 定义实验矩阵并自动记录 llama.cpp commit、模型 sha256 与硬件信息，可迁移到自己的本地模型对比流程。
GitHub 上的开源项目 CAGE（Cache-Augmented Generation Evaluation）提出在统一协议下同时衡量 KV-cache 复用（CAG）、检索（RAG）及其混合方案的服务性能与答案质量，指标包括 TTFT、吞吐量和 grounding、faithfulness、abstention。项目以"服务产出 Y"（按时且正确的请求每秒数）为核心指标，并附上 truth tax 等归因分析，覆盖 vLLM、SGLang、LMDeploy 四种引擎、十二条基线与八个数据集。工程链路已建成并配有 3,000+ 测试的离线套件，但正式评测活动尚未运行，早期数据仅为试点、不可作为结果引用。
danctorres 在 GitHub 发布开源工具 modelcmp，将模型价格与基准并列展示，按编码、Agent、推理等任务在 free、low、mid、high 四档价位推荐最优模型。它读取已安装的 harness（opencode、Claude Code、Codex 等）与本地运行器（ollama、llama.cpp），提供 TUI 筛选比较、收藏、下载运行本地模型，并通过 skills CLI 让 Agent 在分派子任务时用 modelcmp pick 选模型。数据来自 models.dev、Epoch AI、Artificial Analysis 和 Arena，基准缓存 24 小时，支持 -- 脚本调用，MIT 许可，支持 Linux 与 macOS。
推荐理由：把价格与多来源基准并排，按任务和四档价位推荐模型，还能给 Agent 提供 CLI 选型命令，方法可直接复用。
该仓库在 Text2CAD-Bench 的 30% 公开预览（151 个提示词）上，通过 Anthropic Message Batches API 用 claude-opus-5-5 生成 CadQuery（Python）代码，并用运行验证器与尺寸验证器逐一判定。结果显示，一轮修复把运行失败从 7（pro）和 11（geo）降到各 1，有公认尺寸的 119 个部件尺寸不匹配为 0。整个评测分 7 个 batch，约 0.30 M 输入、0.45 M 输出 token，按 Batch API 价格约 $5。
研究者提出多智能体系统测试框架 MASTIF（Multi-Agent System TestIng Framework），对 3 个 LLM、3 种协议和 4 个 agent 实现框架组成的 Agentic Web 技术栈，在 300 个 Mind2Web benchmark 任务上进行基线评估。结果表明，按任务选择技术栈可提升任务完成率、效率分数和社会价值稳定性分数，并降低冗长度与任务完成时间。该工作为设计、评估多智能体系统提供了指标与结果基线。
一项受控研究在 ARC-AGI-1 上以统一协议考察预训练和测试时训练（TTT）预算对视觉风格模型 VARC 与递归模型 TRM 的影响，交叉对比五种预训练预算与四种 TTT 预算。结果显示，增加 TTT 样本呈现次数在所有设置下都提升两模型的 ARC pass@2 指标；增加 TTT 任务变体数只对 TRM 持续有益，VARC 往往在更少变体下表现更好。VARC 不预训练也保持竞争力，而 TRM 更依赖预训练，研究据此呼吁在可比预算下报告结果。
论文提出 HOA（Humanize Olympiads Agent），一个开源的流程级框架，通过独立审稿、结构化 wiki 和 Lean 证明验证三条反馈通道协调多个智能体会话求解奥赛题。使用 GPT-5.6 Sol 时，HOA 在 IMO、IPhO、IOI 2026 满分，IChO 2026 接近满分，PutnamBench 672 题全部解出，并以 251/304（82.6%）位居 Lean-Eval 榜首；改用开源模型 Kimi-K3 也在 IMO、IPhO、IOI 满分，IChO 达 97.1% 金牌水平，部分超过闭源 GPT-5.6 Sol + /Goal 基线。论文地址 https://arxiv.org/abs/2610.13632v1。
推荐理由：论文提出多会话协作框架替代单会话求解，并给出用开源模型逼近闭源模型奥赛成绩的对比数据，方法可迁移到其他长程推理任务。
研究者提出 AMLworld-Compact 评估集，保留全部非法测试交易并从监督分数分层中采样良性交易，其 HT-Coreset 协议将 HI-Small 和 LI-Small 的评估目标分别减少 271x 和 611x。Horvitz-Thompson 权重使召回率估计精确，F1 的 RMSE 为 0.00-2.58 个百分点，低于均匀加权的 4.44-7.41。评测中七个开源权重 LLM 的加权精确率接近“全预测为非法”基线，评估集、构建代码与审计工具已开源。
lium-localmaxxing 是一款 Windows 工具，可在租用的 Lium GPU 上用一条脚本自动复现 Lium LocalMaxxing 排行榜结果，共 7 个 boards、20 项验证测试，完整验证约 45–60 分钟。它自动使用 vLLM 和 llama.cpp 两种引擎配方，实时显示每百万 token 的生成成本和 GPU 利用率，结果导出为 CSV 和 PDF 报告，无需编程经验。
研究者推出 BLiMPPI，一个覆盖 33 种语言、包含超 12,000 个负极性项（NPI）最小对的多元评测套件，通过在 Universal Dependencies 树库中发现 NPI、标注许可环境并扰动生成最小对构建。对 12 个多语言模型、2 个单语模型及 n-gram 基线的评测显示，多语言模型在低资源语言和无法用 n-gram 解决的题对上表现最差。研究还考察了 NPI 类型学、语系、许可变异性与许可距离的影响。
一项 arXiv cs.CL 研究分析了六个流行数据源的十个科学文档子集，发现机器生成文本检测器的高分部分源于文档构建方式带来的伪影。仅用 27 个表面特征的逻辑回归达到 0.833-0.997 macro-F1，在三个 arXiv 子集上以 0.951-0.997 F1 超越所有受测检测器；最强线索是 PDF 提取伪影（人工文本保留原始换行，生成文本被提取为整块文本），结合三项格式特征可达 0.996 AUC。作者提出格式反事实方法：仅重新换行不改一字即可翻转公开检测器 20-27% 的正确判断；训练前做格式归一化将泛化差距从 0.32 降至 0.22，在格式干净的基准上把域外 macro-F1 从 0.33 提升到 0.65。
该 arXiv 论文提出 Step-wise Truncation Probing（STP）方法，在固定采样推理轨迹的多个保留前缀上重复生成答案，以刻画模型-任务层面的过度思考现象，并定义 Overthinking Ratio 与 Accuracy Degradation 两个指标。论文将动态路由、固定预算和动态提前退出纳入统一框架，基于 STP 测量为各策略构建 token-精度 Pareto 前沿。作者还开发了可复用基准 OTBench，覆盖 70.5B 推理 token、六个模型和四组基准。
一项 arXiv 实证研究将 SWE-bench 与 SWE-bench-Live 验证集的 FAIL_TO_PASS 测试用于评估补丁运行时性能，测试 Claude Opus 5、GPT 5.6、DeepSeek V4 Pro 与 Qwen 3.8 Max 配合 SWE-agent 生成的 262 个含多种正确解的案例。借助 Welch ANOVA 判据，该方法在近半数实例中发现显著性能差异，且补丁运行性能与模型 issue 解决率无关，模型排名几乎相反。研究还发现部分补丁存在正确性评测未察觉的架构性能回退，表明解决率不足以刻画 LLM 的仓库级修复能力。
super-squalo 在 GitHub 开源 best-llm-for，用 npx best-llm-for 在终端按代码、图像、视频、智能体、数学、推理六个领域查看各模型基准成绩与价格，并提供网页版。只保留模型厂商自己发布的分数，弃用厂商发布会上对竞品的成绩共28条，自报成绩与第三方实测分开标注，数据由 GitHub Action 每日重建、可离线使用，另附带 Claude Code skill 供项目内直接引用该数据。
推荐理由：它把各家只挑对自己有利的分数拼成终端里的一张总表，只保留模型厂商自报成绩并区分自报与第三方实测，信息口径比较透明。
GitHub 开源项目 terryds/bestvaluemodel 通过一个静态页面，将各模型在 Artificial Analysis Intelligence Index 上的得分与混合 API 价格对比，高亮“没有更便宜模型同时更智能”的价值前沿。GitHub Actions 每日 cron（06:17 UTC）刷新数据，仅在有变化时重新部署到 Cloudflare Workers，并用 changelog.json 记录新增、移除、重新评分和重新定价的模型。混合价格采用 AA 的 3:1 input:output 计算，数据归属 Artificial Analysis。
研究者推出 BASIS-Bench 基准，从人口群体稳健性、刻板印象偏见和个性化三个维度，评测八个语音 LLM 能否区分有益个性化与刻板行为。结果显示，多数模型虽能识别人口群体线索，却无法将其转化为恰当的个性化响应；显式人口标签虽提升个性化，但也放大了文本底座中已有的刻板联想。
kmvaidya 发布开源工具 llm-arena-vram-calc，为 Arena.ai 开源 LLM 排行榜的 225 个模型补充参数量与 BF16/FP8/INT4 三种精度的显存估算，并给出每块单卡能运行的最高排名模型。serving 显存按权重乘以 1.25 计入 KV cache 与框架开销，MoE 模型按全部专家加载计算，参数解析含手动覆盖、Artificial Analysis 数据、名称解析和页面抓取四级回退，数据 24 小时缓存，当前解析成功率为 76.0%。
一项arXiv研究指出，RSA、CKA、Procrustes等表征相似性度量都在条件集给定之后才起作用，而条件集由输入的取舍与分组两个前置决定固定。实验在十五种语言、二十七种表征上以元音的声学组织为参照：固定类别数量时改变比较哪些类别，会使两个表征之间的差距变动超过所测效应的两倍；改变类别数量则毫无影响。在该设定下，模型排名受这些选择影响而可被识别，跨语言的排名则不能。
GitHub 项目 cage 通过 13 个固定槽位、逐句要求附上 README 原文引用、代码做字符串核验加模型事实检查（fail closed）、最多 3 次修复，用 qwen3.5:9b 在 8 GB GPU 上生成 GitHub 仓库解说词。盲测中 3 家公司的评委对 16 个仓库共给出 36 份裁决：cage 版本事实错误比无约束的同模型少 94%，错误数 2.7 对比 gold 版 4.6；但未达到预设的超越 gold 版 ≥45% 目标（实测 42%），评委仍更偏好前沿模型的 hook 和声音。单脚本成本 0 美元，单张 RTX 3070 约 6 分钟，代码 Apache-2.0 开源，详见 RESULTS.md 与 PROTOCOL.md。
推荐理由：原文给出预注册协议、三评委盲测与错误率数据，读者可以评估这种凭据约束方法对小型本地模型幻觉的抑制效果。
Pablo Manrique 等在 arXiv 发布 SqueezeBench，一个抗饱和的数学能力基准，每题固定一个仅在小区间取值已知的整数函数 f(n)，提交者用机器证明的 Lean 函数给出更优上下界记录，成功会抬高门槛而非移除题目。基准附带极值组合学十个问题和二十个初始记录，前沿模型代理每记录限 1 小时通过 82 次提交改进全部记录；两个更新模型接续又通过 60 次提交改进了 20 个记录中的 19 个。10 个问题中有 8 个仍至少有一个记录渐近落后于已发表最优界。
推荐理由：提出以记录递进式构造衡量数学能力，缓解基准饱和问题，并给出多代模型代理的实测数据。
parthi2929 在 GitHub 开源的 llm-leaderboard 项目，将 Artificial Analysis 模型排行榜（智能 vs 混合价格、开源 vs 闭源权重）做成单页静态可视化。页面仅读取同源 data.json，数据由定时 GitHub Action（每日两次 cron）服务端抓取更新，无任何访客可调用的后端；data.json 缺失时回退到内置快照，避免空白页面。
作者在 Salesforce/xlam-function-calling-60k 上微调 SmolLM2，135M 全量微调达 21.80%，1.7B LoRA 达 83.47%、QLoRA 达 72.61%，Instruct 起点比 base 起点高 8.4 个点。作者还用 LLM-as-judge 加盲审人类复核审计评测本身，估计约 15.0% 的 exact match 失败是对任何模型都无法产出的参考答案打分，高于此的原始 20.5% 被修正；1.7B 微调模型与 235B 通用模型在 300 例子集上统计上无显著差异。仓库含完整训练、评测、judge 审计脚本与模型和数据集产物。
推荐理由：作者在给出微调结果的同时，用盲审人类复核修正了基准里不可推导参考答案的比例，评测方法本身值得细读。
一项系统性机制分析研究了 LLM 量规设计中的准则组织、准则操作化与分数聚合，发现结构性组织有助于构建更全面的准则，仅靠语义细化不足以保证准则级判断有效，而复杂的分数聚合带来的额外收益有限。基于这些发现，研究者提出 Adaptive Rubric Tree Search with Hybrid refinement（ARTS-Hybrid），结合自适应树构建与语义优先、响应校准的细化方法。跨基准实验显示 ARTS-Hybrid 同时提升了端到端评估性能与量规本身的质量，其生成的量规还能为模型优化提供有效信号。
研究者推出 AgentSWE 基准，测试编程智能体能否按自然语言需求忠实构建、编辑和优化智能体，覆盖智能体开发全生命周期的 25 个任务。评估发现没有任何被测智能体接近完全满足需求，“演示的与交付的存在差距”是常态而非个例。失败轨迹分析归纳出对可见样例过拟合、代码看似完整但运行时空洞、以及无依据的完成声明等典型失败模式。
PaperStrange 在 GitHub 发布 Personal-LLM-Benchmark，用合成 fixture 代码库按工作流评测模型与 agent harness，含 T1 架构梳理、T2 三 subagent 协作实现 apply_discount、T3 安装第三方插件三个任务。所有结论带 [REAL]/[SIM]/[OPEN] 证据标签，评测漏斗从免费 T0 确定性门控到按分计费的 Jev 评分、再到仅限 Top 1-2 的深度运行，要求每组合至少 3 次重复并报告 pass@k 与 pass^k。项目采用 MIT 许可证开源。
这是一个对 ConstraintBench（Tso et al., 2026）的独立复现与扩展项目，测试 LLM 能否直接求解约束优化问题而无需写求解器代码。原论文测了 6 个前沿模型在 10 个领域共 200 道题，最佳模型方案可行性仅 65%，可行且最优的比例不超过 30.5%。该项目复现其中 4 个领域，并扩展了反馈回路、难度缩放与直接回答对比 Gurobi 代码等实验，目前处于早期阶段，尚无结果。
一位 Reddit r/LocalLLaMA 用户测试发现，Qwen3.8 Flash Next iq3 xxs 在“纯 HTML/CSS/JS/SVG 写太阳系 3D 仿真”任务上反复失败，还耗尽 120k 上下文限制，而 27B iq3 xxs 能一次成功。在 agentic coding 任务中 Flash Next 思考面广但实现常失败、需多次跟进，token 消耗大；27B 则更简单但能用。