新闻、仓库与研究，按时间排列。
GitHub 开源项目 EvalForge 为 LLM 与 AI 智能体系统提供生产级评估证据和发布门禁，把带版本的测试用例和候选输出转化为可审计报告与机器可读的发布决策。评估默认确定性、离线运行，证据缺失或含糊时默认失败；支持精确/子串/正则指标、阈值与严重度门禁、成本延迟预算、RAG 引用与轨迹检查，并提供 JUnit、SARIF 报告及 GitHub Actions 发布门禁，还可通过 OpenAI 兼容适配器接入模型生成。
开源项目 AI World Cup 2026 提供一个公开、可复现的基准，让各 LLM 在相同的提示词、数据和评分规则下预测 FIFA World Cup 2026。项目不调用 API，而是手动提交统一提示词并验证各模型返回的 JSON 预测，排行榜发布在 GitHub Pages 静态网站上。截至 2026-07-31 的排行榜中，OpenAI 的 GPT-5.5 Thinking 以 744 分居首，GPT-5.5（717 分）和 Gemini（699 分）分列二三位。
NVIDIA 基于 Nemotron 3，通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600，高于 361.12 的金牌线和 498.27 的人类最高分；IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42，超过 29 分金牌线，全程仅用自然语言，无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。
推荐理由：原文完整给出了两个项目的训练数据规模、各阶段分数和可复用的四步特化配方，权重、数据和推理管线都已开放。
TII 在阿布扎比推出 1.6B 参数语音识别模型 Falcon-ASR，重点支持阿联酋方言，同时支持英语、法语、西班牙语和葡萄牙语。模型在六个阿拉伯语测试集上平均 WER 为 20.92%，优于所对照榜单最佳已发布结果 23.17%；内部阿联酋评测中 WER 22.73%、CER 10.19%，为对比系统中最低。模型支持词级时间戳，现已可在 Hugging Face Demo 试用，API 与原生应用已列入计划。
kifu-bench 让 Claude Opus 5.5（Claude Code）和 GPT-6.1 Sol（Codex）在 9×9 围棋上对战 KataGo 人类段位档案，每位玩家各下 200 局，记忆仅存于工作目录文件中。结果显示没有玩家变强：Opus medium 前 50 局胜 14 场、后 50 局胜 13 场，Sol medium 4 胜变 6 胜且几乎只对 20k 最弱档案；CLAUDE.md 从 35 行增长到 3820 行，但每局失误数未下降，审计未发现任何使用引擎或搜索走法的作弊行为。
推荐理由：这是作者自建的 Agent 自学围棋基准，给出 Elo、笔记增长和审计数据，可用来观察 Agent 通过文件自我改进的实际效果。
一项 25 组配对任务实测显示，本地运行 Qwen 3.8 27B 的质量为 89.5 分，DeepSeek Flash API 为 92.6 分（满分 100），12 项任务套件各胜 6 项。编码任务上两边全部通过：本地 10/10 智能体运行全绿，修复 4 个 bug 两边各 5/5 轮全部成功。代价是本地耗时为云端的 2.5–5.5 倍，但除电费外零成本，云端 12 项任务仅花费 0.14 credits。
开源项目 llm-daily-review 每天 15:00 UTC 抓取 Hacker News 首页，筛选 LLM / AI agent / 生成式 AI 应用，在隔离的 Docker 容器中逐个测试，并按 11 项加权标准打分（归一化为 0-100），发布到 tokenstree.eu 并附推荐徽章。评分采用四档推荐：Strong candidate 需 Score ≥78 且 novelty ≥7，Skip 为 Score <35 或 differentiation ≤3。项目使用 Claude API 打分，CC BY 4.0 协议开源，提供每日摘要和周五 Weekly Top 5 邮件订阅。
tilt 在 GitHub 发布 llm_arena，一个针对本地（Ollama、LM Studio）和远程（OpenAI、Anthropic）模型的开源评测场，覆盖反射、工具使用、代码执行、ReAct、规划和多智能体等智能体模式。每个流水线步骤可绑定不同模型角色，按步骤和端到端打分并生成静态 HTML 排名报告，支持替换研究、控制策略对比、Docker 沙箱和浏览器 Pyodide 模式。
推荐理由：这个评测场把智能体模式按流水线步骤绑定模型角色并逐步打分，还支持替换研究来量化单步换模型的收益。
GitHub 开源项目 ModelCompare（vlx0/ModelCompare，MIT 协议）可按公开 benchmark 分数和 API 价格对比两款 LLM，支持 OpenAI、Anthropic、Google 模型，提供胜场计数、雷达图、按 coding / reasoning / vision / agents 分类筛选及输入输出价格图表。数据仅来自 launch、system card、model card 和定价页面，不自行跑测试；工具需 Python 3.10+，采用 tkinter 界面。
GitHub 用户 dhunuma-commits 上线 llm-testing 仓库，用 DeepEval 框架对 LLM 进行测试。仓库包含一个 TestLLM 文件，目前尚无 star、watch、fork，也没有发布版本和贡献者信息。
GitHub 用户 Maicarons 开源了 artificial-analysis-leaderboards 仓库，每日采集 Artificial Analysis 的公开排行榜数据快照，覆盖 LLM、text-to-image、image-editing、text-to-speech、text-to-video、image-to-video 六类榜单，数据每天 05:13 UTC 由 GitHub Actions 抓取，采用 MIT 许可。
GitHub 项目 Infernomics 是一个 LLM 推理经济性实验工作台，通过 OpenAI Responses 与 Embeddings API 对比不同配置下的每请求估算成本（欧元）、延迟、缓存行为、检索深度与模型评分质量。项目早期小规模运行截图显示 max_output_tokens=50 时最低成本约 29.3 µ€/请求、均值延迟 1,289.7 ms，top_k=1 时每欧元质量最高。结果存于 SQLite/JSON/CSV 并以 Streamlit 展示，属个人作品集实验，非生产服务，附可离线复现的合成样本脚本。
sferarc 在 GitHub 发布 peeksafe，一个零运行时依赖的 TypeScript 库，为非确定性 eval 套件提供可任意早停且保持错误控制的统计门控，通过 npm install peeksafe 安装，要求 Node 22 或更新。README 指出先验地观察结果再加 Benjamini-Hochberg 校正没有错误控制，并在 20 个无变更 PR 上实测：每 4 次运行窥视一次时，m=10 的套件每个 PR 产生 0.65 个假发现，m=200 为 0.20；同样的运行在固定样本量单次检验下为 0 个假发现。
推荐理由：原文用同一批 no-op PR 实测了边看边停加 Benjamini-Hochberg 的假发现成本，并给出可复用的 e-value 门控方案。
talhayme 在 GitHub 开源了 evalkit（llm-eval-harness），一个 LLM 功能评估与发布门槛工具，把提示词变更的效果变成 CI 可阻断的检查项。默认离线运行，无需 API key，全量套件 1 秒内跑完；支持绝对阈值（通过率、准确率、幻觉率、p95 延迟、成本）与基线回归对比，检查失败时以非零退出码阻止合并。groundedness 刻意不用 LLM-as-judge，采用可单测的确定性指标；用例以 JSON 数据形式编写，支持 expect_refusal 标记拒绝类场景；提供 FallbackProvider 处理提供商超时与限流，配套 CI workflow 还包含一个反向检查，确保已知坏的运行必须失败。
推荐理由：原文给出了评估门槛的完整做法，从确定性指标、阈值到基线回归都可直接复用到自己的 LLM 发布流程。
Vonzlov 的 llm-bench 项目用统一基准对比 Ollama、vLLM 本地模型与云端 API 模型的质量、速度和价格，并给出推荐。项目已完成阶段 0（脚手架、CI、假模型、k3s GPU 支持），阶段 1 核心包括测量客户端、负载生成器（1–32 并发阶梯）、MASSIVE 和 XQuAD 开源数据集下载，以及分类任务的质量评测（准确率、macro-F1、95% bootstrap 区间）。整个系统在单台 GPU 机器上以 Kubernetes 运行，架构不绑定具体机器。
GitHub 用户 MuhammadZakiAhmad 开源了一个对比推理与非推理 LLM 的仓库，包含模型定义（models.py）以及针对两类模型的可视化脚本（attention_visualization_for_non_reasoning_vs_reasoning_llms.py），并附有项目历史记录。该仓库可用于观察两类模型在注意力机制上的差异。
GitHub 仓库 viral-tagadiya/llm-rubric-scorecard 按固定 rubric（accuracy、relevance、tone、instruction_following 各 1–5 分）为模型答案评分，记录失败模式并导出发布前的聚合质量数据。项目采用 Express API + JSON 存储，提供 web/ 静态评审界面，支持 GET /rubric、GET /queue、POST /score、GET /stats 等接口，可通过 npm install 与 npm run demo 快速上手。
法国政府项目 compar:IA 是一个开源 LLM 竞技场，用户提交提示词后由两个匿名模型作答并投票，事后揭晓模型名。项目由 DINUM、法国文化部和欧盟 ALT-EDIC 支持，2026年6月已累计 70 万次对话、25 万次投票（约89%为法语），测试超过 130 个模型。公共榜单以 Bradley-Terry 分数和 95% 置信区间呈现盲投票偏好，数据集以 Etalab Open Licence 2.0 与 CC BY 4.0 发布在 Hugging Face。2026年9月发布的 2.0 版新增消息历史、个人榜单和管理后台，支持企业、行业或语言社区用 Docker 自部署实例，丹麦的 AI-arenaen 已上线第二个实例。
GitHub 项目 luo-sri/llm-arena 发布 v1.2.0（约 118.13 MB，附 SHA256），一款纯本地运行的多模型评测竞技场，通过 OpenAI 兼容接口接入模型，用相同题目、顺序和参数评测并自动判分、生成排行榜。内置 6 个预设套件、难度 L1~L5 题库（L4+L5 占比约 71%），采用规则判分加模型评审双通道，数据落在本机 SQLite 不上传，支持一键生成网页/Markdown/JSON 分享报告，仅支持 Windows 10/11 64 位。
推荐理由：本地评测工具把同题同参同判分做成可复现流程，做模型选型对比时可以直接复用这套公平性设计。
Tinybird 发布了开源工具 llm-benchmark，用于评测各 LLM 依据自然语言问题生成分析型 SQL 的正确性，结果发布在 https://llm-benchmark.tinybird.live/。评测基于 2 亿行 GitHub archive 数据，每个模型需回答 50 个问题，支持通过 OpenRouter 测试 Grok-4、Claude Sonnet 4、DeepSeek Chat v3、Gemini 2.5 Pro、O3 等模型，测量的指标包括 SQL 正确性、执行成功率、首 token 时间、总耗时和 token 用量，生成的 SQL 无效时会将报错回传给模型自动重试最多三次。
Prasthana Lab 发布 itact-785，一套针对印度《Income-tax Act 2025》的 785 道合规任务评测集，sha256 锁定、严格实体匹配判分、不用 LLM judge。最佳前沿模型 glm-5.3-flash 严格准确率 30.2%；四部分 ICAI 式合规任务所有模型 0/99；基于 Qwen3.5-4B 微调的 karsastra-4b 得 45.7%，超过全部前沿模型。数据与文档 CC BY-4.0，评测代码 Apache-2.0。
推荐理由：评测集在跑分前锁定题目并用严格实体匹配判分，读者可以借此核对各家模型在印度新税法合规任务上的真实差距。
MrNague/speech-llm-quality-lab 是一个两人团队的个人工程项目，用于评估法语语音转文字（ASR）输出并审查 LLM 回复，项目处于活跃开发中，修订版 peer beta 尚未发布。仓库已包含 Python 包与 CLI、JSON schema 验证、WER/CER 计算和试点报告等基础工具。首个 beta 计划在测试者本地电脑安装使用，暂定 2026 年 10 月 13 日发布，需包含至少 12 对经批准的真实法语音频-文本样本，且明确排除云端推理、公开托管和实时 LLM 生成。
friteuseb 在 GitHub 发布 reponse_opti 仓库，提供 12 行规则让 Claude、ChatGPT、Codex、Cursor 等助手以受控法语写作，灵感来自 Andrej Karpathy 建议让 LLM 按 80% ASD-STE100 航空维护标准解释。作者用 Claude Sonnet 5.5 在 10 个技术问题上做四条件盲测，由 Claude Opus 5.5 评判，v3 版分场景处理，行动类回答 7/10 更清晰且 8/10 更有用，解释类 10/10 更清晰但丢失 49% 信息，Kandel-Moles 可读性分从 78.5 升至约 84。规则可复制进 CLAUDE.md 等规则文件，或作为 Claude Code skill 按需启用，MIT 许可。
推荐理由：作者把 Karpathy 提到的 ASD-STE100 受控写作移植到法语，并附上四条件对比实测数据，方法可直接复用到 Claude Code 等工具。
EuroEval 是一个开源的欧洲语言模型鲁棒性基准测试框架，前身为 ScandEval，由 Dan Saattrup Smart 维护。项目提供文档与数据集生成脚本，支持通过 uv run 运行脚本复现评测数据集，并欢迎社区贡献代码、新增数据集和运行志愿 GPU 评测节点。项目获得 Google Gemini credits 与 OpenAI credits 等赞助，用于评测 GPT-4-turbo 的荷兰语、冰岛语、法罗语和德语表现。
AnhDuongVo 在 GitHub 发布 agenteval，从行为和声明两层评测 LLM Agent。Level 1 通过适配器将 LangGraph、LlamaIndex 和 OpenAI tool-calling 的 trace 归一化为统一 AgentRun 格式，输出工具成功率、工具选择准确率、grounding 率、任务成功率、平均步数和循环率；Level 2 对每条声明核查引用是否存在、数字是否与来源一致及置信度校准（ECE、Brier），并附临床 Agent 示例，可输出 markdown 或 HTML 排行榜。工具采用 Apache-2.0 许可，不依赖各框架安装。
作者开源了 gdpval-realworks，为 GDPVal Gold Subset 构建可复现的实验流水线和静态面板，覆盖 9 个行业 44 种职业共 220 项真实专家任务，要求模型产出表格、报告、演示等可审阅文件。仓库将执行完成、产物完整性、Self-QA 与外部评分四类信号分开记录，本地面板无需云端凭据即可运行，云上路径通过 OIDC、镜像摘要固定和 Docker 断网等控制限定边界；默认冒烟配置用 gpt-5.2-chat 生成、gpt-5.6-sol 评分，任务级成本按产生与评分两类分别记账。
GitHub 仓库 dryvist/mlx-benchmarks 提供了一套针对 MLX 量化和本地托管 LLM 在 Apple Silicon 上的可复现基准测试框架。它通过统一版本化的 schema. 结果契约、mlx-bench-publish 发布流水线和 Gradio 查看器，把 lm-eval 与 vllm benchmark_serving 等上游评测工具的原始输出转换后上传到 Hugging Face 数据集，文件名按内容寻址避免覆盖，并可读作 pandas DataFrame。
推荐理由：原文讲清了跨评测工具的统一结果契约与发布流水线，读者可以借此复用在 Apple Silicon 上量化模型的本地评测。
marinsokol5 在 GitHub 发布 am-i-nerfed，一个本地逻辑谜题自测工具，以 CLI 和 Agent Skill 形式判断模型当天是否被降智。任务由随机种子在本地生成，默认中等难度限时 180 秒，支持 Claude Code 和 Codex。2026-10-05 的初步横评中 gpt-6-astra 以 85.0% 排名第一，claude-opus-4-6 因从未在截止前保存答案得 0 分；作者还观察 to Anthropic 模型难以遵循简单指令、Fable 5.1 因安全分类器误拦无法可靠测试，以及 Anthropic 推理速度比 OpenAI 快约 4-6 倍。
推荐理由：工具让用户在自己的订阅环境里用私有任务自测模型当日状态，作者还附上了十三款模型的初步横评结果。
GitHub 上的 kylemathias/model-rankings 仓库通过 GitHub Actions 每日自动从 Artificial Analysis 抓取 LLM 排名数据，生成包含各模型 intelligence 与 coding 分数（0-100）的 rankings.json 文件。数据涵盖 MMLU、GPQA、HumanEval 等评测基准、每百万 token 输入/输出价格、tokens/sec 与 TTFT 等性能指标，共收录 150 个模型的完整数据。代码采用 MIT 许可，使用数据需按 Artificial Analysis API 条款署名。
作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B，HumanEval 全部 164 题 pass@1 达 89.63%（147/164）。随后对自制的 MoE expansion 路由补丁做受控 A/B：在最后 15 层（25–39）每 token 激活 20 个专家而非原生 top-8，无需重训或改文件，pass@1 升至 90.85%（149/164），解码速度从 69 tok/s 降至 56 tok/s（约 -19%）。作者提示 +2 题在 164 题的统计噪声范围内，且用的是原始 HumanEval 而非 EvalPlus，不能与 EvalPlus 榜单直接对比。
推荐理由：作者给出了同机同量化下的受控 A/B 数据和解码速度代价，读者可以据此自行判断该路由补丁是否值得用。
ykstorm 发布 Goldset 0.3.0，一个在 CI 中对 AI 应用运行行为评测的 GitHub 工具，提供 goldenDataset、llmJudge、structural 和 grounding 四个 runner，分别捕捉输出偏离标准答案、开放式输出行为回退、输出结构破坏和答案缺乏上下文支持四类失败。它在每个 pull request 上以 GitHub Action 形式运行 *.eval.ts 评测文件，发布 delta-vs-base 评论并在评测失败或回退时使检查失败，只有当分支保护将其列为 required status check 时才会阻止合并。
推荐理由：原文给出了四个 runner 的失败模式、性能数字和 judge 成本实测，读者可以据此评估是否把它接入自己的 CI 流程。
llm-counting-benchmark 项目通过 OpenRouter 兼容 API 调用九个视觉模型，对 FSC-147 数据集中选定的六张 Group 1 图像进行计数测试（共 54 个回答），结果于 10 月 3 日保存。基准工作流为 main3.py → eval2/ → 三页网站，模型涵盖 Gemini 3.1 Flash Lite、DeepSeek V4.1 Flash、GPT-5.6 Luna、Claude Sonnet 5.5 等，每模型结果含预测数、置信度、延迟与 API 报告成本。另有 main4.py 比较低/中/高推理档位，目前 GPT-5.6 Sol 已从选定模型中移除。
r-siddiq 发布 llm-nexus 仓库，提供面向编码智能体的版本化编排协议与 Codex 配置，开发过程覆盖 GPT-5.6、GPT-6 和 GPT-6.1 的 100 多次基准测试。q10 对比中 v7/config v1 达到 11/30 通过、覆盖 7/10 任务族，v7/config v2（GPT-6.1 Sol、CLI 0.159.3）通过 12/30 但耗时 10 小时；v8 增加验收措辞后覆盖和耗时反而变差。维护者推荐的两文件 setup 未做基准测试，并指出 CLI 与桌面端的 developer_instructions 生效差异（对应 Codex issue #11004）等问题。
推荐理由：仓库给出了六个协议配置组合在同一基准下的实测对比和复现指南，读者可以据此评估配置调优对编码智能体工作流的实际作用。
PBH Applied Systems 在 GitHub 发布 quant_eval 公开语料库的推导工具，该语料库对全权重与量化大语言模型在八类 Agent 相关任务上做逐案例行为评测，含配对统计检验和公开 ground truth。仓库只发布推导契约而非评测引擎，通过源文件 SHA-256、build_manifest. 输出摘要构成可核查的完整性链；包含 build_datasets.py 和 make_figures.py 两个脚本，共七个数据集（D0-D7）， deposited on Zenodo（DOI 10.5281/zenodo.22009419），镜像到 Hugging Face 和 Kaggle。
推荐理由：原文公开了从源包推导评测语料的完整校验链和撤回声明，读者可以据此核查量化评测数据是如何生成的。
halu-sys 在 GitHub 开源 llm-probes，为本地 llama.cpp/llama-swap 栈提供部署级评测探针，回答只有本机才能回答的问题，如 IQ3_S 量化下 262k 上下文是否真实、长上下文格式遵循、循环退化率、MTP 投机解码是否无损、跨上下文事实组合与多跳 Agent 委托链等。所有探针运行时程序化生成（可复现、无训练数据污染），由代码评分而非 LLM 评分。实测显示 Qwen3.8-Flash-Next IQ3_S 在 8k–256k 各探针多数通过，并总结了推理预算不足会静默吞掉答案、参数剥离使评测失效、探针自矛盾曾误导结论等六起生产事故复盘。
推荐理由：针对本地 llama.cpp/llama-swap 部署的实测探针，给出各探针的真实运行结果与踩坑复盘，方法可直接复用。
aagit 开源了 synthmerge，一个基于 Patchpal 研究的命令行工具，利用 AI 自动解决 cherry-pick、merge、rebase 等操作产生的 Git 冲突，要求 git config merge.conflictStyle diff3。工具支持并行查询多个 AI 端点（Patchpal-backend、llama.cpp/vLLM 自托管模型、OpenAI、Gemini、Claude），按共识对结果排序，AI 生成的代码仍需在编辑器中人工审查后才能提交。内置 benchmark 在 1129 个 C 语言冲突上评测，单个模型最高为 Gemini 3.8 Flash（准确率 72.19%），全部模型加全部变体和 beam 聚合后准确率达 84.85%。
推荐理由：仓库附带完整的跨模型冲突消解基准数据，读者可以直接对比各模型和多端点聚合方案的实际准确率。
Teyeray 在 GitHub 发布终端工具 llmtap，可对任意 OpenAI 兼容端点测量 TTFT、吞吐（tok/s）等指标，并用 6 项固定检查（regex 评分，0–100 分）探测中转站是否降级模型，还能通过 GET /models 扫描端点全部模型。支持 OpenAI、DeepSeek、Moonshot、Qwen、OpenRouter、Ollama、LM Studio、vLLM 等，数据不出本机，提供 TUI、中英双语界面与可选成本统计，MIT 协议开源，安装需 Python 3.10+。
推荐理由：终端工具 llmtap 集延迟、吞吐、降级探测与中转站扫描于一体，还给出与同类工具的功能对比，便于按需选型。
一位 Reddit 用户用同一句简单提示词，测试 3 个 Qwen 模型在 Android 上构建天气应用的表现，分别是 Qwen flash、Qwen3 S（Q3_S）和 Qwen 3.8 27b 的 Q4_XS、Q3_XXS 量化版本，结果以截图形式发布在 r/LocalLLaMA。
一款开源的单文件 HTML 工具，针对 Google（Antigravity / AI Pro & Ultra）、Anthropic（Claude Pro & Max）和 OpenAI（ChatGPT Plus & Pro）等订阅制非 API 模型，评估 5 小时滚动 token 窗口、每周软限制和套餐倍率等实际约束。工具覆盖 22 个前沿模型（如 Claude Opus 5.5、GPT-6 Sol、Gemini 3.1 Pro），集成 SWE-bench Verified、LiveCodeBench 等 6 项基准，并提供交互式 5 小时工作负载模拟器和 3 模型并排对比，配置自动存入 localStorage，MIT 协议开源。
一项 arXiv 研究（AACL-IJCNLP 2026 短文）提出惩罚框架下的无有效选项 MCQA 设定，在 MMLU-Pro 数学子集上移除标注正确选项，允许模型选择剩余选项或输出 ABSTAIN 并对无效强制作答施加惩罚。实验表明，高 MCQA 准确率并不能完全保证弃权可靠性：即使在明确的无有效选项指令和惩罚计分下，模型仍会对部分原本答对的题目给出无效强制作答，揭示了标准选择题准确率无法反映的可靠性维度。