新闻、仓库与研究，按时间排列。
Embedl 团队发布 Qwen3.8-27B 在 Jetson Thor 上的 INT4 部署方案，batch 1 下解码 39.6 tok/s、端到端 23.6 tok/s、峰值显存 24.8 GiB。方案采用自研量化（误差约为标准 AWQ 的一半）、FlashHead 加速 262k 词表输出层、MTP 投机解码，底层为 TensorRT Edge-LLM 0.10.1；准确率与 FP16 对照为 GSM8K 96.4 对 96.1、IFEval 83.5 对 81.9、MMLU-Pro 79.1 对 79.5，并称快于 Jetson AI Lab 报告的 llama.cpp Q4_K_M + MTP 约 35 tok/s。
推荐理由：作者给出与 FP16 逐项对照的准确率和实测吞吐，并说明量化与投机解码的具体做法，便于复现比较。
GitHub 上的 jevgammon 是一款终端西洋双陆棋程序，双方玩家均为 AI 模型，可用决策模型（如 OpenAI Decisions API）或 LLM（如 gpt-5.6-Sol、claude-sonnet-4-5）对弈。每轮换座重打并使用相同骰子序列，所有对局记录存入 SQLite，支持 ratatui 界面、--quiet 无头模式用于 benchmark，需 Rust 1.88+ 构建。
GitHub 开源 mobile-llm-engine，一款 iOS 优先的本地大模型推理引擎，内置基于 Qwen3 继续训练的 0.6B 中文助手模型（Q5_K_M 量化、551MB），专注日历等工具调用任务，数据不出设备。实测 40 题工具调用中 tool_call 发射率和 schema 校验通过率均为 100%，但日期参数正确率 0/15，幻觉问题修复中。目前仅支持 Apple Silicon Mac，运行内存约 1GB，可开放试用。
peymanpro 在 GitHub 发布 AI-Evaluation-Engineering V1.1，一个供 AI 系统做测量、对比与回归测试的中立于提供商的评测层。V1.1 新增带类型化的 Agent 轨迹回放与任务/步骤成功分离分析、对抗性安全回归用例、配对 bootstrap 置信区间的发布决策 compare（evaluate_release_candidate，含 Bonferroni 校正与 PASS/FAIL/INCONCLUSIVE/INVALID_EVIDENCE 四种判定）、方向感知回归门控、失败记录转回归套件的 JSONL 失败记忆，以及质量/成本与质量/延迟权衡前沿分析和可审计证据包。
推荐理由：作者把评测当工程学科来设计，给出了配对 bootstrap、回归门控和失败记忆等可复用做法，对搭建 AI 评测体系有参考价值。
ModelPlan 在 GitHub 开源，基于可核查的公开数据回答该用哪个编码模型、哪个推理档位，并量化每升一档的收益与代价，如 Fable 5.1 切到 Opus 5.5 加 2.5 分、成本 ×0.52。它提供网页、Skill、Claude Code 与 Codex 插件和单文件 CLI，只读本地 Claude Code、Codex 等工具的 5 小时与每周配额窗口，数据不上传，每几小时重建一次经校验的发布数据，代码 MIT 许可。
开源项目 LLMstats 通过 GitHub Actions 约每 3 小时自动对 42 个免费额度模型跑基准测试，覆盖 OpenRouter 13 个、Groq 5 个和 Mistral 24 个模型，结果发布到交互式公开仪表盘。架构 fork 自 NIMStats，无需服务器，只需配置三个 API 密钥并开启 GitHub Pages，5 分钟内即可搭建；数据以 SQLite 存储在仓库中，浏览器端经 sql.js 完全客户端查询。
GitHub 上的 product-eval-harness 是一个消费级产品评测工具，由 LLM 智能体生成评测所需的知识（标准、产品属性、研究记录、评测包与分数），并用 ruleset 在接受输出前校验每项结果。项目基于 Mastra TypeScript 框架，目前仅是 Mastra 脚手架，尚无任何 harness 阶段实现；开发需 Node.js 22.13+，仓库含 mastra agent skill，整体采用 Apache-2.0 许可证。
GitHub 上一个面向 RAG 系统的开源评估工具，可判定回答失败源于检索器未找到证据、语言模型生成错误答案，还是两者同时失败。工具提供本地 Streamlit 仪表盘、PDF 摄取与分块、sentence-transformer 嵌入 + ChromaDB、BM25 及 RRF 混合检索、三种评估模式与 JSON/CSV 导出；默认分块 200 token、25 token 重叠。候选问题须经人工审核验证后才计入评分，无 Gemini API key 时可运行确定性离线流程。
protocol/perun 发布，这是一套以文本文件形式分发的技能包，让 Claude Code、Cursor 等 AI 编码助手按固定流程完成从审查到交付的工作，核心是带证据的深度代码审查，另含 token 成本优化、门控智能体交付等技能。作者用统一测试环境实测 39 个真实 bug 修复案例，Perun 在 claude-sonnet-5-5 上比普通提示词多抓 bug 但区间下界为 0，相比 Claude Code 内置 /code-review 抓到的 bug 数量相当而误报大幅更少，与三个流行的审查技能对比均为平局；在更强的 claude-opus-5-5 上与普通提示词打平。大改动场景下多次独立审查比任何单一方法更有效，项目同时附上成本核算和诚实的局限性说明。
推荐理由：项目附上统一测试环境和多组对照基准数据，连不利的平局结果也如实列出，读者可自行判断这套 review 技能包的真实增益。
ctrlProgrammer 在 GitHub 发布 os-agents-evals，一个用同一数据集对比多个模型准确率、成本与延迟的 CLI。以 Oxford-IIIT Pet 猫犬品种识别为示例（测试集 3,669 张图、37 个品种），20 张图实测中 JEV 准确率 90%、$0.06/1k 查询、p95 延迟 0.32s，Gemini 2.5 Flash 为 95%、$1.64/1k 查询、p95 延迟 4.84s。每个模型使用独立 JSON 提示词，用例与图片不进 git。
该仓库发布了一个面向 RAG 等有据生成的句子级幻觉检测器，输入来源材料与答案，逐句评分来源是否支持。模型为微调 ModernBERT-base（150M 参数），在 RAGTruth 测试集（18,965 句）F1 0.652、AUROC 0.916，远超 zero-shot NLI 基线（F1 0.197）；域外 LLM-AggreFact 上 BAcc 66.1。经 Platt 校准后 ECE 从 0.043 降至 0.016，Docker API 在 CPU 上约 1.2 秒每句，摘要类任务是弱项（F1 0.446）。
Local Quench 发布，这是一款面向本地 LLM 的 AI 编码智能体，支持 LM Studio、llama.cpp、Ollama 和 vLLM，代码不出本机，提供 Windows、Linux 和 Android 版本。它针对本地模型常见失误（宣布步骤后停止、改测试直到通过等）设计了 harness 纠偏规则，且每条规则可单独关闭并测量；内置 QuenchBench 基准，还可通过 quenchbench.py 一条命令跑 SWE-bench Verified、Terminal-Bench 2.0、Aider Polyglot 等评测。8 GB VRAM 即可起步，应用自带模型顾问推荐适配显存的模型和量化方案。源码不开放，仓库提供发布包、issue 跟踪和基准脚本。
推荐理由：为本地模型设计了针对常见失误的 harness 纠偏机制，且每条规则都可单独关闭并用 QuenchBench 实测，方法可迁移到自己的本地部署。
GitHub 项目 liuminxin45/ai-mahjong 发布互动麻将题库「未完的牌谱」，以一本妹妹留下的 25 手牌谱为叙事，完整故事包含 35 节点、四条分支路径及三种合法结局。规则采用条、筒共 72 张牌，保留三番封顶计番，以最高期望训练净分判分；发布数据含精确整数证书，故事题与续练题可由提交数据独立复核。项目基于 Node 24.19.0 与 pnpm 9.15.0 构建，远端模型不可用仍可通关。
GitHub 开源项目 llm-research 是一个本地 Java 21 应用，可向 OpenAI、Claude、Gemini、Grok、DeepSeek、Qwen 等多家模型提供商批量发送 questions.csv 中的问题并保存答案。用户通过 .env 配置 API 密钥、application.yml 选择启用的提供商，每次运行在 output/ 目录生成 xlsx、csv、jsonl、json 四种格式的结果，并记录延迟和输入/输出 token。每次调用消耗 API 额度，项目建议首次只用 1 个提供商、1 次重复和少量问题进行验证。
matt-riley 在 GitHub 发布 skill-evaluator，用于对 AI skills 做评测驱动迭代：定义测试用例后，让 agent 分别在有技能和无技能的情况下运行，由 LLM 给输出打分并对比基准结果。工具支持 `skill-eval init`、`skill-eval loop`（运行→评分→基准）和 `skill-eval report` 生成 HTML 报告，可通过 brew 或 `go install` 安装。
NVIDIA 发布开源工具 SkillEvaluator，用于检查 AI Agent 技能并衡量技能对任务结果的影响。它提供三层评估：Tier 1 静态校验（可用 Semgrep、SkillSpector、Gitleaks 做安全扫描）、Tier 2 基于 embeddings 的重复检测、Tier 3 通过 Harbor 沙箱对比有无技能的实际运行效果。示例技能可获得 84.5/100（B）评分，默认通过阈值为 70；工具支持 uv 运行 Python 3.13，可通过 NVIDIA Build API key 调用模型。
Reddit r/LocalLLaMA 用户基于 NVIDIA AIPerf 开发了一款易于理解的 LLM 基准测试与调优工具，目前处于 alpha 阶段并公开征集反馈。工具能报告在指定延迟目标下服务器可承载的用户数、哪个环节最先成为瓶颈，以及下一步应调整哪个 vLLM 参数，附有 llama 3.1 8b 在单张 H100 上的示例报告。
GitHub 上的 LLM_Trend_Observer 是一个自动化大模型排行榜监测系统，持续抓取 LMSYS Chatbot Arena、OpenRouter Rankings、Hugging Face Open LLM Leaderboard 和 Artificial Analysis 数据，自动计算排名变化。报告包含排名、Token 使用量、Elo 分数及变动 Delta，通过 WXPusher 或 Server酱 每天北京时间 11:00 前推送到微信或手机 App。
开发者开源了麦当劳配餐 Skill「McPair 麦麦配」（github.com/paraboy-s/mcd-meal-pairing），LLM 只做意图理解与渲染，价格、热量、用券全部由确定性代码经 MCP 工具计算，每个数字可追溯。系统枚举门店 1881 种搭配剪枝出三档方案，含品味指纹（带置信度）、券诊断、反事实解释和 max-min 拼单分配；40 场景评测中主餐口味契合 0.55、热量贴合 0.78、16 个场景用上券，消融显示关闭品味引擎后口味契合跌至 0.05。该项目为麦当劳程序员创意开发大赛参赛作品，非官方产品，只做决策不下单。
推荐理由：把意图理解交给 LLM、算账交给确定性求解的架构，附带消融实验和基线对比，是一套可迁移的 Agent 工程参考。
作者 Rajendra Prasad Joshi 在 GitHub 开源 LLM-Evals，一个面向 RAG 与 LLM 应用的端到端评测与回归测试项目。
fingoldo 在 GitHub 开源 llm-bench 0.1.0（alpha），一个可插拔 LLM 基准测试框架，用成本分级筛选、Sequential Halving 逐轮淘汰、断点续跑缓存和分阶段预算上限，把数千次付费调用降到最低。框架支持 Postgres、文件、内存三种存储后端，并通过 CostFilter 支持按每百万 token 输出价格与上下文长度过滤候选模型，MIT 协议发布。
GitHub 开源项目 LLM-Code-Sandbox-Benchmark 提供了一套针对 AI 生成代码的自动化评测框架，在受限 Python 沙箱子进程中执行候选代码，通过 baseline/edge/performance 测试集验证正确性，并基准测试运行时间与内存。工具基于最小二乘法拟合 O(1)…O(n³) 复杂度模型，输出加权 0–100 分的 JSON 报告和 Markdown 评分卡，支持 batch.py 批量排名多个候选及 --fail-under CI 门禁，适用于 HumanEval 式正确性检查与 RLHF 评分等场景。项目仅依赖 Python 3.10+ 标准库，采用 MIT 许可证。
GitHub 上的开源项目 DirectiveBench 发布 v0.1，这是一个本地优先的工作台，用于发现、组织、同步和基准测试跨仓库与 coding agent 的 AI agent 技能、指令和规则。它已实现本地 SQLite 注册表、RED/GREEN 基准引擎、job runner、Web UI 和 CLI，可注册本地及公开 GitHub 仓库并解析 SKILL.md、CLAUDE.md、Cursor .mdc 等格式。目前基准仅支持确定性 mock agent，真实 agent 执行、私有仓库同步和模型提供商接入尚在规划中。
SvenRogue 在 GitHub 发布 ai-model-ranking，一个零依赖单页面的大模型实时排行榜，基于 OpenRouter 平台全球开发者的 Tokens 用量与 API 请求数统计排名。页面每 5 分钟自动从 OpenRouter 公开接口拉取数据，接口不可达时回退到内置快照 snapshot.js。功能包括金银铜热度三甲卡片、Top 10 条形图与机构份额环形图、搜索筛选及详情抽屉，数据仅反映 OpenRouter 生态内的相对热度。
GitHub 上的 llm-evaluation-observability-framework 是一个用 Python 和 FastAPI 构建的 LLM 响应评测框架，提供精确匹配判定、相似度评分（0.0-1.0）、内存中的评测历史记录及 REST API。项目用 pytest 做自动化测试，并通过 GitHub Actions 实现持续集成，当前评测历史不持久化、尚未接入外部 LLM 提供商，后续计划加入基于 embedding 的语义相似度评测与 Docker 部署。
GitHub 项目 HarnessProbe 开源，通过同一模型、同一任务、同一评分器下只切换 harness 配置的矩阵实验，输出 delta 和 Harness Sensitivity Index 而非榜单。作者给出一次 66 trials 的实测示例显示，11 个配置中 10 个得分相同，唯一移除 shell（无法运行测试）的 no-shell 配置掉 16.7 分，说明提示词调整是噪声、验证权限才是主要信号。工具含 6 个双向验证的任务、Wilson 置信区间、pass@k/pass^k 与 flakiness 指标、隔离沙箱，支持 Anthropic、OpenAI 兼容端点、DeepSeek 和 Ollama 本地模型，MIT 协议。
推荐理由：它把 harness 当作唯一变量做矩阵实测，并诚实给出置信区间与任务过易的局限，区分模型能力与脚手架贡献。
neoromantic 发布 @goodit/evals，一个把 eval 文件作为 Bun 测试运行的 LLM 功能评测框架，记录 scorer 指标与 token/延迟数据，并支持基线对比报告。该项目已进入维护模式，只做 bug 修复和依赖更新，不再新增功能；要求 Bun >= 1.3.9，peer 依赖 ai >= 6 和 zod，内置 ExactMatch、Contains、LLM judge 等 scorer，支持 Facts() LLM 判分、evalSuite.each 变体对比和 --json 机器可读输出，MIT 协议开源。
推荐理由：作者给出了把 LLM 功能评测跑成 Bun 测试的完整方案，scorer、基线对比与 token 延迟拆分都可直接迁移到自己的项目。
nexa-gauge 发布，是一个 Python 包和 CLI 工具，用类型化评估图评估 LLM、RAG 和 agentic 系统的输出质量，覆盖 relevance、grounding、redteam、GEval、refmatch、refalign 指标。支持先预估未缓存成本再执行、路由感知的确定性缓存、结构化 JSON 报告和按节点模型路由，可用 pip install nexa-gauge 安装，MIT 协议开源在 https://github.com/OpenOS-Project-Ecosystem-OOC/nexa-gauge。
Calibrate 是一个开源 AI 智能体评测框架，该仓库是其前端部分，帮助用户从缓慢的手动测试转向快速、自动化、可复现的智能体测试流程。项目基于 Node.js 18+，采用 Jest 加 React Testing Library 做组件测试、Playwright 做端到端测试，覆盖率通过 Codecov 分组件与 E2E 两个独立层面分别统计，并支持自托管部署。
Kapitsa 开发者发布 0.2 版，引入新投机解码方法 KFlash，并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s，Inco Splash 1.4.0 DFlash2 为 53 tok/s；Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选，而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果，Splash 需 M3 或更新芯片，Kapitsa 支持 M1 至 M6。
推荐理由：作者给出两代 Mac 上多引擎的实测数据，并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异，便于读者对照自己的机型。
GitHub 开源项目 cypress-ai-vitals 为 Cypress 测试框架添加 AI 质量检查能力，可验证回答语义、图像内容和语音识别错误率，并在 Command Log、终端和 HTML 报告中显示每次模型调用的 token、耗时与费用。它支持 OpenAI、Anthropic、Gemini、Groq、Ollama 等模型，本地 AI 运行时约占 470 MB，模型另下载约 330 MB；可录制回答后在 CI 中离线重放，不产生网络开销。
webkubor 发布并开源了 Scorecard 工具，粘贴 GitHub 仓库、npm 包或网页 URL 即可生成含九维雷达图和整改清单的体检报告，线上版为 scorecard.webkubor.online。工具分四套独立引擎（GitHub 9 维 / npm 7 维 / 网页 9 维 / GEO 4 维），判据只取 API 可核实的客观证据，读不到的数据从分母剔除并标注「无法核实」而非记 0 分；另提供 GEO 引擎测品牌在 AI 答案中的提及率与引用率，支持 CLI、/api/scorecard/compare 对比模式和可直接交给 coding agent 的 /skill.md。项目 MIT 协议开源，线上版地址 https://github.com/webkubor/scorecard。
推荐理由：作者详细说明了读不到的数据如何不进分母、判据对应哪些公开标准，读者可据此评估这类打分工具的可信度。
plotarmordev 在 GitHub 发布 The Grill，其中 grill-perf 对已有的 OpenAI 兼容模型服务器做基准测试，改动引擎、flag 或机器后重跑，直接给出 measured faster、measured slower 或 inconclusive 的结论。工具本地运行、不上传数据，已在 vLLM、TensorFold 和 oMLX 上使用；示例中同一 4-bit Qwen3.8-Flash-Next 在 Mac Studio（M5 Ultra）达 246 tok/s，比 DGX Spark 的 118 tok/s 快 108.7%，但作者强调这比较的是整套部署而非芯片本身。
OpenCompass 是一个开源大模型评测平台，支持 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等模型，集成超 100 个数据集，覆盖知识、推理、代码、长上下文、安全等维度，并整合 VLMEvalKit 支持多模态评测。其最新发布 AgentCompass，支持 30+ 公开 benchmark 和 10+ agent harness（如 Claude Code、Codex、OpenHands），已被 EMNLP 2026 Demo Track 接收。平台兼容 HuggingFace、LMDeploy、vLLM 等推理后端，并提供 CompassRank 排行榜。
GitHub 上的 llm-latency-tracker 通过分布式探针节点测量 AI 推理 API 的网络 TTFB 与推理 TTFT，并发布每日排名、历史快照和区域 p50/p95 统计。2026-10-20 快照覆盖 4 个区域共 46 家推理提供商，亚洲（东京）最快为 fireworks（p50 20 ms）。数据通过 JSON API、MCP 端点开放，代码采用 MIT 许可，数据采用 CC-BY-4.0。
GEOeval 是一个带网络搜索的 LLM 评测基准，聚焦法语事实性问题与事实核查，测试对象包括 ChatGPT、Mistral 和 Gemini。它先让被测模型联网作答并提取引用 URL，再由一个或多个 LLM-judge 按 response_quality 和 citation_quality 两项标准打分，每项为 (label, score)，score ∈ [0, 10]。评测数据存于 PostgreSQL，judges 以 0.3 低温度运行且不带搜索工具。
作者 Sammy S Mutuku 开源了一个基于 LiteLLM 1.104.0 的成本感知路由网关，按预测的推理需求把请求路由到 Gemini 3.1 Flash-Lite 或 Gemini 3.5 Flash，并实测该分类是否有效。在 60 条标注提示词加 40 条 2x2 对照测试中，发现 LiteLLM 内置启发式分类器在该工作负载上表现为提示词长度门槛而非复杂度分类：词数 AUC 达 0.999 而分类分数仅 0.836，无技术词汇的难题得分归零，默认阈值下没有任何请求被路由到强模型。GCP 部署路径已写好但从未 apply，付费 Jev 分类器路径已配置未运行，成本节省金额未测量。
开源项目 llm-compare 可把同一任务并发发给最多三个 LLM，实时测量正确率、成本、耗时和 token 吞吐并流式展示。编码任务在沙箱中跑隐藏边界测试评分，开放性任务由盲评 LLM judge 按加权 rubric 打分；内置 17 个文件式任务，支持 Gemini、Claude、GPT、Kimi 等模型目录和自备 API key，本地一条命令启动，可经 keyless CI 部署到 Google Cloud Run，MIT 协议开源。
furkanbati 在 GitHub 开源了 llm-evaluation-platform，一个用于评测大语言模型输出的 REST API 平台，用 Ollama 生成答案、可插拔指标打分、SQLite 存储每次评测。平台提供 Exact Match、Numeric Match、Token F1、语义相似度和 LLM-as-a-Judge 等八种指标，评测后台运行并有并发上限和队列限制。在 23 个标注用例上，llama3 作为 judge 正确决策 22/23 并拒绝全部 13 个错误答案，judge 通过 XML 标签包裹内容并按数据处理来抵抗提示词注入，但包含注入指令的正确答案仍是唯一失误。
推荐理由：项目给出了八种评测指标在同一批 23 个标注用例上的正确率对比，可以按答案类型选指标，部署门槛是 Docker Compose 加 Ollama。
一个开源 LLM 排行榜项目，风格仿照 Artificial Analysis，数据分来源、永不混合：自测数据来自流式 OpenRouter 调用，参考分数来自 Artificial Analysis API，每个值标注出处。项目明确移除所有价格信息，Measured 数据按 AA 定义的 TTFT、tokens/sec 等指标以 N 次试验取中位数。前端为 Angular 21 + Tailwind v4 + ECharts 的静态页面，浏览器不调用任何 API，密钥由 GitHub Action 持有，每小时刷新 AA 数据（1 次请求），每日跑 5-trial 测量（约 $0.027）。