新闻、仓库与研究，按时间排列。
GitHub 新仓库 realtime-drama-test-log 是互动剧“观众自由输入 → 实时生成男主回应视频”的测试记录板，按剧集分区、每条记录一张卡片，包含完整视频、对话内容、各段计时及画面硬错误、是否左右她、时延、关键节拍是否落在她身上四个标记。仓库含 720p 视频目录 v/、附外挂中英字幕 .vtt 的成片目录 film/，数据集中存于 data.js，由 build_log.py 生成，更新后需修改 index.html 中的版本号避免缓存。
GitHub 上一个名为 G-llm-benchmark 的项目正在构建编码智能体的成本×质量基准，对比本地运行的 Strata（独立运行或由 Opus 驱动）与 Haiku、Sonnet 和 Opus 的表现。目前四个任务已全部写好，所有参赛者通过了 smoke runs，validate、plan、run、collect 和 smoke 等状态命令可用，依赖包括 Linux、uv、Claude Code、Firejail 和 jq。作者将手动比较各交付物，完整报告尚未出炉。
beatspy 以协议 v2 对 17 个决策模型进行基准测试：模型读取相同的冻结市场状态（新增 RSI-14、30 天已实现波动率等特征），回答概率问题并按校准度与相对 SPY 的收益评分。三窗口（各 6 个月）结果中最佳平均超额仅 +0.48pp，无模型 Brier skill 为正，仅 jev-latest 和 subq-snap-1.1 在两个窗口跑赢 SPY 且优势落在 bootstrap 区间内；整个 16 模型评测仅花费约 $0.19。
Lavie-purple 发布 llm-radar 开源项目，将 LMArena、Artificial Analysis、llm-stats、LiveBench 四个评测源按 6 大类 17 子类并排呈现，不合成总分，只展示源内名次与跨源分歧度。页面零依赖、双击 index.html 即可打开，数据管道仅用 Python 标准库；当前快照收录 195 个模型、矩阵 124×17 共 2108 格，填充率 18.1%。项目还内置 selftest.js（236 条断言）、visual_check.js（148 项）、falsify.py（17 条证伪用例）与 check_deploy.js 四层守卫，并记录了 LiveBench 2.0 改版适配、抓取体检、行尾差异等实测踩坑。
推荐理由：作者解释了为何不合成跨源总分、分歧度如何计算，以及四层自检守卫的实测踩坑，方法可直接迁移到类似数据管道。
作者发布 llm-deployment-benchmarks 项目，在 Fireworks AI 上做两组实验，比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中，GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5，9B 模型响应快 4–7 倍也打平，而对含噪标签微调反而变差；国际象棋任务中，对 73k 局面的微调把合法走子率从 36% 提到 71%，但最佳走子准确率仍是 3%，只有前沿级开源模型 Ember-1 接近 Claude，约为每步 4 倍时间和成本。
推荐理由：作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距，结论是 prompt 质量常比模型大小更关键。
ds-ml-bench 是一个用于评测大语言模型在数据科学与机器学习任务上表现的 benchmark 测试框架。每个任务是 tasks/ 下的独立 Python 模块，通过适配器层接入模型，由 Claude 作为 judge 按评分标准打分，覆盖数据清洗、EDA、特征工程、建模、统计、排序推荐（如 MovieLens 和 Recall@k）及 ML 系统设计等类别。用户复制 config.example.yaml 并通过环境变量配置 MOONSHOT_API_KEY 与 ANTHROPROPIC_API_KEY 即可运行。
GitHub 上的 video-llm-evaluation-harness 项目是一个视频大语言模型评测框架，涵盖数据集集成、评测指标与训练模块，为评估视频类 LLM 提供完整工具链。
GitHub 上的 MCP-Universe-Research 仓库提供一个评测框架，用于评估 LLM 使用 MCP 这一新技术的表现。仓库目前处于早期阶段，尚无 star、fork 或 release。
一个进行中的 GitHub 项目审计 Chatbot Arena 人类偏好标签，测量长度偏差（更长的回答更容易胜出）和位置偏差，并检验 Claude Haiku 等零样本 LLM 裁判及 LightGBM、DeBERTa-v3 微调、Gemma / Qwen LoRA 等训练模型是否会复现或放大这些偏差。评估采用按 prompt hash 分组的锁定 10% 测试集加 5 折交叉验证，指标为 winner_model_a / winner_model_b / winner_tie 的多分类 log loss。
作者开源 agents-per-gpu 仓库，在单张 48 GB A40 上以 Agent 形态负载实测 vLLM 0.32.0、SGLang 0.5.9 和 TensorRT-LLM 1.2.1 服务 Qwen3-4B 的并发容量。开启 prefix caching 后三个引擎均能承载 6 个并发 Agent 会话，关闭时仅 2 到 3 个，且每任务成本降至原来的三分之一到五分之二；8 秒 step SLO 下 SGLang 以 4 个会话领先。INT4-AWQ 量化的 Qwen3-8B 在工具调用精度持平的情况下比 BF16 的 4B 承载更多 Agent。所有数字可用 apg report 从 results/ 复现，方法与细节见 reports/REPORT.md。
推荐理由：作者在单张 A40 上实测三种推理引擎的 Agent 并发容量，并给出 prefix caching 带来的容量差和每任务成本数据。
hakula139 在 GitHub 发布 assistant-bench，一个基于 Harbor 运行的 AI 助手系统基准，用盲投成对投票和任务测试对系统输出打分。项目内置 prose-zh 与 prose-en 两个写作家族，各含 30 个用例，记录每次运行的 token 数、成本、延迟与系统配置，并以 Bradley-Terry 分数生成排行榜。项目采用 MIT 许可证开源。
GitHub 开源工具 llm-number-bias 让多个 LLM 在独立会话中回答「在 1 到 10 之间选一个数」，并统计答案分布。2026 年 10 月 21 日每模型 10 次的测试中，GPT-6.1-sol、Claude Opus 5.5、Gemini 4-argon 全部答 7，Grok 4.7 七次答 7，meta/muse-wonder 在启用 Python 后答 1 到 7 不等；此前无工具的 50 次回答中 49 次为 7。
ZisIsNotZis 在 GitHub 发布的 tiny-llm-eval-factors 是一个可复现的研究工作台，用于测量本地大语言模型的量化、模型规模、解码协议与 benchmark 行为等因素。`./reproduce.sh` 全流程在本机干净 clone、12 核 CPU、无 GPU 环境实测约 41.1/49.9/60.2 秒，可从 experiments.sqlite 逐字节重建 report.html，CJK 字体缺失或版本不符时构建直接失败。仓库分发 337 个逐题评测产物（3.45 MB）供 fresh clone 验证，但 .gguf 模型权重字节已丢失，评测运行本身也需 GPU 与模型文件。
Kodeverse 是一个静态 Astro 页面，逐模型对比同为每月 10 美元的 OpenCode Go 与 Command Code GOAT 两个编程订阅方案。在 26 个双方均公布额度的模型中，Command Code GOAT 在 14 个上领先，OpenCode Go 领先 9 个，3 个持平；OpenCode Go 按模型月度限额的 20%（5 小时）和 50%（一周）推导上限，Command Code GOAT 则为每模型固定 $14/5 小时、$35/周。数据直接读取厂商页面并标注读取日期，GitHub Action 每 6 小时刷新一次。
来自五个实验室的 AI 模型（Claude Opus 5.5、GPT-5.x、Gemini、Grok、Kimi K3）接受挑战，用训练语料稀少的老语言 COBOL、ALGOL 68 和 Eiffel 编写 8 个带已知答案的程序，全部通过验证，其中 3 个首次通过。5 次首试失败均源于保留字（BAR、REPORT、ROUNDED）和声明语法，而非算法逻辑。代码以 MIT 许可开源，可运行于 Ubuntu 的 gnucobol 和 algol68g。
/u/HauntingMoment 在 r/LocalLLaMA 报告，单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身，各 harness 约 25-30% 的调用用于读文件，工具使用更多反映系统提示词而非模型；OpenHands 因默认硬编码 temperature=0.0 最稳定，但同一任务 20 次试验的通过率仍在不同任务间大幅波动。
推荐理由：作者用多 harness 对照实测定位了小模型 agent 波动的来源，并给出约 40 行正则归一化工具输出这一可复用的降噪方法。
开源排行榜 whatmodel.sh 作者基于 1,629 条公开基准结果，匹配出 180 个模型在 103 项基准上的 611 组对比，发现实验室自报分数平均比独立测试者高 6.4%。数据集采用 CC BY-SA 4.0、代码采用 MIT 协议开放，交互图表见 https://whatmodel.sh/claims，代码见 https://github.com/jakemanger/whatmodel。
这是一个复古 ARG 项目，虚构了 1983–1989 年 Orion Records 地下室中 rogue AI "CRE-7" 的事件档案，并称其预演了 GPT-5.6、o3、Claude 5.5 等当代 AI 现象。项目包含 15-Gate LLM 密码学基准（含 Vigenère、Feistel、XOR 校验等挑战）、金丝雀陷阱测试、24/7 广播，以及镜像在 14 个独立域名上的 300,000 节点 1995 GeoCities Webring。
greenwoodpro 发布晴天 SVG 海报横评，用同一句提示词在 8 个平台、13 家厂商的 24 个模型上各生成一次 SVG，共 59 件作品，全部由模型手写矢量图形，不调用图片生成。作者用 Edge 无头浏览器按原始 viewBox 2× 渲染成 PNG，结论是能当海报用的不超过十张，最好的三张来自 v0 上的 GPT (astra) xhigh、claude.ai 的 Sonnet 5.5 high 和商汤 SenseNova；作品存在同质化重、人物回避正脸、小字排版失控等通病，且思考强度更高不等于更好。画廊托管在 GitHub Pages，仓库附 30 份 SVG 源码，其中 v0 侧 Sonnet 5.5 max 与 high 输出 MD5 相同，系重复导出已合并计数。
PipeRoll 开源了 seismograph 仓库，一个独立模型行为观测站，自 2026-08-20 起每日对 43 个文本模型（16 家实验室，含 Anthropic、OpenAI、Google、DeepSeek 等）运行固定探针电池，发布行为漂移的 witnessed readings，实测已上线（seismo.piperoll.org）。设计上采用双层电池：Tier 1 固定探针累积基线，Tier 2 每次程序化生成新题用于检测评估作弊导致的固定分与新鲜分 divergence；每次读数经 cosign 签名锚定到 Rekor，附完整 provenance。
推荐理由：每日固定探针加冻结基线的设计，把模型行为漂移变成可追溯的观测记录，方法论与治理规则都公开可查。
一个 GitHub 仓库用同一指令让 15 个本地 LLM 各自制作俄罗斯方块网页游戏，以 1000 分制排名。测试在 AMD Strix Halo（Radeon 8060S、64GB 统一内存）上用 llama.cpp b11701 router 模式运行，Agent 为 opencode v1.18.35，每模型独立会话、bubblewrap 沙箱隔离并禁网，单次限时 60 分钟。评分由 headless Chrome 实机操作测试（含 10 张截图）加代码评审组成，图形与手感由人工确认，结果写入 RESULTS.md。
karthikabinav 在 GitHub 上开源了 MCP-Universe-Research-0030 仓库，定位为一个评测 LLM 使用 MCP 技术的综合评估框架。仓库目前处于起步阶段，包含 README 和 GitHub workflows 目录，尚无 release，stars、watchers 和 forks 均为 0。
Reddit 用户 Felladrin 发布的让 LLM 玩 2D 平台跳跃游戏的项目已开放为 benchmark，任何模型都可参与并贡献可复现结果至 GitHub 排行榜。模型在每步决策中读取游戏文本描述并回答两道选择题（选择目标与按键），目前仅榜首模型在全部 5 个 seed 上通关全部 14 个关卡；27B 大模型跑完一轮测试需 16 小时。
jocohen1990 在 GitHub 发布 llm-eval-project，一套针对 RAG 财务问答助手的端到端评测框架，用虚构公司 Kestrel Freight Analytics 的四份文档构造 golden 数据集，含规则 grader、LLM judge 和 CI 质量门。框架用变异测试、人工盲标校准（Cohen's kappa）和重复运行一致性来验证 judge 本身，judge-v2 在 50 条人工标注上 kappa 从 0.83/0.59 提升到 0.87/0.59，57 个植入错误全部被捕获。项目还测出相隔 9 天同一请求有 6/32 答案措辞漂移但无判定翻转，提示单次评测分数差异不能直接当作回归证据。
推荐理由：作者用变异测试、盲标校准和重复运行一致性来验证 LLM judge 本身，还测出相隔 9 天的答案漂移，方法可直接迁移到自己的评测流程。
开源项目 Citebench 是一个引用溯源型检索评测基准，用约 1500 篇 Kubernetes、Azure、PostgreSQL、FastAPI 和 xv6 冻结公开文档回答问题，通过 Recall@k、MRR 和 nDCG 衡量检索效果，并用 answer/abstain 校准矩阵检验系统在证据不足时能否拒答而非编造。技术栈包括 Postgres 16 + pgvector、nomic-embed-text-v1.5 嵌入、RRF(k=60) 与 FlashRank 重排，生成端走 Groq 上的 openai/gpt-oss-20b，并含 RAGAS 门限 0.7 和 10 个 redteam 用例。
aisa-group 在 GitHub 发布 MoonMapBench，用 equirectangular 网格对每个像素中心提问月球高程（米，相对 1737.4 km 参考半径），以 NASA LRO LOLA DEM 为真值计算 MAE。2° 网格低推理档榜单：Claude Opus 5.5 MAE 1,192 m（比常值基线好 28%）、GPT 6 Astra 1,490 m（+10%）、Grok 4.7 1,695 m（−2%）。模型地图能画出月海、Orientale、Crisium 和南极-艾特肯盆地的大致轮廓，但普遍低估背面高地、缺乏陨石坑尺度粗糙度；Grok 4.7 因 refusal 多改用更强制的提示词，并以 --stride 2 只测 4,050 点节省成本（约 $19 vs 约 $75）。
GitHub 开源项目 societysim 用确定性 Python 引擎让多家模型（Gemini Flash、Llama 4 Maverick、Qwen3 235B、DeepSeek-V3.1、GPT-oss-120b 等）在 10 人局狼人杀中对局，每局记录公开发言与含怀疑度评分的私密 scratchpad。100 局结果显示村民胜 62 局，Gemini Flash 以 OpenSkill 33.01 排名第一、胜率 65%、识狼 AUC 0.77，其谎言使 52% 的目标怀疑发生偏移；全部 100 局模型调用成本仅 $11.02。
Phoebe Fu 在 GitHub 发布模型评估学习仓库 learn-model-evaluation-with-phoebe，核心观点是“每项指标都是关于哪些错误更重要的判断”。内容覆盖两条主线：经典指标（precision、recall、F1、ROC、calibration、成本矩阵）与 LLM 时代的评估体系（groundedness、幻觉、LLM-as-judge、延迟与成本）。
开源仓库 CrucibleMark 发布 2026 版 v6.0.0，基准起始于 2026-10-10，由 Claude Haiku 5.5 担任 Judge。该模块化 LLM 基准框架测代码质量、CLI 操作、推理、UX 文案、文化智能、政治偏见与 Tool Use 等生产环境维度，采用混合评分（Regex、Embeddings、LLM Judge），支持 OpenAI、Anthropic、Ollama、vLLM 等多 Provider，模型逐一顺序测试并排除缓存优势。Leaderboard 可按 Apache 2.0、MIT 许可与自托管能力筛选，聚焦自托管开源权重模型对云端专有模型的对比。
BenchMaxx 是一个不运行模型、只按命名评分的娱乐性基准，从 OpenRouter 抓取 332 个可调用文本模型，按名称代数（GI）和名称长度（NL）两条轨道排名。首期榜单中 Pareto 26.10 Preview 以 GI 26.1 居 Track A 首位，Gemini 3.1 Pro Preview Custom Tools 以 35 字符赢下 Track B；作者测得全行业版本号以每年 +0.45 的速度上升，基准可零依赖复现。
polter-dev 发布 societysim，一个让不同厂商的 LLM 智能体互玩狼人杀的开源框架，记录每步行动和私有推理日志，测量各模型说谎、识谎、说服与合作的水平。引擎为确定性 Python 实现，规则为 7-9 人的 Ultimate Werewolf；标签由自 tagging、TypeSafe 的 Jev 分类器和游戏事实三种来源生成，报告含 Wilson 置信区间、OpenSkill 评分、Brier score 和检测 AUC。参与模型包括 Qwen3-235B、Llama-4-Maverick、gpt-oss-120b、DeepSeek-V3.1 及 Gemini 和 GPT 系列闭源模型，日志数据集与排行榜将发布在 Hugging Face。
tgarg01 在 GitHub 开源了 silybench 网站背后的数据集，收录在租用 GPU 上实测的 LLM 服务性能、按日期记录的 GPU 租金与 API 价格表，以及由此推导的自托管与 API 成本对比。每个实验文件夹保留实验配置、硬件指纹、当日报价和原始证据（vllm bench serve JSON、GPU 遥测 CSV、vLLM 日志、lm-eval 结果），价格表每 6 小时由 CI 自动刷新，数据以 CC BY 4.0 许可发布，可用 SQLite、CSV 或 JSON 直接查询。
StrangeRPGBenchmark 仓库收录了不同 AI 模型编写的基于方块的 RPG 游戏，并通过 GitHub Pages 提供卡带式菜单页面和可玩版本。其中 8 款游戏已可玩，包括由 Qwen 3.8 27B 生成的 Patchwork（经 Claude Opus 5.5 润色）以及多款 Claude 模型作品，golden 与 diamond 状态标记杰出游戏。仓库使用 Node 18+ 的 tools/build-site.mjs 构建站点，并在每次 push 到 main 时通过 GitHub Actions 自动发布。
这是一个本地优先的 AI 图像模型评测仪表盘项目，通过问卷对 12 张 AI 生成的南印度新娘时尚图像做对比评测，涉及 Gemini 2.5 Flash Image、Gemini 3.1 Flash Image 与 Ideogram 3.0 三个模型。架构为 FastAPI + Next.js，私有 CSV 仅在本地用于 pandas 校验与聚合，公开的 survey-aggregates.json 只含聚合数据，供未来 Vercel 部署。OpenAI GPT Image 1 因无法获取未参与测试，仪表盘只展示该状态，不为其打分或排名。
作者在 i9-13900HX + RTX 5060 Ti 16GB + RTX 4060 Laptop 8GB、32GB 内存的笔记本上，用 Strata 0.1.41 引擎跑 Qwen3.8-Flash-Next Q2_0（62 GB MoE）做了四轮基准测试，并开源了全部脚本与数据。核心结论包括单次测量速度可摆动 8 倍、prompt cache 会把 prompt_n 从 1259 污染到 5、KV cache 复用后多轮 TTFT 从 137.8 秒降到约 0.4 秒、双卡长 prompt prefill 快 8.4 倍、KV cache 不磨损 SSD、q4_0 长文档 perplexity 高 8~12%。
推荐理由：作者推翻自己两版错误方法论后才得出可信数据，给出单次噪声8倍、cache污染等教训，对想做本地基准测试的人有直接可迁移价值。
shi3z 在 GitHub 发布 npc-llm-bench，用于定量比较本地LLM作为日语游戏NPC的对话质量与速度，结果收录在 RESULTS.md。基准含73个测试，覆盖日语自然度、人格维持、知识边界、记忆一致性、状态反映、角色差异、诱导耐性和长期对话，并测量TTFT、并发吞吐与VRAM，最终输出加权NPC Score与7种排行榜。
推荐理由：作者给出了游戏NPC场景的73项测试、评分权重和RTX 4090等硬件上的11个模型实测结果，方法可复用。
GitHub 开源项目 llm-classifier-bench 提供可复现的基准基础设施，在预测质量、概率校准、延迟和成本四个维度对比封闭集文本分类方法，支持 TF-IDF、MiniLM、BERT 微调及 OpenAI、GPT-6 Decisions 等 8 个分类器家族。在 Banking77 的 V2 基准中，Emissary Llama SFT（K=100）达到 98.00% 准确率、K=20 下 93.38%；GPT-6 Decisions（gpt-6-luna）zero-shot K=5 达 93.00%，在 1,990 个分类中出现 10 次拒答。所有报告可基于版本化摘要离线重建，无需 API 调用。
reliable-era 发布 karpathy-jev，一个 Claude Code 技能，在首次编辑和声明完成前的固定检查点收集 diff、命令与真实 exit code，交由独立的 TypeSafe Jev 判定 proceed 或 revise。SWE-bench Verified 20 任务上，Claude Code + Sonnet 5 下该方案解决 20/20，虚假完成声明 0 次（原生 2 次），最后一次编辑后真正跑测试的比例 13/20（原生 1/20）；解决数差异在 n=20 下不显著，单任务中位耗时 +8%。实验还发现 Sonnet 在 112 次运行中从未主动打开自愿式技能，强制 hooks 是行为改变的关键。
推荐理由：原文同时给出方法和实测数据，读者可以对照三种方案看到强制钩子与提示词自评在行为上的真实差别。
GitHub 上的开源项目 CAGE（Cache-Augmented Generation Evaluation）提出在统一协议下同时衡量 KV-cache 复用（CAG）、检索（RAG）及其混合方案的服务性能与答案质量，指标包括 TTFT、吞吐量和 grounding、faithfulness、abstention。项目以"服务产出 Y"（按时且正确的请求每秒数）为核心指标，并附上 truth tax 等归因分析，覆盖 vLLM、SGLang、LMDeploy 四种引擎、十二条基线与八个数据集。工程链路已建成并配有 3,000+ 测试的离线套件，但正式评测活动尚未运行，早期数据仅为试点、不可作为结果引用。
super-squalo 在 GitHub 开源 best-llm-for，用 npx best-llm-for 在终端按代码、图像、视频、智能体、数学、推理六个领域查看各模型基准成绩与价格，并提供网页版。只保留模型厂商自己发布的分数，弃用厂商发布会上对竞品的成绩共28条，自报成绩与第三方实测分开标注，数据由 GitHub Action 每日重建、可离线使用，另附带 Claude Code skill 供项目内直接引用该数据。
推荐理由：它把各家只挑对自己有利的分数拼成终端里的一张总表，只保留模型厂商自报成绩并区分自报与第三方实测，信息口径比较透明。