新闻、仓库与研究，按时间排列。
GitHub 新仓库 realtime-drama-test-log 是互动剧“观众自由输入 → 实时生成男主回应视频”的测试记录板，按剧集分区、每条记录一张卡片，包含完整视频、对话内容、各段计时及画面硬错误、是否左右她、时延、关键节拍是否落在她身上四个标记。仓库含 720p 视频目录 v/、附外挂中英字幕 .vtt 的成片目录 film/，数据集中存于 data.js，由 build_log.py 生成，更新后需修改 index.html 中的版本号避免缓存。
GitHub 上一个名为 G-llm-benchmark 的项目正在构建编码智能体的成本×质量基准，对比本地运行的 Strata（独立运行或由 Opus 驱动）与 Haiku、Sonnet 和 Opus 的表现。目前四个任务已全部写好，所有参赛者通过了 smoke runs，validate、plan、run、collect 和 smoke 等状态命令可用，依赖包括 Linux、uv、Claude Code、Firejail 和 jq。作者将手动比较各交付物，完整报告尚未出炉。
Lavie-purple 发布 llm-radar 开源项目，将 LMArena、Artificial Analysis、llm-stats、LiveBench 四个评测源按 6 大类 17 子类并排呈现，不合成总分，只展示源内名次与跨源分歧度。页面零依赖、双击 index.html 即可打开，数据管道仅用 Python 标准库；当前快照收录 195 个模型、矩阵 124×17 共 2108 格，填充率 18.1%。项目还内置 selftest.js（236 条断言）、visual_check.js（148 项）、falsify.py（17 条证伪用例）与 check_deploy.js 四层守卫，并记录了 LiveBench 2.0 改版适配、抓取体检、行尾差异等实测踩坑。
推荐理由：作者解释了为何不合成跨源总分、分歧度如何计算，以及四层自检守卫的实测踩坑，方法可直接迁移到类似数据管道。
一位 r/LocalLLaMA 用户发布了自己在 16GB VRAM、32GB RAM 环境下进行的 5 项算法任务模型测试 V2，相比上一版收紧了任务设置并更换了参测模型阵容，同时开源了 GitHub 仓库供他人复现。结果显示 CyberTiel 和 Ornith 表现意外出色，而 LFM 和 Mellum 在真实负载下表现不佳。
matnum 发布 local-llm-benchmarks 仓库，在 128 GB 统一内存的 AMD Ryzen AI Max+ 395（Strix Halo）上用 llama.cpp 对 10 个 GGUF 模型/量化组合在 Vulkan 与 ROCm 两个后端测吞吐、延迟、内存、功耗与 tokens-per-watt。结果显示 Vulkan 在 10/10 单元生成更快（6 个领先 2.1–18.0%），ROCm 在 9/10 单元 prefill 更快（6.2–56.8%）；MoE 模型生成速度和每瓦效率是同体量稠密模型的 5–8 倍，gpt-oss-120b（MXFP4，约 59 GiB）达 55.3 tok/s。
推荐理由：原文公开了完整测试矩阵、固定 commit 和可复算测试，读者可以按需核对每个数字而不是直接信任结论。
GitHub 上的 video-llm-evaluation-harness 项目是一个视频大语言模型评测框架，涵盖数据集集成、评测指标与训练模块，为评估视频类 LLM 提供完整工具链。
GitHub 上的 MCP-Universe-Research 仓库提供一个评测框架，用于评估 LLM 使用 MCP 这一新技术的表现。仓库目前处于早期阶段，尚无 star、fork 或 release。
该仓库收录了一系列大模型本地与云端实测报告：最新一篇对比 Claude Opus 5.5（Claude Code）与 GPT 6.1 sol（Codex）在同一 WebGL 任务上的表现；其余测试集中在 Qwen3.8-27B 8-bit（MLX affine8 / MLTF q8c / GGUF Q8_0）上，覆盖 256K 上下文压力测试、128K vision 性能、MLTF 与 mlx-vlm 对比，以及 DeepSeek V4.1 Flash 的 AI Werewolf 十局游戏测试等场景。
GitHub 上的 z440-ollama-benchmarking 项目发布面向本地运行 Ollama 模型的交互式基准测试结果看板。看板提供可排序、可筛选的模型对比表、基于 `ollama ps` 实测内存的 VRAM 可行性指示、生成速度与内存占用图表，以及质量分级热力图和指标术语表。通过主仓库运行 Publish-Website.ps1 -Push 即可重新生成 data.js 并推送最新结果。
Tajima（Shumei University）公开了预部署评估研究的数据、分析脚本和图表代码，研究考察 GPT-4o、Claude Opus 4.5 与 Gemini 2.5 Flash-Lite 在护理临床判断题上的输出一致性何时不再对应正确率。主分析（Study 2）基于日本国家护理考试 2018–2026 年间公开的 90 道题，90 题 × 11 个模型-温度条件 × 30 次 = 29,700 条响应；修订版将受并列项顺序影响的分诊 AUC 修正为 GPT-4o 0.77、Claude 0.50、Gemini 0.68。
作者发布塞尔维亚语大语言模型基准 serbeval，基于 lm-evaluation-harness 0.4.12，官方集 v1.2 共 351 题，其中 61 题经人工核验、214 题由四模型共识确认、76 题由其派生，重点考查翻译无法覆盖的语法现象如格支配、动词体、aorist/imperfect、正字法与西里尔/拉丁字母一致性。30 个模型经 OpenRouter 零样本评测显示 openai_gpt-6-sol 以 99% 居首，gemini-3.8-flash、claude-opus-5.5、gpt-6.1-sol 98%，前沿模型差距很小，剩余错误多为有争议的正字规范；DeepSeek V4 Pro 达 95% 超过 Sonnet 5.5（94%），Kimi K3 92%。
hakula139 在 GitHub 发布 assistant-bench，一个基于 Harbor 运行的 AI 助手系统基准，用盲投成对投票和任务测试对系统输出打分。项目内置 prose-zh 与 prose-en 两个写作家族，各含 30 个用例，记录每次运行的 token 数、成本、延迟与系统配置，并以 Bradley-Terry 分数生成排行榜。项目采用 MIT 许可证开源。
GitHub 开源工具 llm-number-bias 让多个 LLM 在独立会话中回答「在 1 到 10 之间选一个数」，并统计答案分布。2026 年 10 月 21 日每模型 10 次的测试中，GPT-6.1-sol、Claude Opus 5.5、Gemini 4-argon 全部答 7，Grok 4.7 七次答 7，meta/muse-wonder 在启用 Python 后答 1 到 7 不等；此前无工具的 50 次回答中 49 次为 7。
ZisIsNotZis 在 GitHub 发布的 tiny-llm-eval-factors 是一个可复现的研究工作台，用于测量本地大语言模型的量化、模型规模、解码协议与 benchmark 行为等因素。`./reproduce.sh` 全流程在本机干净 clone、12 核 CPU、无 GPU 环境实测约 41.1/49.9/60.2 秒，可从 experiments.sqlite 逐字节重建 report.html，CJK 字体缺失或版本不符时构建直接失败。仓库分发 337 个逐题评测产物（3.45 MB）供 fresh clone 验证，但 .gguf 模型权重字节已丢失，评测运行本身也需 GPU 与模型文件。
来自五个实验室的 AI 模型（Claude Opus 5.5、GPT-5.x、Gemini、Grok、Kimi K3）接受挑战，用训练语料稀少的老语言 COBOL、ALGOL 68 和 Eiffel 编写 8 个带已知答案的程序，全部通过验证，其中 3 个首次通过。5 次首试失败均源于保留字（BAR、REPORT、ROUNDED）和声明语法，而非算法逻辑。代码以 MIT 许可开源，可运行于 Ubuntu 的 gnucobol 和 algol68g。
开源仓库 yuri4061/LLM-RGB 收录 15 个测试用例，从上下文长度（最长超 10K token）、推理深度和指令遵从三个维度评估 LLM 在复杂场景下的表现，单项难度之和乘以断言得分计分，15 例满分 100。评测基于 promptfoo 运行，2025 年 3 月 26 日结果为 5 次取平均，欢迎社区贡献新测试用例。
作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。
推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。
lablup 在 GitHub 上线 llm-benchmark-inventory 仓库，以韩语整理韩文与英文 LLM 基准、推理性能工具、公开性能对比和 GPU·引擎资源监测资料，英文界面后续单独提供。清单收录韩语基准 57 个（商用可用 28 个）与英文基准 31 个（商用可用 21 个），每个条目附任务示例、许可证、修改/再分发条件、lm-evaluation-harness 是否内建，以及分数出处和确认日期；基准卡还列出同源同配置下得分最高的 3 个模型与 3 个开放权重模型。许可证于 2026-09-26 核对，仓库提醒后续可能变化，使用前需复查原文。
开源排行榜 whatmodel.sh 作者基于 1,629 条公开基准结果，匹配出 180 个模型在 103 项基准上的 611 组对比，发现实验室自报分数平均比独立测试者高 6.4%。数据集采用 CC BY-SA 4.0、代码采用 MIT 协议开放，交互图表见 https://whatmodel.sh/claims，代码见 https://github.com/jakemanger/whatmodel。
这是一个复古 ARG 项目，虚构了 1983–1989 年 Orion Records 地下室中 rogue AI "CRE-7" 的事件档案，并称其预演了 GPT-5.6、o3、Claude 5.5 等当代 AI 现象。项目包含 15-Gate LLM 密码学基准（含 Vigenère、Feistel、XOR 校验等挑战）、金丝雀陷阱测试、24/7 广播，以及镜像在 14 个独立域名上的 300,000 节点 1995 GeoCities Webring。
greenwoodpro 发布晴天 SVG 海报横评，用同一句提示词在 8 个平台、13 家厂商的 24 个模型上各生成一次 SVG，共 59 件作品，全部由模型手写矢量图形，不调用图片生成。作者用 Edge 无头浏览器按原始 viewBox 2× 渲染成 PNG，结论是能当海报用的不超过十张，最好的三张来自 v0 上的 GPT (astra) xhigh、claude.ai 的 Sonnet 5.5 high 和商汤 SenseNova；作品存在同质化重、人物回避正脸、小字排版失控等通病，且思考强度更高不等于更好。画廊托管在 GitHub Pages，仓库附 30 份 SVG 源码，其中 v0 侧 Sonnet 5.5 max 与 high 输出 MD5 相同，系重复导出已合并计数。
PipeRoll 开源了 seismograph 仓库，一个独立模型行为观测站，自 2026-08-20 起每日对 43 个文本模型（16 家实验室，含 Anthropic、OpenAI、Google、DeepSeek 等）运行固定探针电池，发布行为漂移的 witnessed readings，实测已上线（seismo.piperoll.org）。设计上采用双层电池：Tier 1 固定探针累积基线，Tier 2 每次程序化生成新题用于检测评估作弊导致的固定分与新鲜分 divergence；每次读数经 cosign 签名锚定到 Rekor，附完整 provenance。
推荐理由：每日固定探针加冻结基线的设计，把模型行为漂移变成可追溯的观测记录，方法论与治理规则都公开可查。
一个 GitHub 仓库用同一指令让 15 个本地 LLM 各自制作俄罗斯方块网页游戏，以 1000 分制排名。测试在 AMD Strix Halo（Radeon 8060S、64GB 统一内存）上用 llama.cpp b11701 router 模式运行，Agent 为 opencode v1.18.35，每模型独立会话、bubblewrap 沙箱隔离并禁网，单次限时 60 分钟。评分由 headless Chrome 实机操作测试（含 10 张截图）加代码评审组成，图形与手感由人工确认，结果写入 RESULTS.md。
karthikabinav 在 GitHub 上开源了 MCP-Universe-Research-0030 仓库，定位为一个评测 LLM 使用 MCP 技术的综合评估框架。仓库目前处于起步阶段，包含 README 和 GitHub workflows 目录，尚无 release，stars、watchers 和 forks 均为 0。
Reddit 用户 Felladrin 发布的让 LLM 玩 2D 平台跳跃游戏的项目已开放为 benchmark，任何模型都可参与并贡献可复现结果至 GitHub 排行榜。模型在每步决策中读取游戏文本描述并回答两道选择题（选择目标与按键），目前仅榜首模型在全部 5 个 seed 上通关全部 14 个关卡；27B 大模型跑完一轮测试需 16 小时。
jocohen1990 在 GitHub 发布 llm-eval-project，一套针对 RAG 财务问答助手的端到端评测框架，用虚构公司 Kestrel Freight Analytics 的四份文档构造 golden 数据集，含规则 grader、LLM judge 和 CI 质量门。框架用变异测试、人工盲标校准（Cohen's kappa）和重复运行一致性来验证 judge 本身，judge-v2 在 50 条人工标注上 kappa 从 0.83/0.59 提升到 0.87/0.59，57 个植入错误全部被捕获。项目还测出相隔 9 天同一请求有 6/32 答案措辞漂移但无判定翻转，提示单次评测分数差异不能直接当作回归证据。
推荐理由：作者用变异测试、盲标校准和重复运行一致性来验证 LLM judge 本身，还测出相隔 9 天的答案漂移，方法可直接迁移到自己的评测流程。
三值量化 LLM 在无点积指令的 Arduino UNO Q（4x Cortex-A53）上测试：TQ2_0 比 Q4_0 快 43.7%，但训练后三值化的 Qwen3-0.6B 质量崩溃。Stage 0 结果见 REPORT.md（G1: PASS），预注册方案为 PREREG.md。
GitHub 项目 AI-Quality-Evaluation-Pipeline 提供可嵌入 CI/CD 的 AI 质量评测流水线。LLM 评测用 Ollama + Qwen 2.5 3B，12 个用例 PASS 率 8.3%，发现间接提示词注入漏洞，LLM-as-a-Judge 比 keyword 检查更可靠；ASR 评测用 faster-whisper small（int8 量化），干净音频 WER 约 5.23%，噪声音频达 81.48%。
开源项目 Citebench 是一个引用溯源型检索评测基准，用约 1500 篇 Kubernetes、Azure、PostgreSQL、FastAPI 和 xv6 冻结公开文档回答问题，通过 Recall@k、MRR 和 nDCG 衡量检索效果，并用 answer/abstain 校准矩阵检验系统在证据不足时能否拒答而非编造。技术栈包括 Postgres 16 + pgvector、nomic-embed-text-v1.5 嵌入、RRF(k=60) 与 FlashRank 重排，生成端走 Groq 上的 openai/gpt-oss-20b，并含 RAGAS 门限 0.7 和 10 个 redteam 用例。
GitHub 开源项目 societysim 用确定性 Python 引擎让多家模型（Gemini Flash、Llama 4 Maverick、Qwen3 235B、DeepSeek-V3.1、GPT-oss-120b 等）在 10 人局狼人杀中对局，每局记录公开发言与含怀疑度评分的私密 scratchpad。100 局结果显示村民胜 62 局，Gemini Flash 以 OpenSkill 33.01 排名第一、胜率 65%、识狼 AUC 0.77，其谎言使 52% 的目标怀疑发生偏移；全部 100 局模型调用成本仅 $11.02。
作者 /u/zhebrak 发布了自建基准 BrokenML，测试 Agent 在不同权限级别下修复故障 ML 作业的能力，场景包括双节点 Slurm 集群上的 PyTorch over Gloo 和 Docker Compose 里的 llama.cpp 服务器。故障类型覆盖 rank 间 shape 不匹配、挂起的 collective、straggler 节点、OOM、损坏的 checkpoint、调度问题、低服务吞吐和静默 loss 发散，由独立验证器在全新集群上复跑作业来打分。
local-llm-eval 是一款无需编程即可在 Windows 电脑上运行的本地评测工具，用于测试 Qwen2.5（GGUF 格式）模型回答印尼语问题的准确率及从文档中抽取结构化信息的能力。工具采用 Wilson 置信区间和 McNemar 检验等统计方法保证结果可信，示例报告显示问答准确率 78.5%、文档抽取成功率 92.0%，支持自定义测试题数量与模型版本，并兼容 Google Colab 在线运行。
Phoebe Fu 在 GitHub 发布模型评估学习仓库 learn-model-evaluation-with-phoebe，核心观点是“每项指标都是关于哪些错误更重要的判断”。内容覆盖两条主线：经典指标（precision、recall、F1、ROC、calibration、成本矩阵）与 LLM 时代的评估体系（groundedness、幻觉、LLM-as-judge、延迟与成本）。
开源仓库 CrucibleMark 发布 2026 版 v6.0.0，基准起始于 2026-10-10，由 Claude Haiku 5.5 担任 Judge。该模块化 LLM 基准框架测代码质量、CLI 操作、推理、UX 文案、文化智能、政治偏见与 Tool Use 等生产环境维度，采用混合评分（Regex、Embeddings、LLM Judge），支持 OpenAI、Anthropic、Ollama、vLLM 等多 Provider，模型逐一顺序测试并排除缓存优势。Leaderboard 可按 Apache 2.0、MIT 许可与自托管能力筛选，聚焦自托管开源权重模型对云端专有模型的对比。
BenchMaxx 是一个不运行模型、只按命名评分的娱乐性基准，从 OpenRouter 抓取 332 个可调用文本模型，按名称代数（GI）和名称长度（NL）两条轨道排名。首期榜单中 Pareto 26.10 Preview 以 GI 26.1 居 Track A 首位，Gemini 3.1 Pro Preview Custom Tools 以 35 字符赢下 Track B；作者测得全行业版本号以每年 +0.45 的速度上升，基准可零依赖复现。
作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度，请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位，如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%，而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口；作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信，超过 31B 稠密模型约 44 tok/s 的物理上限。
推荐理由：作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异，并指出引擎配置和内存预算比引擎本身影响更大。
polter-dev 发布 societysim，一个让不同厂商的 LLM 智能体互玩狼人杀的开源框架，记录每步行动和私有推理日志，测量各模型说谎、识谎、说服与合作的水平。引擎为确定性 Python 实现，规则为 7-9 人的 Ultimate Werewolf；标签由自 tagging、TypeSafe 的 Jev 分类器和游戏事实三种来源生成，报告含 Wilson 置信区间、OpenSkill 评分、Brier score 和检测 AUC。参与模型包括 Qwen3-235B、Llama-4-Maverick、gpt-oss-120b、DeepSeek-V3.1 及 Gemini 和 GPT 系列闭源模型，日志数据集与排行榜将发布在 Hugging Face。
tgarg01 在 GitHub 开源了 silybench 网站背后的数据集，收录在租用 GPU 上实测的 LLM 服务性能、按日期记录的 GPU 租金与 API 价格表，以及由此推导的自托管与 API 成本对比。每个实验文件夹保留实验配置、硬件指纹、当日报价和原始证据（vllm bench serve JSON、GPU 遥测 CSV、vLLM 日志、lm-eval 结果），价格表每 6 小时由 CI 自动刷新，数据以 CC BY 4.0 许可发布，可用 SQLite、CSV 或 JSON 直接查询。
StrangeRPGBenchmark 仓库收录了不同 AI 模型编写的基于方块的 RPG 游戏，并通过 GitHub Pages 提供卡带式菜单页面和可玩版本。其中 8 款游戏已可玩，包括由 Qwen 3.8 27B 生成的 Patchwork（经 Claude Opus 5.5 润色）以及多款 Claude 模型作品，golden 与 diamond 状态标记杰出游戏。仓库使用 Node 18+ 的 tools/build-site.mjs 构建站点，并在每次 push 到 main 时通过 GitHub Actions 自动发布。
这是一个本地优先的 AI 图像模型评测仪表盘项目，通过问卷对 12 张 AI 生成的南印度新娘时尚图像做对比评测，涉及 Gemini 2.5 Flash Image、Gemini 3.1 Flash Image 与 Ideogram 3.0 三个模型。架构为 FastAPI + Next.js，私有 CSV 仅在本地用于 pandas 校验与聚合，公开的 survey-aggregates.json 只含聚合数据，供未来 Vercel 部署。OpenAI GPT Image 1 因无法获取未参与测试，仪表盘只展示该状态，不为其打分或排名。