新闻、仓库与研究，按时间排列。
GitHub 上的 JimJafar/no-dice 项目提供一组用于评测 LLM 的游戏，通过 no-dice CLI 运行 match、series、stats、evidence、showcase 等命令。series 会对每个 seed 双向对局，在 99% Wilson 区间排除 50% 或达到 --max-pairs（默认 75）时停止；模型席位通过 providers.json 配置 provider，包含 contextWindow 131072、maxTokens 8192 等字段，密钥从环境变量读取。项目无构建步骤，源码直接运行于 Node 22.18 及以上版本。
作者发布 EigenTrace 仓库，这是一套全天候测量工具，抓取实时新闻后让 ChatGPT、Claude、DeepSeek、Gemini、Grok 五个前沿模型各自生成摘要，再用冻结嵌入模型 BAAI/bge-large-en-v1.5 上的确定性几何计算保留、偏移与遗漏，不做第二轮模型评判。代码 MIT 许可，项目自 2026-03-31 起每天导出数据至 https://eigentrace.ai，由单块消费级 GPU 24/7 运行，配本地 Mistral 模型负责旁白。作者说明结果未经同行评审，日常样本较小（近 30 天中位数 47 条故事），且所有数值依赖单一嵌入模型。
GitHub 仓库 lapulikovs/ai-translation-quality-benchmark 对比 LLM 与 MT 的翻译质量，采用 MQM 风格的评分体系打分，并附带对 LLM 评审（judge）的审计。仓库包含 P1 原始输出（2026-10-01 提交）、Compare.csv、Judge_scores.csv、Scoring.csv 及 judge_prompt.md 等文件。
kamui 在 GitHub 发布 code-review-bench，一个用于在开源 PR 上对比代码评审配置的本地浏览器，当前展示 v1 记分卡，690 次已收录评审全部完成评分。语料含 16 个 PR 任务、52 个因果问题族（30 个严重、22 个其他实质）和 17 种配置，内置 Claude Code 与 Codex 评审、ce-code-review 和 thermo-nuclear-code-quality-review，个人 /review-code 配置（Sonnet 5.5）为实验项。评估员审计第一轮仍在进行，最后一次评分提出 14 个待裁定候选问题，因此暂不显示总体推荐。
推荐理由：原文详细公开了评分内核、判定规则与证据保留方式，读者可以据此理解该代码评审基准如何保持各维度可比。
Jossiaah/slm-benchmarking-agent 是一个面向通过 Ollama 本地运行的开源小语言模型（SLM）的性能评测框架，通过 httpx 异步流式遥测捕获 TTFT 与 token 生成吞吐，并用正则规则校验输出 JSON 的结构对齐。框架内置双模式容错，本地 GPU 通信失败时可回退到模拟指标生成器实现开箱即用，并集成 pytest-asyncio 与 GitHub Actions 定时任务做自动化回归测试。
一位开发者在双人合作游戏中将 Kimi、Claude、GPT、Gemini 两两配对测试协作能力，发现强强组合胜率最高，而加入第三或第四个智能体反而拖累所有模型，人类搭档的表现仍超过全部模型组合。作者来自 Skillprint，该公司通过此类游戏研究人与模型的协调能力。
riccardogiorato 的 GitHub 仓库记录了在一张 2018 年 8 GB 显存的 RTX 2080 上实测的 25 个模型，按 AG-Bench v2.1（11 个 canary 校验任务）给出 Top 10 排名，每个模型附完整 artifact、运行时 digest、启动配置与可复现命令，失败也一并记录。关键发现包括：约 2 bits-per-weight 以下推理链断裂（IQ1_S 空转、Flash-Next-125B 直达 EOS），Bonsai 仅靠把上下文从 8K 提到 64K 分数就从 5/11 涨到 8/11；UBBoost 主张被复现，A3B 用 -ub 4096 预填充提速 24%。仓库含 recipes、raw JSONL 证据与基准套件。
推荐理由：在同一张 8 GB 老卡上跑通 25 个模型并给出可复现配置与量化下限结论，想选本地模型的人可以直接对照结论。
该仓库提供论文《Certified Corruption Budgets: Anytime-Valid Leaderboard Claims under Adaptive Rigging》的代码、数据和保存结果，实现 edge tolerance 与 lead tolerance 两种 corruption tolerance，以及 closed-testing 和 Bonferroni 的整榜版本，覆盖实验 E1 至 E10。
g-vega-cl 在 GitHub 开源了 llm-market-bench，一个让多个 LLM 在虚拟股市中对抗的自动化基准平台，盘中每日多次解析财经通讯、辩论全球事件并调仓，以对照 S&P 500 检验推理能力。平台提供完整"思考过程"轨迹与决策归因审计链，采用 pnpm 管理的 monorepo，包含 Python 数据引擎与 TanStack Start 前端仪表盘，在线演示位于 benchify.dev。
GitHub 开源仓库 ultrametric 为创始人和 AI 智能体提供开公司所需的全套流程与数据，涵盖创业流程 DAG、触发式 situations、供应商排名和 cap-table、runway、税负等开源模块。每个流程标注 Agentic %，即智能体当前可执行的步骤占比，并支持 US、UK、IN、DE、FR 多国切换。智能体无需安装和鉴权，可通过 curl 调用 JSON 端点，数据带 JSON Schema、OpenAPI 描述和 HMAC _provenance 溯源，排名基于带日期证据的可复算评测。
一位 Reddit 用户在本地运行 NVFP4 量化的 Qwen 3.8 27B，复刻了 "Opus 5.5 生成视频" 的代码渲染流程：模型编写自包含 HTML/Canvas 场景，每帧为时间的纯函数，由 headless browser 逐帧捕获并用 ffmpeg 编码成 MP4。全程无 API、无 GPU 租用，产出约 2 分钟 1080p 的 GPS 原理讲解视频，含确定性 Canvas 场景、TTS 旁白和 WebAudio 合成的背景音乐。
Aleph Alpha 的 Kolibri-1 被接入 Doom 进行测试，模型在单次批处理中处理 4 个决策组、最多 72 种动作组合。测试中延迟达到中位数 39ms、p95 60ms，作者称这足以让它做出一些“可疑决策”。
NIMStats 是一个开源工具，通过 GitHub Actions 每小时自动评测 22 个 NVIDIA NIM 模型（覆盖 11 家提供商），结果发布到交互式静态看板，无需服务器。看板提供综合排行榜、响应时间与吞吐趋势、可用性热力图，并暴露 /top、/top/speed、/top/intelligence 等 API 端点；用户 fork 仓库、配置 NIM_API_KEY 后即可自部署，数据以 SQLite 存于仓库中，浏览器端通过 sql.js 查询。
工程师学生 Jules 发布个人项目 AutoEval 试点版 0.1.0，在本地用 Ollama 运行 qwen3:1.7b 与 llama3.2:3b（Q4_K_M 量化），基于 3 份 NHTSA 召回报告、9 个案例评测特征抽取、时序分析与有来源摘要，共产生 36 条模型回答，API 成本为 0 欧元。首轮试点中 Llama 3.2 特征抽取得分 63.3%、时序 50.0%，Qwen 3 抽取为 0.0%、时序 40.0%，规则基线抽取 80.0%；语料仍小，结果尚待独立人工复核。
dripston 在 GitHub 开源 vindex 0.6.0，用于评测印地语、Hinglish 及其他印度文字的 LLM 应用，捕捉纯英文评测工具漏掉的失败。
推荐理由：针对英文评测工具漏掉的印度语系文字不匹配问题，提供免费确定性检查与 CI 集成，方法可直接迁移到多语言应用。
VersionBench 是一个戏谑式排行榜，按模型名称中的数字版本号给大语言模型排名，版本号越大名次越高，分数只衡量命名而非智能或能力。其 2026 年 10 月 6 日复核的数据快照涵盖 18 个模型族的 404 次发布事件，附 264 条来源链接，提供排行榜、时间线、对比和发布索引视图，支持 CSV 导出，并以单文件 index.html 离线运行，可部署到 GitHub Pages。
一项 AI Studio 编码 harness 测试中，Pi 与 mini-swe-agent 在 DeepSeek V4.1 Flash、Qwen3.8-27B、Laguna S 2.1 三个模型下各通过全部 9 项验收检查。
Reddit 用户在 5060 Ti 16GB + 32GB 内存上以默认配置（n_ctx = 65k）运行 qwen3.8-flash-next-coder-iq1_m，prompt 处理约 1k5 tok/s，生成平均 55 tok/s。
onprs 在 GitHub 开源 OnprsBench_Core，一个本地优先的 LLM Benchmark Lab，用于长期评测、对比和追踪大语言模型的真实推理能力。
推荐理由：把评测对象定义为模型、渠道、思考强度等组合，并给出程序判题、成本留档与历史重评等可复用的长期评测做法。
SvelteBench 是一个评测 LLM 生成 Svelte 5 组件能力的基准，采用 OpenAI HumanEval 论文的方法论，通过预定义测试套件计算 pass@1 和 pass@10 指标。
该仓库提供一套四阶段自动化流水线，评估 LLM 生成代码补丁的质量。流水线从 SWE-bench 提取预测并重建仓库状态，用 SonarQube 对 500 个项目做静态分析，再调用 gemini-2.5-flash 以 LLM-as-a-Judge 方式做语义评估，最终输出 1-3 级的序数指标（根因解决深度、架构完整性、防御性覆盖），用于统计相关性分析。
网友在 RTX 3060 12GB + RTX 3070 8GB 双卡、48GB DDR4 的 Windows llama.cpp 环境下，用 Glimmer 30B IQ4_XS 主模型搭配 Glimmer 30B DFlash Q4_0 草稿模型实测推理速度。
作者在 AMD Ryzen AI MAX+ 395（Radeon 8060S iGPU、128 GB LPDDR5X 统一内存）一台机器上汇总了 42 个模型的生成速度实测数据。
推荐理由：作者在同一台 AMD Strix Halo 机器上实测 42 个模型的生成速度，并给出各引擎配置和测量口径，便于横向比较本地部署方案。
GitHub 开源项目 harness-benchmark 在隔离 Docker 容器中，用相同 LLM（默认 GLM 5.2 via ZAI）、相同任务和相同隔离环境对比 opencode、pi 等 coding agent harness，唯一变量是 harness 本身。
GitHub 上的 local-llm-bench 项目构建了一套基准测试框架，在四档硬件（从 RTX 4070 12 GB 桌面 GPU 到 4 GB ARM VPS）上运行相同的本地 LLM 与提示词套件，测量 TTFT、吞吐、延迟与内存，失败运行（如内存溢出）也记录为结果。
Reddit r/LocalLLaMA 用户质疑模型发布时仅凭几个百分点的 benchmark 提升就宣称进步的做法。文中估算：HumanEval 仅 164 题，约 70% 得分的标准误差约 3.5 个点，GSM8K（约 1.3k 题）约 1 个点，2 个点的“提升”很可能在噪声范围内，且提示词模板、few-shot 示例、eval harness 版本和污染都会造成波动。
GitHub 项目 metabench 利用各 benchmark 分数间的高相关性，以加权双变量回归、多元回归、梯度下降等方法从其他评测分数预测未知 benchmark 成绩，并以均方误差评估效果。
ErixWong 发布 llm-benchmark，一个针对 OpenAI Chat Completions 兼容端点的命令行压测工具，可测量 token 生成速度、首 token 延迟、吞吐与成功率，输出 JSON / Markdown / HTML 报告。
推荐理由：作者开源了自研的 LLM 端点压测工具，指标口径与 NVIDIA AIPerf 等对齐，并给出 ttft 口径变更等测量陷阱说明。
推荐理由：开源评测框架把隐藏测试、确定性评分和成本记录做成完整流程，还支持订阅版 CLI 与原始 API 两种测法，可复现性设计较细。
dzaragoza 发布 LLM-benchmark 仓库，配套独立研究 Small Models, Big Claims（DOI: 10.5281/zenodo.22855666），测量在集成 GPU 上经 llama.cpp Vulkan 后端从系统内存运行的小型 instruct 模型。
推荐理由：作者把整套基准流程做成一条命令加两个离线选型页，读者可复用其量化阶梯与读速门槛方法来挑选本地小模型。
一位用户在 128GB 统一内存的 M5 Mac 上，用真实编码、智能体和游戏任务基准测试了 Deepseek v4 flash 0731、GLM5.3-flash 和多款 Qwen 模型。
Icaro0310 发布开源项目 devin-evals，一个针对 Devin Agent 工作的评测框架，通过定义带评分标准的用例，回放 Devin 已记录的会话并按时间打分，为「Agent 是否变好」提供数字信号。
推荐理由：这个评测框架用 Devin 会话里已记录的 tool_call_state 做确定性打分，把提示词改动后的回归信号变成可复现的数字。
ForecastBench 是一个动态、无污染的 LLM 预测准确性基准，包含人类对照组，可作为通用智能的参考指标。其排行榜和数据集每晚更新并开源在 GitHub，开发者可按官方说明提交模型参与评测，相关论文已被 ICLR 2025 接收。
harshnsawant-source 在 GitHub 发布 evalnoise，一个读取已有逐题评测结果、判断提示词改动是真实提升还是落在噪声内的 Python 工具。
推荐理由：作者用 qwen2.5:3b-instruct 上 240 题的实测说明聚合分数如何被噪声掩盖，并给出 A/A 校准噪声底的可复用做法。
Reddit 用户 /u/PilgrimofHaqq2 发布 9 条可加入 AGENTS.md、CLAUDE.md 或系统提示词的思考纪律规则，在 4 个模型上共 664 次运行测试，任务零损失，最多减少 29% 思考量。
推荐理由：作者用 664 次运行和盲测脚本验证 9 条规则，给出各模型思考量变化和被无证据要求回退时的表现差异，方法可复用。
该 GitHub 仓库测试在两张 Tesla P100-PCIE-16GB（共 32 GB VRAM、llama.cpp CUDA 12.6 sm_60 构建）上哪个本地 LLM 综合表现最佳，覆盖准确率、编辑、工具调用、速度与调优及 AIOS planner 测试，时间为 2026 年 9–10 月。
作者在 Strix Halo 笔记本（ASUS ROG Flow Z13，128GB）上用 Qwen3.8-Flash-Next（xhigh）与 Claude Opus 5.5（medium）完成同一 Rust 项目功能：Opus 总耗时约 18 分钟、花费 $7.53，Flash-Next 约 130 分钟、耗电约 0.15 kWh 但零费用。
Aleph Alpha 的德国模型 Kolibri 由 Tesseracted 托管，在 3code 上用小众语言 Nim 编写了一个命令行工具并成功运行。该模型规模较小，能在小众语言上写出可用代码颇为难得；模型、托管方、运行框架和语言均来自德国。
john-rocky 在 GitHub 发布 edge-llm-bench，一个面向真实设备上本地 LLM 引擎的中立、可复现基准测试框架，覆盖 LiteRT-LM、llama.cpp、MLX、Apple Core AI、Cactus 五个引擎和 Mac Studio (M4 Max)、iPhone 17 Pro、Pixel 8a、Galaxy S26 四台设备。
推荐理由：原文给出了可复现的本地 LLM 引擎基准测试框架，含持久化原始记录、回归判定和跨设备续航测试协议。
DynamicTune 通过闭式权重手术将 4B 教师模型的轨迹动态注入 Qwen3.5-0.8B，无需反向传播和训练 token，在约 12 分钟内于 8GB AMD RX 580 上完成。
推荐理由：原文给出第三方在 NVIDIA L4 上用官方 lm_eval 复测的完整分数与统计显著性，读者可自行核对 0.8B 超越 2B 的结论。