新闻、仓库与研究，按时间排列。
Apple 新版 Siri AI 已于 2026 年 9 月 14 日开始以英文 beta 形式推出。作者用相同的任务对比旧版 Siri、Siri AI 与 ChatGPT，发现 Siri AI 兼具个人上下文访问与 AI 能力：它能基于设备端 Spotlight 索引找到兄弟短信中的餐厅推荐和纽约周末照片，而 ChatGPT 虽强但无法访问个人短信和照片。文章指出，有用的 AI 助手需要个人上下文、能力和准确的用户认知模型，并提醒应向用户展示搜索了哪些信息来源。
tgarg01 在 GitHub 开源了 silybench 网站背后的数据集，收录在租用 GPU 上实测的 LLM 服务性能、按日期记录的 GPU 租金与 API 价格表，以及由此推导的自托管与 API 成本对比。每个实验文件夹保留实验配置、硬件指纹、当日报价和原始证据（vllm bench serve JSON、GPU 遥测 CSV、vLLM 日志、lm-eval 结果），价格表每 6 小时由 CI 自动刷新，数据以 CC BY 4.0 许可发布，可用 SQLite、CSV 或 JSON 直接查询。
StrangeRPGBenchmark 仓库收录了不同 AI 模型编写的基于方块的 RPG 游戏，并通过 GitHub Pages 提供卡带式菜单页面和可玩版本。其中 8 款游戏已可玩，包括由 Qwen 3.8 27B 生成的 Patchwork（经 Claude Opus 5.5 润色）以及多款 Claude 模型作品，golden 与 diamond 状态标记杰出游戏。仓库使用 Node 18+ 的 tools/build-site.mjs 构建站点，并在每次 push 到 main 时通过 GitHub Actions 自动发布。
Jason 的 day-0 基准测试活动收集了 10 个模型的网站生成结果，每个模型接受同一组网站提示词（手绘日志、risograph 印刷站、瑞士/粗野/装饰艺术微站、Virtual Boy 复古页等），共 92 个网站单元。每个站点为单个自包含 index.html，无构建步骤、无框架，所有输出未编辑，可在浏览器直接打开或经 GitHub Pages 在线浏览。个别单元标记为 Self-fix 或 Hand-patched，Astra 因服务会话未达 verified-ready 状态而无单元收录。
这是一个本地优先的 AI 图像模型评测仪表盘项目，通过问卷对 12 张 AI 生成的南印度新娘时尚图像做对比评测，涉及 Gemini 2.5 Flash Image、Gemini 3.1 Flash Image 与 Ideogram 3.0 三个模型。架构为 FastAPI + Next.js，私有 CSV 仅在本地用于 pandas 校验与聚合，公开的 survey-aggregates.json 只含聚合数据，供未来 Vercel 部署。OpenAI GPT Image 1 因无法获取未参与测试，仪表盘只展示该状态，不为其打分或排名。
作者在 i9-13900HX + RTX 5060 Ti 16GB + RTX 4060 Laptop 8GB、32GB 内存的笔记本上，用 Strata 0.1.41 引擎跑 Qwen3.8-Flash-Next Q2_0（62 GB MoE）做了四轮基准测试，并开源了全部脚本与数据。核心结论包括单次测量速度可摆动 8 倍、prompt cache 会把 prompt_n 从 1259 污染到 5、KV cache 复用后多轮 TTFT 从 137.8 秒降到约 0.4 秒、双卡长 prompt prefill 快 8.4 倍、KV cache 不磨损 SSD、q4_0 长文档 perplexity 高 8~12%。
推荐理由：作者推翻自己两版错误方法论后才得出可信数据，给出单次噪声8倍、cache污染等教训，对想做本地基准测试的人有直接可迁移价值。
shi3z 在 GitHub 发布 npc-llm-bench，用于定量比较本地LLM作为日语游戏NPC的对话质量与速度，结果收录在 RESULTS.md。基准含73个测试，覆盖日语自然度、人格维持、知识边界、记忆一致性、状态反映、角色差异、诱导耐性和长期对话，并测量TTFT、并发吞吐与VRAM，最终输出加权NPC Score与7种排行榜。
推荐理由：作者给出了游戏NPC场景的73项测试、评分权重和RTX 4090等硬件上的11个模型实测结果，方法可复用。
GitHub 开源项目 llm-classifier-bench 提供可复现的基准基础设施，在预测质量、概率校准、延迟和成本四个维度对比封闭集文本分类方法，支持 TF-IDF、MiniLM、BERT 微调及 OpenAI、GPT-6 Decisions 等 8 个分类器家族。在 Banking77 的 V2 基准中，Emissary Llama SFT（K=100）达到 98.00% 准确率、K=20 下 93.38%；GPT-6 Decisions（gpt-6-luna）zero-shot K=5 达 93.00%，在 1,990 个分类中出现 10 次拒答。所有报告可基于版本化摘要离线重建，无需 API 调用。
一位 Reddit r/LocalLLaMA 用户发布了纯 open-weight 模型基准测试，包含 coding、agentic 与按领域/语言/意图分类的可筛选实时结果，全部在本地 2xRTX 3090 + 128GB RAM 电脑上运行，不使用 LLM-as-judge。目前 DeepSeek-V4-Vision-Exp 领先但各模型各有强项，Qwen3.8-27B（Uncensored）正在评测，GLM-5.3-Flash-UD-IQ3XSS 和 Mellum2.1-12B-A2.5B 即将加入。作者号召社区在算力、评测和开发方面提供帮助。
reliable-era 发布 karpathy-jev，一个 Claude Code 技能，在首次编辑和声明完成前的固定检查点收集 diff、命令与真实 exit code，交由独立的 TypeSafe Jev 判定 proceed 或 revise。SWE-bench Verified 20 任务上，Claude Code + Sonnet 5 下该方案解决 20/20，虚假完成声明 0 次（原生 2 次），最后一次编辑后真正跑测试的比例 13/20（原生 1/20）；解决数差异在 n=20 下不显著，单任务中位耗时 +8%。实验还发现 Sonnet 在 112 次运行中从未主动打开自愿式技能，强制 hooks 是行为改变的关键。
推荐理由：原文同时给出方法和实测数据，读者可以对照三种方案看到强制钩子与提示词自评在行为上的真实差别。
Reddit 用户实测 JetBrains 的 Mellum2.1-12B-A2.5B（Q8）搭配 Pi 和 llama-server，五个 one-shot 测试结果参差：Flappy Bird 能完成但画面简陋，Browser OS、Minecraft 等表现不佳。模型工具调用和 agentic 行为出色，能发现并修复自己的编辑错误，还成功完成修改现有项目代码等任务。在 8GB VRAM + 32GB RAM 笔记本上以 131K 上下文跑出约 40 t/s。
5.3B 参数的 Aplomb 1 登顶 Hugging Face 官方 Typed Decisions 概率决策基准，KL from gold 为 0.123，Brier score 为 0.065，均居榜首，低于约为其五倍规模的 27B 第二名模型（KL 低 40%）。模型支持文本、JSON、图像、视频和音频单次输入，上下文达 1M tokens，API 上 1M-token 文档约 3 秒读完，输入价格 $0.02 per 1M tokens 且输出免费。权重已在 Hugging Face 开源。
GitHub 上的开源项目 CAGE（Cache-Augmented Generation Evaluation）提出在统一协议下同时衡量 KV-cache 复用（CAG）、检索（RAG）及其混合方案的服务性能与答案质量，指标包括 TTFT、吞吐量和 grounding、faithfulness、abstention。项目以"服务产出 Y"（按时且正确的请求每秒数）为核心指标，并附上 truth tax 等归因分析，覆盖 vLLM、SGLang、LMDeploy 四种引擎、十二条基线与八个数据集。工程链路已建成并配有 3,000+ 测试的离线套件，但正式评测活动尚未运行，早期数据仅为试点、不可作为结果引用。
该仓库在 Text2CAD-Bench 的 30% 公开预览（151 个提示词）上，通过 Anthropic Message Batches API 用 claude-opus-5-5 生成 CadQuery（Python）代码，并用运行验证器与尺寸验证器逐一判定。结果显示，一轮修复把运行失败从 7（pro）和 11（geo）降到各 1，有公认尺寸的 119 个部件尺寸不匹配为 0。整个评测分 7 个 batch，约 0.30 M 输入、0.45 M 输出 token，按 Batch API 价格约 $5。
super-squalo 在 GitHub 开源 best-llm-for，用 npx best-llm-for 在终端按代码、图像、视频、智能体、数学、推理六个领域查看各模型基准成绩与价格，并提供网页版。只保留模型厂商自己发布的分数，弃用厂商发布会上对竞品的成绩共28条，自报成绩与第三方实测分开标注，数据由 GitHub Action 每日重建、可离线使用，另附带 Claude Code skill 供项目内直接引用该数据。
推荐理由：它把各家只挑对自己有利的分数拼成终端里的一张总表，只保留模型厂商自报成绩并区分自报与第三方实测，信息口径比较透明。
kmvaidya 发布开源工具 llm-arena-vram-calc，为 Arena.ai 开源 LLM 排行榜的 225 个模型补充参数量与 BF16/FP8/INT4 三种精度的显存估算，并给出每块单卡能运行的最高排名模型。serving 显存按权重乘以 1.25 计入 KV cache 与框架开销，MoE 模型按全部专家加载计算，参数解析含手动覆盖、Artificial Analysis 数据、名称解析和页面抓取四级回退，数据 24 小时缓存，当前解析成功率为 76.0%。
一位 Reddit r/LocalLLaMA 用户测试发现，Qwen3.8 Flash Next iq3 xxs 在“纯 HTML/CSS/JS/SVG 写太阳系 3D 仿真”任务上反复失败，还耗尽 120k 上下文限制，而 27B iq3 xxs 能一次成功。在 agentic coding 任务中 Flash Next 思考面广但实现常失败、需多次跟进，token 消耗大；27B 则更简单但能用。
GitHub 仓库 edgora-ai/llm-bench-report 发布由 llm-bench 自动生成的模型一次会话完成度对比报告，为只读脱敏合并快照，不含凭据与原始日志。最新 2026-10-08 数据中，Sol 与 6.1-Sol 鳄鱼题人工补跑均正常结束、8/8 检查通过，此前失败记录保留；Astra/Luna 早先黑洞样本的 count_tokens 403 曾被旧评估逻辑误记为路由违规，源码已区分上游与本地拒绝。首页支持在线沙箱运行原作，并可下载自包含离线完整版。
luongnv89 在 GitHub 开源 m-bench，一套针对自己机器基准测试完整 LLM 配置（serving 参数、thinking 模式、编码代理）的工具，每个任务附参考解，validate 需 28/28 通过。当前最佳配方为 unsloth/Qwen3.6-35B-A3B-NVFP4（MoE，约 3B 激活）跑 vLLM，关 thinking，core16+hard12 达 82.1% pass@1，吞吐约 35-48 tok/s 单流。多轮实测显示 thinking 对一次性代码生成多耗约 13 倍输出 token 仅换 +1.7 分，但在工具循环中可把轮次从 6.8 降到 5.2；同一权重经四个不同代理得分相差最多 23 分。
推荐理由：原文用多轮实测数据说明同一模型在不同配置和代理下得分差异巨大，为本地部署选型提供了可复用的基准方法和结论。
rffanlab/llm_eval 仓库公开可复跑的本地与云端模型工作能力评测，首期对比本地 Ryzen AI Max+ 395 运行 Qwen3.8 Flash Next 与阿里云 Token Plan qwen3.8-flash。2026-10-07 完成 10 类题、32 个主试验会话＋8 个诊断；2026-10-08 在同一台机器上对比 Halogen 0.9.1/W4B、0.17.2 默认 v2 与 Swift 1.5，完成 10 个题型、48 个主会话，硬验收分别为 15/16、13/16、10/16，Swift 调度器三次 13/13、耗时中位 35.60 秒。仓库仅用 Python 3.10+ 标准库，超时与题量限制表明结论只针对被测任务与当次配置。
Vineeth Kodakandla 在 GitHub 发布 llm-eval-observatory，一个持续运行的 LLM 评测仪表盘：定时 GitHub Action 在 Groq 免费层对 GPT-OSS 20B 和 120B 开源权重模型跑四轨道评测（KYC/AML 自动分诊、能力与漂移、提示注入与越狱鲁棒性、LLM-as-judge 偏差），结果 JSON 提交回仓库并由 Vercel 上的 Next.js 站点渲染。评测统计全部从零实现，含 5,000 次种子 bootstrap CI、漂移标记和 Fleiss' κ（目前 0.94 到 1.0）；每模型每轮约 154 次请求、65K token、约 5 分钟。作者强调判分确定性、KYC 数据集仅 26 例且为合成，项目 MIT 许可。
justinatusa 在 GitHub 发布开源小书 llm-eval-scoring-taxonomy，讲解模型输出如何经过判对错、合并多次采样、合并多个判官、合成总分变成榜单分数。全书按分数来路把评测分成四类：单独给一个模型打分、对照参考产出与相对比较、真实使用数据、跨 bench 合成指数，并用 data/benchmarks.csv 收录 227 个 bench 的完整标注数据，正文数值例子可用仓库脚本复现，最后解读 Artificial Analysis、LMArena、METR 等主流榜单的头条数字来源。
推荐理由：作者把 227 个 bench 按出分方式分成四类并给出可复现脚本，读者可以借此理解同一评测数字为何差出好几倍。
作者发布 lmex 项目，将免费档 LLM API 拟为交易所 ticker，以 TTFT p99 毫秒数为价格，每 :07 由 GitHub Actions cron 运行 llm-latency-bench 基准并将结果提交到仓库，dashboard 用绿涨红跌反转色的蜡烛图展示延迟，错误率超 50% 即停牌。收录 Groq、Google Gemini、Cerebras、OpenRouter 等 7 个模型端点，每 tick 仅 6 到 10 次请求以留在免费额度内，743+ 条历史记录发布为 Kaggle 公开数据集，并附 latency-router 实时选择最快端点。项目 MIT 协议，无服务器，dashboard 由 GitHub Pages 读原始文件。
推荐理由：作者公开了整套测量流程、样本量局限和 p99 取舍理由，方法透明，读者可以直接复用或自己 fork 搭建。
TheNomet/ocr-bench 在 GitHub 上开源，用带精确 ground truth 的合成挪威文档对比自托管 OCR 模型（默认 baidu/Unlimited-OCR，vLLM 跑在 SageMaker GPU endpoint）与 Claude 等托管 LLM 的文档读取表现，测量速度、准确率和成本。流程分两阶段转录和字段抽取后打分，生成报告和静态站点；整套基础设施从一个 config 文件部署、一条命令销毁，也可指向任意 vLLM 服务器本地运行。MIT 许可。
一项针对 HELM Safety 的心理测量学审计发现，「有害拒答」（模型拒绝危险或违规提示的倾向）可能并非单一可测属性。HELM Safety 四个相关数据集中三个已饱和，对其余的 HarmBench 进行的多维 item response theory 建模与 differential item functioning 分析均显示其分数背后不存单一属性，且 HarmBench 将不同危害行为压缩为一个分数。作者主张安全评分在用于模型比较前应先证明其单一属性解读成立。
开发者让自己 2021 年在 js13kGames 制作的 2D 平台游戏 Cat Goric 接受 AI 模型挑战，目前最好成绩为一次连续运行中通过 14 个可玩关卡中的 8 关。达成该成绩的两个模型是 Qwen/Qwen3.8-Flash-Next 和 Cloudflare/clef。该项目已开源并附上运行说明，欢迎提交 PR 和指定其他模型参与测试。
Reddit 用户在本地测试 GLM 5.3 Flash 时问其知识截止日期，模型在思考链中自称"I'm jarvis-thinker, based on Claude"，随后又表示"Claude models typically have early 2025 cutoffs"。它在明确写出"I don't know the exact date with certainty"后仍给出了具体日期，最终答案里却声称自己不确定时会如实告知、不会编造答案，与几秒前的幻觉行为形成反差。
该基准用 940 道 NYT Connections 谜题评测大语言模型，每题额外加入最多 4 个干扰词以提升难度，采用 quadratic-v1 计分。GPT-6 Astra（xhigh reasoning）以 98.1% 排名第一，Gemini 3.1 Pro Preview 以 97.4% 列第三；主榜仅收录完成全部 940 题的模型。
GitHub 仓库 llm-evals-1 实现了一个 LLM cue-following 评测：在 MATH500 数学题的故事中植入错误答案线索，测试模型是真正解题还是抄捷径。实验包含 45 episodes × 10 cue counts × 2 reasoning modes 共 900 次模型调用，支持 dryrun 免模型运行和接入 Microsoft Foundry 调用 qwen3-32b。实验 2 通过 3 轮脚本化教学轮次注入线索，Qwen3 模型还测试 /no_think 与 /think 开关，默认输出上限 2048 tokens。
GitHub 上的 llm-arena-tracker 项目提供一个可视化 LLM Arena 代码排行榜随时间变化的工具，通过 scrape_arena.py 抓取榜单数据并配合网页展示。项目采用 Apache-2.0 许可证开源，包含数据、脚本和前端文件。
Reddit r/LocalLLaMA 用户讨论多 GPU 上运行 NVFP4 量化的工具选择：作者目前只能跑通 unsloth，认为 vLLM 加载太慢，TensorRT-LLM 问题太多。对 Qwen 3.8 的 NVFP4 版初步测试中，代码表现一般，但视觉和 tool calling 印象深刻，复杂场景略优于 Q6 gguf。在 2x5060ti 上以 197k ctx 运行速度出色，模型加载仅需 4-6 秒。
Aydin Monavvari 开源 fin-rag-research-assistant，用 26 篇美联储褐皮书文档评估 BM25、dense MiniLM 与混合检索，BM25 的 Recall@5 达 1.00（MRR 0.847），MiniLM 仅 0.20。Qwen 2.5 0.5B 在 top-3 摘录下引用格式 8/8 有效，但词汇接地度极低（mean F1 0.035），并对 2 个超范围问题编造了联邦基金利率区间而未拒绝。整个流水线（fetch → index → eval-retrieval → eval-generation → report）在 CPU 上缓存后约 5 分钟跑完。
Reddit 用户在租用的 RTX 4090 上用同一任务对比了四款开源决策模型 Laya、d1 3B、Clef-Flash 9B 和 Lev 4B：逐词调用 /v1/systemone 判断 9,534 个词是否为蜈蚣名称。Laya 每词 p50 仅 3.9 ms、32 秒处理 7,980 词，是最快的选择；Lev 准确率最高（98.9%）但每词 51.0 ms，比 Laya 慢 13 倍。
一项开源项目让六个决策模型（jev 1.13、Kev 4B、Clef、Clef Flash、GPT-6 Luna 和 Laya）实时对玩 Pac-Man。jev 1.13 以平均分 2,750、最高分 6,380 居首，GPT-6 Luna 平均分 2,568、平均延迟 179 ms。每个模型跑 100 次取均值（95% 置信区间），排行榜和仓库均已开源，玩家也可亲自扮演吃豆人、由这些模型操控幽灵。
该仓库针对 SportSee 的 NBA 表现分析 RAG 助手进行审计与重构，用 RAGAS 评估并以 Pydantic 校验数据、Pydantic AI 结构化输出、Pydantic Logfire 追踪全链路。在固定 32 个问题、mistral-large-latest 评审、k=5 的条件下，rag_v2 相比原型将回答准确率从 0.32 提升至 0.68，faithfulness 从 0.27 升至 0.82，4 个超出覆盖范围的问题全部正确拒答，平均延迟从 4.5s 降至 1.4s。
maxim-saplin 在 GitHub 开源了 LLM Chess 基准，让 LLM 通过多轮对话下国际象棋，评估推理与指令遵循能力，支持对战 Random Player 或 Komodo Dragon 引擎。基准发现 2024 年早期模型常幻觉出非法着法，2025 年的 o1、o3、o4-mini 等推理模型已饱和随机对手评测，因此加入 Dragon 以 Elo 锚定；指标将棋力（Win/Loss、Elo）与对话稳定性（Game Duration）分开。
GitHub 仓库 Generic-LLM-Leaderboard-Local-Deploy 按重新归一化后的综合能力收录并排序参数模型，共有 288 个有参数量数据的模型入图。榜首为 GLM-5.3 (max)，综合能力 0.8518，总参数量 753B、活跃参数 40B，开源且支持推理；Kimi K3 (max) 以 0.8388（2.8T 总参数）位列第二。榜单同时标注各模型的开源状态、大小分类及是否处于帕累托前沿。
web4hub 的一个玩具项目以 Chatbot Arena 的人工评测 Elo 分数为金标准，计算其与 Open LLM Leaderboard 各基准结果的 Spearman 相关性，并用 LASSO 回归筛选出预测 Elo 分数最重要的基准。基于选定基准，模型在测试集上预测 Elo 分数的相关性达到 0.94。该项目获 MyShell 开源资助支持。
GitHub 仓库 jimoto-no-llm/bench-of-us 汇总了社区自 2026-09-20 至 10-08 的多组本地推理实测。覆盖 Tesla V100、T4、P40、P100、RTX 3090/5090、Radeon 等单卡与多卡拆分（layer/tensor split、NVLink、NCCL、vLLM TP=2、sglang+KTransformers）配置，测试对象包括 Qwen3.8 27B、Qwen3.8 Flash Next、Nemotron 3 Nano Omni 33B、Gemma 4 26B A4B QAT、DeepSeek V4.1-Flash 等，上下文从 8K 到 262k 乃至 1M。
作者开源了在 RTX 3060 12GB 与 RTX 3090 24GB 两套本地平台上、用 llama.cpp、ik-llama.cpp、moe-cache 分支、vLLM 0.29.0 容器栈和 Strata 引擎跑本地模型的基准报告，含量化档位、上下文长度、prefill/decode 速度表，以及一个基于 Shoko-WebUI 重写任务的 agentic 编码基准，附完整测量方法与逐引擎参数说明。
推荐理由：作者在两套消费级 GPU 配置上实测多个 llama.cpp 分支与引擎的本地推理速度，方法、参数和完整数据公开，结果可直接对比参考。