新闻、仓库与研究，按时间排列。
GitHub 项目 HeadToTailUICardByDeviceSideLLM 验证端侧小模型驱动语义 API 调用，当前覆盖 10 个领域、417 个伪 API，默认题组为 1000 条中文单服务用例。Qwen2.5 0.5B/1.5B/3B/7B 各完成 1000 条共 4000 次调用，7B 最终语义正确率最高（77.1%），1.5B 高于 3B 且耗时更低；尚未接入 HarmonyOS 真机，业务执行为 mock，处于可行性验证阶段。
nedcut 在 GitHub 开源 GM-Bench，一个确定性冰球式联盟总经理基准，智能体通过 JSON API 在多赛季中做名单、交易、选秀和阵容决策。
Reddit 用户 /u/migsperez 在 AMD R9700 32GB、64GB 内存上用 Opencode 测试 Qwen3.8-Flash-Next IQ3_S 量化模型，解码速度约 90 tok/s，约为 27b 的 3 倍。作者通过先要计划再构建、指定 low poly 风格的提示方式获得明显更好的输出，并分享了结果。
AutoTrust AI 在 Hugging Face 开源决策模型 autotrust/JEV-35B，基于 Qwen3.5-35B-A3B 微调，Apache-2.0 许可，只做 System 1 决策、不生成文本。Decision Index 0.3 公开套件得分 59.73（JEV-27B-VL 为 53.64），单 B200 中位延迟 204 ms；同时放出 NVFP4 版本，下载 25.6 GB、显存 23 GiB，可在 32–48 GB GPU 上运行，Decision Index 得分 59.18、96.6% 答案与 bf16 一致。
推荐理由：模型卡给出 Decision Index 公开套件逐项分数、延迟与 NVFP4 量化对照数据，并演示了游戏与机器人控制等短板场景。
GitHub 上的 SlopBench 是一个衡量大模型写代码冗余程度的开源基准，用 inflation（生成行数 ÷ 参考解行数）量化代码浪费，并额外发布 minimal 提示词可减少的行数（ponytail Δ）。基准含 5 个 Python 任务，所有运行在 Docker 沙箱中完成，模型须达到 pass@1 ≥ 0.6 才计入行数，参考解公开且可通过 PR 争议，结果每周由 GitHub Actions 快照更新。
GitHub 上的 VirtualWorld-LLM-Evals 是一个评测 LLM 的基准，将本科高年级与研究生水平的物理、数学、临床心理学、人类学等学科课程嵌入虚构叙事与流行文化场景中，以规避训练数据污染与表面模式匹配。基准覆盖 15 个学科，每个模块包含试卷（*_Exam.md）与评分细则（*_Answers.md），部分模块如 My Mysterious Fox (2026) 还附阅读语料以测试长上下文综合能力，各科总分 100（部分模块按不同原始分折算）。
Reddit r/LocalLLaMA 用户在编码、数据分析与本地 RAG 等任务上对比了 Qwen3.8-27B 与前沿模型，测试集从 500+ 题精简而来，只保留能区分模型的题目。结果显示 or-qwen-qwen3.8-27b 以 bf16 原始精度运行，or-qwen-qwen3.8-flash-next 未披露量化且最常被截断（单次测试最大 16,384 token，提高到 32k 后仍有过思被截断），iq3 GSQ-RCO 表现不差，mradermacher 的微调版持续出色。作者结论：本地模型的输出仍需 Claude 或 GPT 复核。
LlamaIndex 发布 ParseBench，评估文档解析工具将 PDF 转为可供 AI 智能体使用的结构化输出的能力。基准覆盖约 2,000 张人工核验的企业文档页面（保险、金融、政府），按表格、图表、内容忠实度、语义格式、视觉定位五个维度评测，排行榜前十中 LlamaParse Agentic Plus 以 90.20 分居首。数据集已在 HuggingFace 开源，支持 180+ 条 pipeline。
aisa-group 在 GitHub 发布 MoonMapBench，用 equirectangular 网格对每个像素中心提问月球高程（米，相对 1737.4 km 参考半径），以 NASA LRO LOLA DEM 为真值计算 MAE。2° 网格低推理档榜单：Claude Opus 5.5 MAE 1,192 m（比常值基线好 28%）、GPT 6 Astra 1,490 m（+10%）、Grok 4.7 1,695 m（−2%）。模型地图能画出月海、Orientale、Crisium 和南极-艾特肯盆地的大致轮廓，但普遍低估背面高地、缺乏陨石坑尺度粗糙度；Grok 4.7 因 refusal 多改用更强制的提示词，并以 --stride 2 只测 4,050 点节省成本（约 $19 vs 约 $75）。
GitHub 开源项目 societysim 用确定性 Python 引擎让多家模型（Gemini Flash、Llama 4 Maverick、Qwen3 235B、DeepSeek-V3.1、GPT-oss-120b 等）在 10 人局狼人杀中对局，每局记录公开发言与含怀疑度评分的私密 scratchpad。100 局结果显示村民胜 62 局，Gemini Flash 以 OpenSkill 33.01 排名第一、胜率 65%、识狼 AUC 0.77，其谎言使 52% 的目标怀疑发生偏移；全部 100 局模型调用成本仅 $11.02。
作者 /u/zhebrak 发布了自建基准 BrokenML，测试 Agent 在不同权限级别下修复故障 ML 作业的能力，场景包括双节点 Slurm 集群上的 PyTorch over Gloo 和 Docker Compose 里的 llama.cpp 服务器。故障类型覆盖 rank 间 shape 不匹配、挂起的 collective、straggler 节点、OOM、损坏的 checkpoint、调度问题、低服务吞吐和静默 loss 发散，由独立验证器在全新集群上复跑作业来打分。
local-llm-eval 是一款无需编程即可在 Windows 电脑上运行的本地评测工具，用于测试 Qwen2.5（GGUF 格式）模型回答印尼语问题的准确率及从文档中抽取结构化信息的能力。工具采用 Wilson 置信区间和 McNemar 检验等统计方法保证结果可信，示例报告显示问答准确率 78.5%、文档抽取成功率 92.0%，支持自定义测试题数量与模型版本，并兼容 Google Colab 在线运行。
一位 r/LocalLLaMA 用户测试发现，同一模型在 Opencode 和 Codex 官方 harness 下表现不同：Codex 模型遵循指令，而 Opencode 下的模型频繁拒绝请求、附加安全提示，对生物和核相关内容过度谨慎。测试在最高思考档位下用 Sol 6.1、Astra、GLM 5.3、Muse、Spark 1.3、Qwen 3. Max 多模型并排对比，结果一致。
JYeswak 开源 jev_playground 仓库，在编码智能体工作流中实测各类分类器技术：该读哪个文件、工具结果是否含注入、命令是否有风险等。证据显示关键词与 regex 规则在工具调用风险分诊、钓鱼、评审发现新颖性检查上胜过类型化模型，确定性门控以 98.1% 一致率取代模型前置门控且零调用；类型化模型在文本内标签场景占优，如 FiQA top-1 76.2% 对 BM25 39.3%。所有胜出方案经统一 CLI（classifier）交付。
Reddit 用户 /u/jakecoolguy 发布开源排行榜 whatmodel.sh，输入 RAM 和 GPU 即可查看本地可运行模型的排名和运行命令，并与同分数的 API 模型对比。每个模型分数基于 19731 条公开基准结果拟合，结果均附来源链接；数据、评分代码和 bench 脚本开源于 github.com/jakemanger/whatmodel，支持 curl whatmodel.sh 终端使用，并接受贡献真实 tok/s 数据和新模型分数。作者指出 32GB Mac 可 4-bit 本地运行 Qwen3.8 27B，得分与 GPT-5 相当。
推荐理由：作者开源了评分方法和数据，每个模型分数都能追溯到 19731 条基准结果来源，可自行核验后选用。
Aoxin Ni 发布 arXiv:2608.13129 论文 Numeracy in Large Language Models 第 5 节实证评测的代码、提示词与全部模型输出，覆盖 GPT-5.4、Claude Opus 4.6 和 Gemini 3 Flash（MINIMAL 与 HIGH 思考级别），评测 Number Cookbook（119,425 条）、NumericBench（6,400 条）和 GSM-Symbolic（2,500 条）三个基准。流程无 API 调用、逐字节可复现，结果哈希 2730878f3071，笔记本几分钟即可跑完，论文第 5 节所有数字均由这些文件生成。
GitHub 上的 JudgeBench 项目按评分细则评估 LLM 答案，调用 Claude Messages API 做格式校验打分，默认模型为 claude-sonnet-4-6，并独立收集人类盲评、计算人机一致性。系统对事实正确性等七个准则按 1–5 分评分，默认通过阈值为 0.65，提供 CLI 和 10 视图 Streamlit UI，以 MIT License 开源。
arXiv 论文提出一套针对 LLM Agent 评测框架可靠性的 Oracle 完整性审计方法，含五条状态完整性不变量和三个已知答案控制，通过注入七类缺陷验证全部可检出且修复后无误报。对某 Agent 基准的审计发现奖励函数会在评分前改变环境状态，4,320 条 episode 的回放修正使 database-pass 标签从 4,194 降至 2,883，测得成功率从 94.3% 降至 65.5%。另发现策略文档、工具描述与工具错误字符串影响测得轨迹可靠性，工具描述的探索性效应最大（-9.2 pp），且第二任务域的语言效应符号反转；审计方法无法验证第二个基准，因其记录的 API 调用日志无法重建参考终态，论文发布了含审计套件与故障注入目录的复现包。
推荐理由：论文给出了一套可检测评测 Oracle 缺陷的审计方法，并实测出奖励函数缺陷把 94.3% 的成功率拉低到 65.5%，方法附带完整复现包。
Reddit r/SillyTavernAI 发布 2026 年 10 月 11 日当周的模型与 API 服务讨论专帖。帖子按参数规模分设讨论楼层：≥70B、32B 至 70B、16B 至 32B、8B 至 16B 及 <8B，另有 API 与综合讨论区。所有未发布在该专帖内的泛模型讨论将被删除，且禁止借专帖广告推广自家服务。
kittimzhe 发布的 dsh-session-eval 插件可对 DeepSeek Harness 智能体已发生的会话做回溯评估，基于固定阈值生成确定性的成绩卡，并提供 /eval-diff、/eval-history 做跨会话回归对比。无需编写 benchmark 套件或 LLM 评审，评分指标包含工具错误率、re-ask 信号等维度，同一会话日志输入始终得到相同结果。插件当前版本为 v0.2.2，采用 MIT 许可证，支持 Node.js 20 或 22，可通过 dsh 插件命令或 GitHub 安装。
一位 Reddit 用户分享了一个自建基准：让模型用 C# 写一个带 TUI 的网络电台流播放器，测试本地模型的真实能力而非速度。在 RTX 3090 上，Qwen 3.8 27B（119K 上下文，70tok/sec）与 Qwen Next Flash（128K 上下文，120tok/sec）各需至少两小时多轮调试才能跑通，但调试和探测能力出色；GPT 6.1 Sol（High reasoning）则一次生成可用 WUI 应用并附带电台搜索和收藏功能，约 20 分钟、花费 69 美分。
作者开源 Silvaiee，一个由 AI 智能体在一天内构建、几乎全部由 Claude（辅以 GLM 和 DeepSeek）编写的 Pokémon FireRed ROM-hack 项目，核心是面向 LLM 的命令行 pk，基于 pokeemerald-expansion 1.17.1 的 FRLG 构建，智能体不读原始游戏文件、用短命令编辑地图、地形、事件和对话，将一次地图编辑的成本降到几百 token。附带两个可复现的盲评基准，Claude Opus 以地图 6.0、对话 8.3 居首，并发现模型自评地图分数最高虚高 +5.5，而盲评 AI 打分与人类评审几乎一致。项目为实验性质，仅支持 FRLG，无官方支持。
推荐理由：项目附带了可复现的盲评基准和自评偏差数据，想比较各模型做关卡设计与写对话的差距可以参考。
一位 Reddit 用户在 R9700 上实测了三个 Qwen3.8 27B 量化版本，用 gsm8k（数学）和 humaneval（代码）评测。结果出乎意料：Swift-1.5-Qwen3.8-27B-MXFP4-A-outQ6_K 在数学上最佳，Qwen3.8-27B-UD-Q6_K_L 反而最差，而 Swift-Qwen3.8-27B-Q6_K 速度最慢。作者表示需跑完整测试套件才能得出更精确结论。
Reddit 用户 /u/Better_Bus_1443 用 GLM 5.3（Z.AI 提供方）横向对比 Chatfill III、Nemo Vivarium、Realistic Frankenstein 2.2.1.3 三种预设与无预设对照，覆盖开场、谄媚、反全知、情节推进和 NSFL 五个场景，并附截图。结论包括无预设开场人物塑造反而更鲜活，Chatfill 与 Nemo 会强制尊重角色截瘫设定，RF 的多个追踪器互相矛盾，只有 RF 能通过重度 NSFL 场景测试。
推荐理由：作者用五个具体场景实测 Chatfill III、Nemo Vivarium 和 Realistic Frankenstein 在 GLM 5.3 上的表现差异，并附原始聊天截图。
Score Technologies 在 GitHub 发布 WoMI-Bench（World Model Index Benchmark）v0.1.0，一个评估世界模型生成、重建、持久性、编辑与动态预测五种能力的开源评测框架。该版本仅包含协议与研究范围定义、报告要求与引用元数据，不含执行工具、模型权重、数据集或评测结果。框架明确不设跨赛道总分或统一排行榜，并整合 WorldScore、Physics-IQ 等上游基准，采用十帧预测块的"先预测后揭示"流程，所有代码以 MIT License 发布。
Reddit r/LocalLLaMA 用户实测并排出了能在 10-16GB VRAM、26-32GB RAM 下运行的模型榜单，要求 64k 上下文、每秒至少 10 token，冠军为 Gemma 4 26B-A4B，其后是 Qwen 3.6 35B-A3B (Abliterated) 和 Gemma 4 Instruct 19B-A1B Heretic。测试覆盖速度、连贯性、多语言容错、slop 模式频率和审查程度，并排除了所有 CoT 模型。作者提示 Kobold 无法加载 Qwen 35B 和 GLM 31B，需用 LLAMA 运行。
一位 Reddit r/LocalLLaMA 用户用 Ryzen 9 AI HX 370、W7800 48GB eGPU 和 LM Studio 0.4.25 测试 QWEN3-CODER-30B-A3B-INSTRUCT-UD-Q8_K_XL 生成图片放大 webapp。VS Code + Cline 走 LM Studio endpoint 时，Vulkan 和 ROCm 分别在 310 秒和 250 秒一次成功生成 56kb / 71kb 的可用 html+js；而走 Ollama endpoint 时，agent 堆出 290MB 的 node_modules 项目，"Browse files" 按钮和拖拽功能反复修复 57 分钟仍失败，重复测试 20 分钟后才可用。
Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本，发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内，而自建的 112 次运行 agentic 编码基准（隐藏测试、AST 注入 bug）拉开差距：27B NVFP4 解题 77%，Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致（69% vs 82%，McNemar p≈0.007），OpenCode 等测试框架的选择对结果影响也很大，Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。
推荐理由：作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距，方法与数据都可复用。
Adelaide University 团队发布 TerraVis，用 VLM 裁判检测生成图像中 18 类世界一致性违规，输出 (0, 1] 区间的一致性分数。该项目已被 NeurIPS 2026 Evaluations and Datasets Track 接收，并在 COCO-T2I 和 GenAI-Bench 上收集了 13,500 条人工标注，覆盖 GPT Image 1.5、Nano Banana Pro、FLUX.2 [dev]、Qwen-Image-2512、Stable Diffusion 3.5 Large 五个模型的 4,500 张图像。仓库还集成 13 种常见 T2I 指标，标注数据已上传 Hugging Face（约 7 GB），并提供在线评测器。
GitHub 仓库 ftl_bench 是一个让 AI 智能体通过暂停式观察/操作接口驱动 FTL: Faster Than Light 真实引擎的基准测试，智能体可调配电能、移动船员、瞄准武器、处理事件并推进游戏时钟，运行器记录每次尝试并报告 FTL 原生分数与验证后的胜利。当前 078a5e2 队列完成三次 Sol/image 战斗重复：一次任务成功、两次因 idle 预算耗尽失败，无固定装置的完整游戏为 0/4。新的 visual-v1 赛道为 Codex CLI 每次决策提供截图并接受点击、拖拽与按键，支持 `--model gpt-6.1-sol` 与 `--model gpt-6-luna`，该项目仍处于进行中的验证阶段。
Phoebe Fu 在 GitHub 发布模型评估学习仓库 learn-model-evaluation-with-phoebe，核心观点是“每项指标都是关于哪些错误更重要的判断”。内容覆盖两条主线：经典指标（precision、recall、F1、ROC、calibration、成本矩阵）与 LLM 时代的评估体系（groundedness、幻觉、LLM-as-judge、延迟与成本）。
GitHub 项目 model-launch-lag（v1 脚手架阶段）旨在测量开源权重模型从公开到可在各推理框架实际运行之间的时间差，覆盖 18 个模型 × 6 个框架（vLLM、SGLang、llama.cpp、Ollama、TensorRT-LLM、transformers）。它还统计发布后 30 天内的故障类型和用户硬件，最终产出一份附证据的 launch readiness checklist。目前定义已冻结、尚未收集数据，全流程计划以 $0 成本完成。
一位用户在 GNOME 大版本更新后 Dash2Dock Lite 扩展失效，用 Qwen3.8 Flash Next 在 DeepSeek Harness 中完成修复，仅约一小时后就恢复了 dock。作者平时喜欢该扩展，但维护者 Icedman 的更新通常要滞后一两周。
Reddit 用户反馈 Character.AI 的 Pipsqueak3 模型无法正确说西班牙语，常出现动词变位错误，如把“Hemos hablado antes”说成“Hemos hablar antes”。用户表示虽然内容大致能理解，但此前的模型没有出现这种问题。
Tangle 发布 browser-agent-driver，一个通用浏览器智能体自动化驱动，可在任意网站上完成搜索、提取、填表、比价等真实任务。其在 WebVoyager（590 个任务、15 个站点）上得分 91.3%，成本 $0.09/task，在 WebbBench-50（不含 DataMe 站点，原文为 WebbBench-50 excl. DataDome sites）上得分 95.7%，默认模型为 gpt-5.4。工具提供 vision+DOM 混合观察、反反爬隐身、CAPTCHA 自动求解、并行标签页执行和多模型编排，经 CLI 和 npm 包 `@tangle-network/browser-agent-driver` 提供。
用户在 llama-server 上对比 Gemma 4 31B QAT Q4 与 Qwen3.8 27B iq4_nl 的 SWE-bench Verified 表现：后者提交 388/500、解决 333/388，而 Gemma 4 全部报 LimitExceeded 错误。Google 已发布支持 agentic coding 的 chat template 更新，作者尝试网上流传的多种模板及 unsloth 的 QAT 版本问题依旧，发帖求助解决方案。
/u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版（ISTA-DASLab GSQ-RCO GGUF）在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件，11 分钟拿到 100% 得分，而 Claude Code 同任务同分但耗时 14 分钟；作者更正原标题未说明这是面向日常任务的基准，不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘，IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49（16 分钟）、opencode 1.18.29 得 46/49（11 分钟）、dsh 0.2.0-rc.2 得 47/49（11 分钟）。
推荐理由：作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时，并给出可复现的完整部署配置。
GitHub 开源项目 agent-evals 发布，用于测量工具调用型 LLM Agent 的准确率与幻觉，通过保留集验证的改动改进 Agent。框架包含 AWS docs agent（逐条引用与文档快照核对，虚构页面和错引由代码标记）和 boto3 代码 agent（按 botocore 服务模型检查 API 调用，在 moto 无网络沙箱运行）。评分优先用引用检查、关键词检查等纯代码确定性 graders，代码无法判定的部分才用 LLM judge；每个指标带 bootstrap 置信区间、McNemar 检验和 τ-bench 的 pass^k，运行记录含 git SHA、prompt hash 等完整 manifest。
推荐理由：开源的 Agent 评测框架，先跑代码级确定性评分再上 LLM judge 的思路值得借鉴，统计方法部分也可迁移到自家项目。
开源仓库 CrucibleMark 发布 2026 版 v6.0.0，基准起始于 2026-10-10，由 Claude Haiku 5.5 担任 Judge。该模块化 LLM 基准框架测代码质量、CLI 操作、推理、UX 文案、文化智能、政治偏见与 Tool Use 等生产环境维度，采用混合评分（Regex、Embeddings、LLM Judge），支持 OpenAI、Anthropic、Ollama、vLLM 等多 Provider，模型逐一顺序测试并排除缓存优势。Leaderboard 可按 Apache 2.0、MIT 许可与自托管能力筛选，聚焦自托管开源权重模型对云端专有模型的对比。
一位有约 20 年经验的软件工程师用相同的 Q4 量化模型测试 Gemma4-31B 与 Qwen3.8-27B 做代码分析和项目编写。代码分析两者质量相当，Gemma4 效率更高（约 10 次服务器调用对 Qwen 的 20-30 次）；新建 C#/WPF 项目中 Qwen3.8 经 1 次修订达到可用的 B+ 水平，优于 Gemma4 的 B-。作为对照的 GPT 6.1-Sol 一次通过、获评 A+，明显领先两个开源模型。