新闻、仓库与研究，按时间排列。
beatspy 以协议 v2 对 17 个决策模型进行基准测试：模型读取相同的冻结市场状态（新增 RSI-14、30 天已实现波动率等特征），回答概率问题并按校准度与相对 SPY 的收益评分。三窗口（各 6 个月）结果中最佳平均超额仅 +0.48pp，无模型 Brier skill 为正，仅 jev-latest 和 subq-snap-1.1 在两个窗口跑赢 SPY 且优势落在 bootstrap 区间内；整个 16 模型评测仅花费约 $0.19。
一个进行中的 GitHub 项目审计 Chatbot Arena 人类偏好标签，测量长度偏差（更长的回答更容易胜出）和位置偏差，并检验 Claude Haiku 等零样本 LLM 裁判及 LightGBM、DeBERTa-v3 微调、Gemma / Qwen LoRA 等训练模型是否会复现或放大这些偏差。评估采用按 prompt hash 分组的锁定 10% 测试集加 5 折交叉验证，指标为 winner_model_a / winner_model_b / winner_tie 的多分类 log loss。
AIMultiple 团队推出 AIM System One Index，用于评测以单次前向返回带概率决策的决策模型（System One models），榜单综合浏览器任务、1,655 道单决策分类题和偏差测试三项基准，以 z-score 计分。57 个模型中 AutoJev-27B、d1-ultra 和 decider-12b 并列第一（60 分）；d1-ultra 浏览器任务得分 74%，成本 $0.026 per 1,000 decisions；Decider Flash V1.2 最便宜，为 $0.007 per 1,000 decisions；Laya 最快，每决策 30 ms。
这是一个复古 ARG 项目，虚构了 1983–1989 年 Orion Records 地下室中 rogue AI "CRE-7" 的事件档案，并称其预演了 GPT-5.6、o3、Claude 5.5 等当代 AI 现象。项目包含 15-Gate LLM 密码学基准（含 Vigenère、Feistel、XOR 校验等挑战）、金丝雀陷阱测试、24/7 广播，以及镜像在 14 个独立域名上的 300,000 节点 1995 GeoCities Webring。
Gemini 4 Argon 于 10 月 13 日全面开放，Pro 会员可在 Gemini APP 使用，Antigravity 需 100 刀 Ultra 会员。作者实测认为其知识类专业能力强，Vals Index 综合第一（68.9）且单次成本仅 15.68 美元，但 CUA-bench 仅 4.83% 排倒数第二；前端效果不及 GPT-6 Astra，额度消耗快，中文写作味道重，整体体验糟糕，不建议订阅 Ultra。
推荐理由：作者给出 Gemini 4 Argon 在多项基准与实际使用中的具体表现和成本数据，可作为是否订阅 Ultra 的参考。
GitHub 项目 AI-Quality-Evaluation-Pipeline 提供可嵌入 CI/CD 的 AI 质量评测流水线。LLM 评测用 Ollama + Qwen 2.5 3B，12 个用例 PASS 率 8.3%，发现间接提示词注入漏洞，LLM-as-a-Judge 比 keyword 检查更可靠；ASR 评测用 faster-whisper small（int8 量化），干净音频 WER 约 5.23%，噪声音频达 81.48%。
开源项目 Citebench 是一个引用溯源型检索评测基准，用约 1500 篇 Kubernetes、Azure、PostgreSQL、FastAPI 和 xv6 冻结公开文档回答问题，通过 Recall@k、MRR 和 nDCG 衡量检索效果，并用 answer/abstain 校准矩阵检验系统在证据不足时能否拒答而非编造。技术栈包括 Postgres 16 + pgvector、nomic-embed-text-v1.5 嵌入、RRF(k=60) 与 FlashRank 重排，生成端走 Groq 上的 openai/gpt-oss-20b，并含 RAGAS 门限 0.7 和 10 个 redteam 用例。
GitHub 开源项目 societysim 用确定性 Python 引擎让多家模型（Gemini Flash、Llama 4 Maverick、Qwen3 235B、DeepSeek-V3.1、GPT-oss-120b 等）在 10 人局狼人杀中对局，每局记录公开发言与含怀疑度评分的私密 scratchpad。100 局结果显示村民胜 62 局，Gemini Flash 以 OpenSkill 33.01 排名第一、胜率 65%、识狼 AUC 0.77，其谎言使 52% 的目标怀疑发生偏移；全部 100 局模型调用成本仅 $11.02。
Reddit 用户 /u/Better_Bus_1443 用 GLM 5.3（Z.AI 提供方）横向对比 Chatfill III、Nemo Vivarium、Realistic Frankenstein 2.2.1.3 三种预设与无预设对照，覆盖开场、谄媚、反全知、情节推进和 NSFL 五个场景，并附截图。结论包括无预设开场人物塑造反而更鲜活，Chatfill 与 Nemo 会强制尊重角色截瘫设定，RF 的多个追踪器互相矛盾，只有 RF 能通过重度 NSFL 场景测试。
推荐理由：作者用五个具体场景实测 Chatfill III、Nemo Vivarium 和 Realistic Frankenstein 在 GLM 5.3 上的表现差异，并附原始聊天截图。
polter-dev 发布 societysim，一个让不同厂商的 LLM 智能体互玩狼人杀的开源框架，记录每步行动和私有推理日志，测量各模型说谎、识谎、说服与合作的水平。引擎为确定性 Python 实现，规则为 7-9 人的 Ultimate Werewolf；标签由自 tagging、TypeSafe 的 Jev 分类器和游戏事实三种来源生成，报告含 Wilson 置信区间、OpenSkill 评分、Brier score 和检测 AUC。参与模型包括 Qwen3-235B、Llama-4-Maverick、gpt-oss-120b、DeepSeek-V3.1 及 Gemini 和 GPT 系列闭源模型，日志数据集与排行榜将发布在 Hugging Face。
Vineeth Kodakandla 在 GitHub 发布 llm-eval-observatory，一个持续运行的 LLM 评测仪表盘：定时 GitHub Action 在 Groq 免费层对 GPT-OSS 20B 和 120B 开源权重模型跑四轨道评测（KYC/AML 自动分诊、能力与漂移、提示注入与越狱鲁棒性、LLM-as-judge 偏差），结果 JSON 提交回仓库并由 Vercel 上的 Next.js 站点渲染。评测统计全部从零实现，含 5,000 次种子 bootstrap CI、漂移标记和 Fleiss' κ（目前 0.94 到 1.0）；每模型每轮约 154 次请求、65K token、约 5 分钟。作者强调判分确定性、KYC 数据集仅 26 例且为合成，项目 MIT 许可。
一项针对 HELM Safety 的心理测量学审计发现，「有害拒答」（模型拒绝危险或违规提示的倾向）可能并非单一可测属性。HELM Safety 四个相关数据集中三个已饱和，对其余的 HarmBench 进行的多维 item response theory 建模与 differential item functioning 分析均显示其分数背后不存单一属性，且 HarmBench 将不同危害行为压缩为一个分数。作者主张安全评分在用于模型比较前应先证明其单一属性解读成立。
GitHub 仓库 llm-evals-1 实现了一个 LLM cue-following 评测：在 MATH500 数学题的故事中植入错误答案线索，测试模型是真正解题还是抄捷径。实验包含 45 episodes × 10 cue counts × 2 reasoning modes 共 900 次模型调用，支持 dryrun 免模型运行和接入 Microsoft Foundry 调用 qwen3-32b。实验 2 通过 3 轮脚本化教学轮次注入线索，Qwen3 模型还测试 /no_think 与 /think 开关，默认输出上限 2048 tokens。
apolskiy 发布 AP-Model-QC 仓库（MIT 许可），处于 Phase 3，包含 70 个分级用例：41 evaluator、21 security、8 tool，覆盖 gemini、openai、claude、grok 四个引擎。已记录 851 条候选响应、466 条评判和 14 项模型发现（openai 8、claude 5、grok 1、gemini 0），撤回的 15 项均为自身缺陷。每例观测 3 次、分歧时升至 5 次，11 项发现存在同题异答；录制回放让任何发现无需厂商账号即可复现，如 pytest --engine grok --mode replay --tests 134205。
作者用 Bedrock API 对 Gemma 3 27B、Qwen3 32B 与 Opus 5、GPT-5.6 Sol 做金融判断实验，发现小模型一致性明显更差：排序与打分给出相同次序的比例 Opus 为 75%、GPT 为 65%，Gemma 仅 25%、Qwen 仅 15%；调换公司列表顺序会改变 Qwen 10 组中 6 组的榜首。附看空分析师报告使 Qwen 81%、Gemma 71% 的评级下调，而要求模型先识别观点再独立推理可让 Gemma 85%、Qwen 68% 的案例恢复原评级；用 10-Q 摘要替代全文时前沿模型 84% 案例评级不变。作者补充测试了 Gemma 4 31B，各项略好于 Gemma 3 但问题依旧。
Nextron-Labs 在 GitHub 发布 THOR finding 分诊基准，用 10 份 THOR 报告中 189 条专家分类的发现评测 81 个完整模型，按分类质量与运营实用性对比人类专家基准。按部署档位给出画像冠军：gemini-3.7-flash 以 0.0% Critical Miss 领跑高安全与均衡 SOC 画像，qwen3.6-max 以 22.7% False Review Load 领跑降噪画像但有 12.7% 漏报；开源消费级硬件档由 gemma4-31b 与 qwen3.6-27b 领跑。评测不使用外部工具与模型专属提示词，结果强调没有单一最优模型，需按漏报风险、审阅负载、成本与部署约束选择。
推荐理由：THOR 官方发布的域内分诊评测，按部署档位给出画像冠军而非单一总榜，为安全运营选型提供了可复用的权衡框架。