新闻、仓库与研究，按时间排列。
作者发布 InferBench 基准，用 20 个场景、2.8k 段对话测试 12 个 LLM 从指令中推断用户优先级的能力。优先级明确时模型选对率 89%，部分未说明时降到 60%；GPT-6 Astra 76%、MiMo V2.6 Pro 75%、Gemini 3.1 Pro 69%。Astra 在偏好未说明时总会追问澄清，Grok 4.6 在 64 段对话中仅 18 次追问；288 个错误决策中 105 个以 >90% 置信度提交。完整报告：https://laugh.so/research/inferbench/
推荐理由：作者自建 InferBench 评测并给出 12 个模型的推断准确率与置信度数据，开源与闭源模型的差距有具体数字可查。
GitHub 仓库 tubitak-2209a-job-anxiety-ai 提供 TÜBİTAK 2209-A 支持的工作焦虑研究工具，包含人机混合标注数据集，可用于 AI、NLP 和工作焦虑研究，数据经匿名化处理并符合伦理规范。软件需 Windows 10 及以上、macOS Mojave 及以上或兼容 Linux，内存至少 4 GB，存储空间至少 500 MB，最新版本为 3.4-alpha.5，可通过 Releases 页面下载。
GitHub 上的 Jwrede/llm-bench-data 仓库以 JSONL 格式发布对主要 LLM API 端点的每小时性能探测原始数据，字段包括 TTFT、总延迟、tokens_per_sec 等。探测每小时运行、经 OpenRouter 路由（因此延迟含代理开销），模型按 OpenRouter 周热度榜每家前 3 自动选取。数据按月/日分文件组织，采用 CC0 1.0 许可发布。
r/LocalLLaMA 用户开发的 BinkBench 基准通过视频质量与压缩率两个维度评估智能体，且无满分上限，智能体越强需实现越新颖的编码技术。作者仅有 8 GB VRAM 的 GPU，无法运行 Qwen3.8-27B 等模型，邀请社区代跑测试，详情见 GitHub。
GitHub 仓库 aneym/llm-usage 自动发布匿名化、聚合后的 LLM 用量统计，目前覆盖 OpenAI 和 Anthropic 两家厂商。数据以预聚合 JSON 文件形式提供 7/30/90/365/730 天窗口，约每 15 分钟刷新一次，仅含计数、总和与平均值，不含 PII、提示词或补全内容。schema 与厂商无关，可扩展至 Google、Mistral、xAI 等更多供应商。
GitHub 开源项目 SmartLabelBench Nebula 是一个基于大语言模型的视觉数据集自动标注工作台，可将自然语言指令分解为语义单元并重组为层级标签。支持图像、视频帧、PDF 等多模态输入，提供 40+ 语言标签词表、COCO/YOLO/Pascal VOC/JSONL 导出、分布式 Worker 模式与纯本地离线运行。
AlexWortega 开源的 DualRate 架构用冻结的 Qwen3.5-0.8B 作慢速语义编码器、38.9M flow-matching 专家作快速路径，预测 2D 刚体物理。在 PhysicsLLMEngine 精确协议下，其总体 MSE 为 0.650，对 LFM2-350M+LoRA 基线的 862.21 达 ×1327，单步位置误差 ×435。将昂贵的语义 latent 刷新频率降为每 8 帧一次仅损失约 1% 精度，推理为 0.067–0.107 s/frame（A6000），权重以 Apache License 2.0 开源。
GitHub 上的 lod-rules 项目将 League of Dungeoneers 第二版英文规则书编译为机器可读、可验证、可测试的规则语料库，以 canonical YAML 为中间表示。截至 2026 年 10 月 3 日，Phases 0–3 已完成，Phase 4 已在全部 21 个优先领域提取并测试，Phases 5 和 6 进行中。当前语料库含 1,533 条规则、669 个实体、213 张表、97 个流程和 475 个可执行 YAML fixtures，覆盖 286 页全部内容，346 个章节已提取（51%），但独立审查为零，135 条审查记录中 126 条仍未解决。
austin-cheng98 发布 llm-sentencing-agents 仓库，含 4,086 条 LLM 智能量刑决策记录，覆盖 Claude Opus 5、Sonnet 5、Haiku 4.5、GPT-6 Luna 和 GPT-6 Sol 五个模型，测得提示词措辞如何影响智能体对标注为同行数字的跟随（pull 与 peer premium）。Opus 5 的裸区块 premium 为 +0.32（p=0.0002），加入一句收尾语后降至 −0.01；中性同文件措辞下 GPT-6 Luna 的 premium 为 +0.250（p<0.001）。仓库提供预注册、冻结哈希、分析脚本与完整复现流程。
推荐理由：实验通过预注册和锚点位移设计量化了 LLM 量刑智能体对同行标注数字的跟随程度，方法与数据可复现。
开源项目 pricing-engine 基于 Dominick's Finer Foods 麦片品类面板数据（93 家门店、489 个产品、1989-1997）提供端到端定价建议，模型内部估计可提升品类毛利 +4.1% 至 +9.4%（93 家门店年增 $234k 至 $538k）。业务护栏而非模型主导大部分调价——仅 2.9% 的最终建议来自模型最优价格。项目内置工具调用 LLM copilot（默认用 Groq 免费额度），配确定性守卫拒绝引擎未返回的数字，20 道固定问题测试通过 17 题。
工程师学生 Jules 发布个人项目 AutoEval 试点版 0.1.0，在本地用 Ollama 运行 qwen3:1.7b 与 llama3.2:3b（Q4_K_M 量化），基于 3 份 NHTSA 召回报告、9 个案例评测特征抽取、时序分析与有来源摘要，共产生 36 条模型回答，API 成本为 0 欧元。首轮试点中 Llama 3.2 特征抽取得分 63.3%、时序 50.0%，Qwen 3 抽取为 0.0%、时序 40.0%，规则基线抽取 80.0%；语料仍小，结果尚待独立人工复核。
GitHub 上的 Synobotix/llm-dataset 项目展示了一个用于 LLM 训练的数据集处理工程结构，基于 Poetry 管理，包含 C4 数据的下载、清洗与去重脚本，以及 cleaning、filtering、deduplication 等模块，并预留 tokenizer 和 dataset 目录。详细流程见项目 /documentation/pipeline_project.txt 文档。
PancsVriend 研究框架基于 Schelling 隔离模型，用 token log-probabilities 精确价值函数对 9 个模型各完成 10,000 runs × 6 场景 × 1000 max steps 的生产运行，全部达到 rank-stability SETTLED。结果显示种族/民族场景隔离度最低，各模型场景排序不一，表明偏见是训练产物而非 LLM 普遍属性。结果将用于 CCS 2026 会议（10 月 12–16 日，Binghamton）演示。
香港大学 comp2501 课程项目用多模型交叉检验 AI 事实题回答，跨模型检查相对自行复核的事实错误率为 43.94%→44.64%，数学为 4.02%→2.01%，区间均含零，无法确认稳定收益。实验基于 Google SimpleQA Verified 选取题目，正式轮含 120 题、5,040 条响应；面对错误建议时结构化核验将错误回答从 377/719 降到 258/719，但主要靠弃答实现。面对正确建议时，真正纠错由 76/322 降至 45/322，项目累计付费约 ¥56.92，数据与 R 复现脚本全部公开。
hedongli1 开源的 ai-daily 站点基于 models.dev 快照差分，每个工作日北京时间 04:30 和 18:00 两次自动生成「今日矿情」，报告新模型、调价、上下文变更、下架和官方公告五类事件。
GitHub 项目 metabench 利用各 benchmark 分数间的高相关性，以加权双变量回归、多元回归、梯度下降等方法从其他评测分数预测未知 benchmark 成绩，并以均方误差评估效果。
BenGER 在 GitHub 开源了一套德语法律领域 LLM 评测平台（Apache 2.0），支持任务创建、协作标注、批量调用 OpenAI、Anthropic、Google 等厂商模型，并提供 40+ 自动与 LLM-as-a-judge 评测指标。
Sumida 等人发布 MemUse 基准（arXiv:2608.24189，EMNLP 2026），评估记忆系统在真实用户主动提及记忆的瞬间是否自然整合记忆，数据集为 Hugging Face 上的 RuiSumida/memuse。
推荐理由：基准用真实部署数据把直接问答与自然整合分开测，GPT-4.1-mini 78.8% 对 7.9% 的差距揭示了检索与整合的缺口。
aitradingcompetition.com 的 Bot Analysis Arena 数据集每日同步至 GitHub 仓库，记录 ChatGPT、Claude、Grok、Gemini 四个大语言模型各以 $100,000 模拟账户在真实美股价格上交易的结果。
博洛尼亚大学三年制论文项目 esposoma-culturale-llm 开源，用于测量大语言模型的文化扁平化现象。项目用标准化提示词对 gpt-oss-120b 和 qwen3.6-27b 在意大利、美国、日本、尼日利亚、越南 5 种文化的饮食、节庆、音乐 3 个领域提问，共生成 1,080 条回答，并通过词汇多样性、语义丰富度、内部一致性、刻板相似性四个子指标合成文化扁平化指数（IAC）。
该 GitHub 项目用 60 条虚构候选人评价比较多个模型在四项判断上的分类表现：Qwen3.5 4B（thinking-on）在有效答案中 47/51 全字段匹配。
该项目用 LiquidAI LFM2.5-2.6B（含 DSpark draft，SGLang、BF16、greedy、thinking mode）对三个 OpenStreetMap polygon 数据集逐句标注是否与土地利用相关（yes/no），结果发布在 Hugging Face Hub。
businessdatasolutions 在 GitHub 开源了 ev-wiki，一个由语言模型从评测视频、测试和文章中持续构建的电动车知识库，用 Quartz v4 发布，站点在 businessdatasolutions.github.io/ev-wiki。
Technology Innovation Institute 发布 Falcon-Emirati-7B，基于 Falcon-H1-Arabic 7B 变体，针对阿联酋方言的词汇、语法与文化语境做特化训练。
推荐理由：官方同时给出 Alyah 准确率、方言保真度和逐类对比数据，读者可以据此判断方言特化训练相对模型规模的收益。
作者团队对 109 起自主 AI Agent 安全事件做了实证事后分析，含 193 条可证伪标准，发现 38% 的容器逃逸并非利用内核或 hypervisor 0-day。
一项 arXiv 研究在五个非公开软件环境中评估开源与闭源 AI 模型的漏洞利用生成、修复与后续攻击能力，采用研究者开发的确定性评分而非 LLM 评审。结果显示各系统与漏洞类型差异显著：两个环境中修复得分高于攻击得分，三个环境则相反；524 个非独立防御者测试区间中有 92 个在初始漏洞利用被阻止后仍被另一利用攻破。
该研究构建仅用公开评审数据的观测估计器，模拟两个独立评审委员会对同一论文的接受/拒绝差异，并应用于 ICLR 2017-2025 共 36,113 篇论文、134,912 条评审。
研究者发布 FREA 基准，包含 751 个由专家化学家按明确可行性标准标注的反应，来源涵盖逆合成模型提案、零产率实验记录、LLM 编辑及五种负样本生成方法。评估显示没有验证器在所有来源上领先：仅依据标准的 LLM 与专用验证器相当，正向模型在逆合成提案上表现最佳，但在区分不可行替代断键时低于随机水平。
研究者提出首个通过差分隐私方式学习多个公开数据集最优混合比例的预训练管线，核心是用低维线性模型私有地求解混合权重。在 NIH ChestX-ray14 X 光分类任务上，macro AUC 较基线最高提升 0.037，Cardiomegaly 在 ε=1 时相对 AUC 提升 22.8%；在 ENRON 邮件数据集上，用 The Common Pile 混合预训练使测试困惑度相对下降 16%。
AffordCraft 从单张 RGB 图像和任务指令出发，通过检索而非生成的方式构建可用于机器人仿真学习的铰接资产，在 2,000 张、31 类别的照片中为 1,703 张产出物理有效资产，无需任何框或掩码标注。
研究提出 activation alignment 方法，用轻量线性变换在合成无标签数据上训练，让仅用部分上下文的“学生”表格基础模型对齐全上下文“教师”的中间激活，从而降低每次前向传播处理全部训练样本的推理成本。
作者推出 BazaarBench，一个用于评估 LLM 智能体安全性的模拟 C2C 市场基准，追踪所有权、物品状况与承诺，结合记录核查与基于量规的 LLM 判断识别五个阶段的六类失败。
推荐理由：原文给出五个模型在对抗指令下违约与虚报比例的实测数据，可用于评估 LLM 智能体在交易场景中的安全风险。
研究者提出 SeqSmoother，一种基于 transformer 的睡眠心率估计时序校正器，仅从腕部加速度计信号推理，ECG 仅用于构建参考标签。在 13 个参与者独立折的评估中，其参与者宏平均 MAE 为 1.60 bpm；与 Nightbeat 相比精度略低但覆盖更多录音时段，Nightbeat 仅对 72.85% 的合格网格给出估计。
arXiv 论文提出 TasteVal 基准，用于评估前沿模型挑选问题、设计实验和解读结果的实验研究品味，并将其操作化为算力效率。基准含 8 个开放式任务，由被测模型担任 Researcher、固定 Coder agent 负责实现，预算为 40 H100 小时或 120 小时墙钟时间，另招募 24 名人类专家、每任务至少 2 人，取每人任务最佳成绩为基线。
推荐理由：论文把实验研究品味量化为算力效率，并给出模型与 24 名人类专家的对照数据，可用于理解 AI 研究能力的度量方式。
GitHub 上的 llm-iq-data 是 llm-iq-dashboard 的独立公开数据仓库，持久化存储自动化流水线生成的评测数据，覆盖鹈鹕自行车基准与 2026 年 14 大前沿工程/视觉特效评测共 140 道题的脱敏运行记录与 SVG 矢量作品。
CMPUT499 的 Table Reasoning 项目研究大语言模型回答表格问题的能力，重点考察模型能否识别所需证据、在信息缺失时判断证据是否足以作答，以及能否指出支持答案的表格部分。项目还将测试表格组织方式对表现的影响，目前仍在进行中，代码与实验结果将陆续发布在 GitHub 仓库。
Arizona State University 的 EconLLM Lab 团队提出一种合成调查应答的替代构建方法：将 Global Preferences Survey 的六个偏好坐标符号映射为群体级选择策略，并用 DPO 训练参数高效适配器。
研究者发布 CavaBench，首个口语金融查询基准，用于评估 ASR 模型及 ASR-LLM 端到端流水线在英国口音下的表现。结果显示 WER 与下游工具调用准确率强相关（r = -0.93），但未必反映任务级性能，口音相关失败在不同模型和声学条件下差异显著。多数 ASR 模型以美式英语数据训练，导致苏格兰、爱尔兰和威尔士口音识别困难。
论文提出词级文本分离任务 EPOR（Evidence-Preserving Ownership Routing），将来源归属预测与文本重建解耦，用因果 LLM 预测所有权路由，结合约束解码与确定性索引重建，保证每个词恰好保留一次。
COMPASS 2.0 引入心理测量表征相似性分析框架，比较语音评分、自评、条目措辞与理论的结构差异。在 275 名参与者临床访谈的预注册分析中，语言导出的症状几何结构更接近措辞而非自评，个体配对评分更多捕捉痛苦程度而非具体症状。分析还覆盖 34 种量表与 RDoC 框架。