新闻、仓库与研究，按时间排列。
jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版，基于 UkisAI 的 Swift 1.5（构建于 Qwen3.8-27B）的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight，含 MTP 草稿层，面向 12 GB 显卡约 200K 上下文。
推荐理由：发布者给出了拒绝率降低说明、KL 散度和 LiveCodeBench 实测对比，读者可以据此判断这个 2.3 bpw 极致量化在 12 GB 显卡上的实际表现。
该仓库发布一个可复现的工业品选型试点基准，比较 4 条 AI 流水线与一个无模型规则引擎，各在 12 个 held-out 案例上运行 3 次，共 180 次评分。最好的引擎（jev-1.13.0 结构化流水线）仅解出 2/12 案例，所有置信区间重叠，准确率上无明显赢家；但它中位延迟 235 ms，比 RAG 快 14.6×、比爬取 agent 快 47.5×。三个引擎（含无模型规则引擎）都误批准了应拒判的 R09 案例，作者提醒结果为小样本试点。
Reddit 用户在本地测试 GLM 5.3 Flash 时问其知识截止日期，模型在思考链中自称"I'm jarvis-thinker, based on Claude"，随后又表示"Claude models typically have early 2025 cutoffs"。它在明确写出"I don't know the exact date with certainty"后仍给出了具体日期，最终答案里却声称自己不确定时会如实告知、不会编造答案，与几秒前的幻觉行为形成反差。
该基准用 940 道 NYT Connections 谜题评测大语言模型，每题额外加入最多 4 个干扰词以提升难度，采用 quadratic-v1 计分。GPT-6 Astra（xhigh reasoning）以 98.1% 排名第一，Gemini 3.1 Pro Preview 以 97.4% 列第三；主榜仅收录完成全部 940 题的模型。
alexeytz 发布了 llm-assay，一个针对 vLLM、SGLang 或 llama.cpp 等 OpenAI 兼容端点的基准工具，可测量不同上下文深度下的 prompt processing 与 decode 速度，支持置信区间、配对 A/B 显著性检验和 prefix-cache 陷阱检测。工具由 llama-benchy 分支重构而来，包含 compare 显著性比较、tune 端点自动检测和 probe 长上下文质量探针三个子命令；probe 通过生成合成事件日志并注入已知异常来检验模型长上下文理解，相关发现记录在 docs/fabrication-programme/fabrication-findings.md。
推荐理由：原文详细说明了 prefix cache 陷阱、统计方法和长上下文质量探针的设计思路，对自建推理基准有直接参考价值。
GitHub 仓库 llm-evals-1 实现了一个 LLM cue-following 评测：在 MATH500 数学题的故事中植入错误答案线索，测试模型是真正解题还是抄捷径。实验包含 45 episodes × 10 cue counts × 2 reasoning modes 共 900 次模型调用，支持 dryrun 免模型运行和接入 Microsoft Foundry 调用 qwen3-32b。实验 2 通过 3 轮脚本化教学轮次注入线索，Qwen3 模型还测试 /no_think 与 /think 开关，默认输出上限 2048 tokens。
GitHub 上的 llm-arena-tracker 项目提供一个可视化 LLM Arena 代码排行榜随时间变化的工具，通过 scrape_arena.py 抓取榜单数据并配合网页展示。项目采用 Apache-2.0 许可证开源，包含数据、脚本和前端文件。
Reddit r/LocalLLaMA 用户讨论多 GPU 上运行 NVFP4 量化的工具选择：作者目前只能跑通 unsloth，认为 vLLM 加载太慢，TensorRT-LLM 问题太多。对 Qwen 3.8 的 NVFP4 版初步测试中，代码表现一般，但视觉和 tool calling 印象深刻，复杂场景略优于 Q6 gguf。在 2x5060ti 上以 197k ctx 运行速度出色，模型加载仅需 4-6 秒。
Aydin Monavvari 开源 fin-rag-research-assistant，用 26 篇美联储褐皮书文档评估 BM25、dense MiniLM 与混合检索，BM25 的 Recall@5 达 1.00（MRR 0.847），MiniLM 仅 0.20。Qwen 2.5 0.5B 在 top-3 摘录下引用格式 8/8 有效，但词汇接地度极低（mean F1 0.035），并对 2 个超范围问题编造了联邦基金利率区间而未拒绝。整个流水线（fetch → index → eval-retrieval → eval-generation → report）在 CPU 上缓存后约 5 分钟跑完。
开源工具 AquaMind 面向调用模型 API 或自部署端点的 LLM 应用，通过并发阶梯负载实验量化负载下质量退化，配套 S1-S4 退化统计判定与 S5-S8 测量有效性校验，并输出 SLO×质量双门禁报告。它同时测量 TTFT/ITL/p50-p99 延迟、TPS/goodput、LLM-as-Judge 质量分与 token 成本，把压测与评测指标放进同一份自包含 HTML 报告。当前版本 0.0.4 为占位包，v1.0 计划已冻结，按 M1→M6 六个里程碑推进，MIT 许可证开源。
Reddit 用户在租用的 RTX 4090 上用同一任务对比了四款开源决策模型 Laya、d1 3B、Clef-Flash 9B 和 Lev 4B：逐词调用 /v1/systemone 判断 9,534 个词是否为蜈蚣名称。Laya 每词 p50 仅 3.9 ms、32 秒处理 7,980 词，是最快的选择；Lev 准确率最高（98.9%）但每词 51.0 ms，比 Laya 慢 13 倍。
GitHub 项目 byteB8/sva-agent 用开源模型检查器 EBMC 加 Spot 重建了 NVIDIA FVEval 的 SVA 评分器，替代需商业工具 Cadence Jasper 且脚本加密的官方评分器。验证显示其与 Jasper 数字一致（Qwen3-8B 得 34.6/49.3，官方 Jasper 数字 32.3/46.1 落在该评分器 95% 区间内）。在重建评分器上实测：CodeV-SVA-8B 人工集 Func@1 为 40.5、机器集 59.9；Qwen3.8-27B（FP8）为 42.7/63.9。
推荐理由：作者用 EBMC 等开源工具重建了 FVEval 评分器并给出与 Jasper 的对照验证，评测方法可复现，结果对关注开源模型硬件验证能力的人有参考。
一项开源项目让六个决策模型（jev 1.13、Kev 4B、Clef、Clef Flash、GPT-6 Luna 和 Laya）实时对玩 Pac-Man。jev 1.13 以平均分 2,750、最高分 6,380 居首，GPT-6 Luna 平均分 2,568、平均延迟 179 ms。每个模型跑 100 次取均值（95% 置信区间），排行榜和仓库均已开源，玩家也可亲自扮演吃豆人、由这些模型操控幽灵。
GitHub 上线的 ai-evaluation-platform 是一个面向生产环境的 LLM 应用评测与基准测试平台。仓库包含 evaluator、judge、评测历史与数据库模型等模块，采用 Python 编写，目前处于早期阶段（0 stars、无 Release）。
该仓库针对 SportSee 的 NBA 表现分析 RAG 助手进行审计与重构，用 RAGAS 评估并以 Pydantic 校验数据、Pydantic AI 结构化输出、Pydantic Logfire 追踪全链路。在固定 32 个问题、mistral-large-latest 评审、k=5 的条件下，rag_v2 相比原型将回答准确率从 0.32 提升至 0.68，faithfulness 从 0.27 升至 0.82，4 个超出覆盖范围的问题全部正确拒答，平均延迟从 4.5s 降至 1.4s。
maxim-saplin 在 GitHub 开源了 LLM Chess 基准，让 LLM 通过多轮对话下国际象棋，评估推理与指令遵循能力，支持对战 Random Player 或 Komodo Dragon 引擎。基准发现 2024 年早期模型常幻觉出非法着法，2025 年的 o1、o3、o4-mini 等推理模型已饱和随机对手评测，因此加入 Dragon 以 Elo 锚定；指标将棋力（Win/Loss、Elo）与对话稳定性（Game Duration）分开。
一位 r/LocalLLaMA 用户搭建了 airbench.ai 网站，供大家测试并分享本地 harness 与模型组合的最佳结果。已有陌生人用 3090 24GB、80GB 系统内存、上下文设为 256，通过 pi 和 Strata 运行 qwen3.8-flash-next-iq3_s 击败了他用 5090 的基线。网站新增"contributor"板块，登录才能投稿，但所有人无需登录即可查看全部结果。
GitHub 仓库 Generic-LLM-Leaderboard-Local-Deploy 按重新归一化后的综合能力收录并排序参数模型，共有 288 个有参数量数据的模型入图。榜首为 GLM-5.3 (max)，综合能力 0.8518，总参数量 753B、活跃参数 40B，开源且支持推理；Kimi K3 (max) 以 0.8388（2.8T 总参数）位列第二。榜单同时标注各模型的开源状态、大小分类及是否处于帕累托前沿。
米兰理工 NLP 课程四人项目让 Llama-3-8B-Instruct（4-bit NF4，Colab T4 GPU）本地玩《谁想成为百万富翁？》，结合 zero-shot/few-shot 提示词、Wikipedia RAG、自一致性投票、模型写 Python 算数学及 Whisper 语音界面。知识类题目准确率达 80-100%，News 和 Maths 仍难（40-50%）。另有对 Mistral-7B-Instruct-v0.2 的 126 种解码配置扫描，最佳配置（temperature 0.7、top-p 0.8、3 beams）进度 37%，且解码参数影响与噪声难以区分。
ENTITY 的公开网站在 GitHub Pages 上线，展示这个面向 Arm Android 手机的端侧离线 LLM 运行时，包含优化原理动画讲解、基于贡献基准数据集的实时设备排行榜及证据与证伪记录。站点用 Astro + Tailwind v4 构建，静态输出，图表 JavaScript 压缩后不足 10 KB。v1.2.0 修复了 Supabase 行级安全缺少 select 策略导致排行榜只显示快照的问题，并重新核对了页面上的数据。
infobip 团队发布 CIKM 2026 论文 Anchoring Bias in LLM-as-a-Judge Systems 的代码与数据仓库，研究先验分数如何损害 LLM 评委的评估独立性。仓库包含 20 个公开文本任务、192,000 次调用的主实验脱敏数据、Llama 机制探测数据、GPT-4.1 缓解实验数据，并提供 uv run python scripts/reproduce.py 一键复现全部公开统计结果与图表；主实验共 20 任务、8 模型、3 条件、4 温度、每格 100 次试验。工业数据集因含专有内容仅公开聚合结果，论文 DOI 为 https://doi.org/10.1145/3799682.3840879 ，MIT 许可。
推荐理由：仓库公开了19.2万次调用的实验数据和一键复现脚本，读者可以自行验证LLM评委锚定偏差的结论是否站得住。
web4hub 的一个玩具项目以 Chatbot Arena 的人工评测 Elo 分数为金标准，计算其与 Open LLM Leaderboard 各基准结果的 Spearman 相关性，并用 LASSO 回归筛选出预测 Elo 分数最重要的基准。基于选定基准，模型在测试集上预测 Elo 分数的相关性达到 0.94。该项目获 MyShell 开源资助支持。
pavanisri-hub 开源了 llm-performance-benchmark-cli，一个用于基准测试和对比 Hugging Face 因果语言模型的 Python 命令行工具。计划功能包括从 YAML/JSON 配置加载 3 个以上模型、测量端到端推理延迟与生成吞吐、监控 RAM 和 CUDA VRAM，以及计算生成 token 长度、type-token ratio 和退化输出率等基线质量指标。结果可持久化为 CSV 并生成对比图表，通过 Docker 和 Docker Compose 保持一致运行，目前实现仍在进行中。
GitHub 仓库 jimoto-no-llm/bench-of-us 汇总了社区自 2026-09-20 至 10-08 的多组本地推理实测。覆盖 Tesla V100、T4、P40、P100、RTX 3090/5090、Radeon 等单卡与多卡拆分（layer/tensor split、NVLink、NCCL、vLLM TP=2、sglang+KTransformers）配置，测试对象包括 Qwen3.8 27B、Qwen3.8 Flash Next、Nemotron 3 Nano Omni 33B、Gemma 4 26B A4B QAT、DeepSeek V4.1-Flash 等，上下文从 8K 到 262k 乃至 1M。
作者开源了在 RTX 3060 12GB 与 RTX 3090 24GB 两套本地平台上、用 llama.cpp、ik-llama.cpp、moe-cache 分支、vLLM 0.29.0 容器栈和 Strata 引擎跑本地模型的基准报告，含量化档位、上下文长度、prefill/decode 速度表，以及一个基于 Shoko-WebUI 重写任务的 agentic 编码基准，附完整测量方法与逐引擎参数说明。
推荐理由：作者在两套消费级 GPU 配置上实测多个 llama.cpp 分支与引擎的本地推理速度，方法、参数和完整数据公开，结果可直接对比参考。
AKarode 开源的 parallax-markets 项目研究了 LLM 推理系统能否在预测市场上发现并交易错误定价合约，2026 年 6 月研究结束，通过模拟盘交易、13 天回测和结构套利探测得出否定结论：89% 的信号因无可执行报价被拒，回测胜率 46%、P&L 为负。项目在 2026 年伊朗霍尔木兹危机期间摄入 Google News RSS、GDELT、EIA 数据，用 3× Claude 集成预测叠加 6 规则供应链级联模拟，对比 Kalshi/Polymarket 实时价格；独立校准审计显示 isotonic 校准在 3 个 Claude 模型、1531 道已结算 Kalshi 题目上显著优于原始置信度，整个论证仅花费约 $40 的 API 调用，工程代码与评估方法可复用。
推荐理由：项目用预注册终止标准和样本外校准实验给出否定结论，方法论细节对想做类似 LLM 交易研究的人有可迁移参考价值。
一位 Reddit r/LocalLLaMA 用户在约 1 万行客服任务路由数据集上，对比了多个 ≤3B 决策模型与微调后的 Qwen Embedding 0.6B 基线。结果显示 Qwen Embedding 0.6B 准确率最高（0.7865），所有决策模型均未超越基线，Jiwo-0.8B 以 0.7027 居首，D1-Omni-600M 延迟最低（16.68 ms）。作者还发现较大的决策模型表现反而不如小模型，尤其是 liquidai 的模型。
open-compass 团队开源了 AgentCompass 统一 Agent 评测框架，v1.0.0 已于 2026.09.30 发布 PyPI，可 pip install agentcompass 安装，代码采用 Apache License 2.0。框架通过稳定接口解耦 Model、Benchmark、Harness 和 Environment，内置 30 多个公开基准和 10 多个 agent harness 的集成，覆盖 Claude Code、Codex、OpenHands、OpenClaw 等，支持本地、Docker 和远程沙箱执行，并提供并发调度、失败重试、轨迹记录和结果可视化。
推荐理由：原文给出了框架的接口设计和集成清单，读者可以据此判断能否把它接进自己的 Agent 评测流程。
TruthNian 发布 llm-pomdp-agent-eval 基准，评估智能体能否在信息不全和资源约束下把模糊故障接管为可验收的业务结果，单元为含失败动作、执行故障和交付成本的完整交互轨迹。GPT-6 Sol 多次在 20-39 个动作内交付，GLM 多次尝试或超时或遗留错误订单，所有高难度目标均未达成，失败尝试与回归锚点全部保留。基准采用 HTTP/SQL 真实业务操作与独立业务评分，不设默认加权智能评分，代码以 Apache-2.0 许可开源。
推荐理由：作者完整公开了各模型在 POMDP 智能体任务上的成败轨迹与失败成本，并对每个候选结论给出明确的适用范围说明。
/u/dergachoff 用 4 个真实 brief 和 52 条消息对比 Haiku 5.5 与 DeepSeek V4.1 Flash，后者经 OpenRouter 以至少 8-bit 精度运行。研究子智能体任务中，Haiku 低档更快且便宜约 4 倍，但同样两个 brief 反复失败，例如始终找不到含精确 HEX 和 Pantone 色值的品牌 guideline 页面，高档 60 次工具调用也没找到；DeepSeek 低档耗时 721 秒、$0.35。聊天标题任务 DeepSeek 胜 28 对 8，Haiku 常把标题写成回答第一句，还把一条 prompt injection 测试消息当成了标题。评判由 Opus 盲评 A/B 双序完成，每组只跑一次，作者说明这不是大型基准测试。
Reddit r/LocalLLaMA 用户对比测试了 Qwen Flash 的 Q2_0 与 IQ2_XS GSQ-RCO 两种量化版本在旧笔记本上的表现。结果显示 IQ2_XS 更好地保留了世界知识，但比 Q2_0 更容易出现循环输出，尤其在关闭思考模式时；IQ3 则严重拖慢 prefill。两者在基准测试中各有优势领域，作者邀请其他用户分享使用体验。
GitHub 用户 hundredeuk2 发布 judge-adapter，输入一个问题（一或两轮）和两个回答，输出 A、B、平局或显式错误，并记录每次调用，采用 Apache-2.0 许可。核心仅依赖 httpx，提供 JSONL CLI、Python API 和可选 FastChat llm_judge 绑定（MT-Bench 式 pairwise 评审），支持 rubric 和参考答案（随版本与 sha256 一起记录）。默认使用 fake 传输，真实调用需 --allow-real、--max-submissions 和 --budget-cap-usd，失败不重试、不折算成平局，密钥经清洗器移除。作者说明该包本身未对真实模型跑过，仅作 mock 测试。
推荐理由：原文详细写明了调用记录、成本上限、密钥清理和 FastChat 绑定的具体做法，读者可以直接复用这套评测工程方案。
Baksalyar 开源的 aa-models-tracker 项目会抓取 Artificial Analysis LLM Leaderboard 的 Top 20 模型，并将变化发布为 RSS feed。首次运行保存 top 20 快照到 data/models.json，后续运行对比差异并将新模型写入 data/feed.xml，每条 RSS 条目含从模型页面抓取的描述。GitHub Actions 每 6 小时自动运行一次，也可手动触发。
GitHub 上的开源项目 LLM-judge-reporting 用于纠正大语言模型评估中的偏差并计算置信区间，还提供自适应采样算法以提升校准样本效率。该工具支持 CSV 或 JSON 数据输入，需 JRE 11 及以上版本，可运行于 Windows 10+、macOS 10.15+ 或兼容 Linux，占用至少 4 GB 内存和 100 MB 磁盘空间。
作者用 469 题领域评测对比多个 Qwen3.8-27B 微调模型，mradermacher/Signal-3.8-27B-Terse-Coder.i1-Q4_K_M 在准确率、token 用量和完成时间上最优，仅 1 次超限。Opus 5.5 以 99.6% 准确率居首，但本地模型比前沿模型慢 28 倍（19 分钟 vs 9 小时），换取约 100% 的隐私。gpt-oss-120b 在 pandas/numpy 任务上表现糟糕，评测工具已开源。
GitHub 上的 llm-intelligence-monitor 是一个轻量回归测试项目，用于监控 GPT 等大模型是否出现能力下降。自 2026-10-05 起自动日测 schedule 已停用，改为按需人工运行：默认 8 道固定锚点题 + 8 道分层轮换题，每题运行中英文镜像，四模型（GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、GPT-5.6 Sol X High）并行测试，每模型每轮执行 32 个测试。项目还增加了基于轻量 Agent Harness 的应用型评测通道，评分以客观隐藏检查点为主，不依赖 LLM Judge。
kr4ckhe4d 在 GitHub 公布消费级 AMD GPU 上的本地大模型实测数据，硬件为 RX 9070 XT 16GB 与 Radeon AI PRO R9700 32GB（均为 RDNA4/gfx1201），在 Linux 下用 ROCm 7.2 与 llama.cpp b11434 测得。双卡后 MoE 预设去掉 CPU offload，生成速度提升 38-183%；Qwen3.8-27B UD-Q6_K + MTP 达 57 tok/s、KLD 0.0020，并在 Claude Code 中与 Q8_0 相当且快 12%；Gemma 4 26B-A4B + MTP 在 128K 上下文下达 143 tok/s。
推荐理由：作者在消费级 AMD 双卡上实测多款本地模型，给出吞吐、量化 KLD、投机解码和编码 Agent 的第一手可复现数据。
GitHub 开源项目 llm-agent-evals 构建了一个使用 run_sql（只读 SQL）和 FAISS 搜索两个工具的杂货目录 Agent，并对 SmolLM2-360M 的三种设置进行评测：zero-shot 提示、few-shot 提示和 CPU LoRA 微调。评测覆盖 200 个 held-out 问题，指标包括执行准确率、答案匹配、失败模式、延迟和 token 数；测试模板与训练数据不相交。项目代码采用 MIT 许可，模型权重为 Apache 2.0。
一项被 INLG 2026 录用的 arXiv 研究发现，自动化评审已成为不确定性量化器（UQ）评估的常态，但其错误很少经过人工验证。在问答实验中，研究者使用 4 个 LLM、人工与自动判断以及 7 种主流 UQ 方法，结果显示评审模型的表现只能粗略预测其错误对 UQ 评估可靠性的影响，且判断错误最常歪曲信息量较大的 UQ。
研究者推出 UltraText Bench，一个针对密集视觉文字渲染的双语图像生成评测基准，包含 432 个提示词，覆盖 24 个真实场景类别和三个难度级别，中英文各占一半。基准使用 Q-Judger 视觉语言模型从文字保真度、清晰度、空间质量和场景质量四个维度打分，并辅以 10 人参与的人工评估。在 24 个模型配置中，Qwen-Image-2512 的英文综合分从 L1 的 86.50 降至 L3 的 42.86，Z-Image-Turbo 相比 Z-Image-Base 清晰度提升 3.81 分但保真度下降 14.76 分。