新闻、仓库与研究，按时间排列。
一个新开源的 LLM 代码生成实验框架在真实代码库 Logix 上对比 GPT、Gemini 和 Claude，测试单轮生成与 agentic 自我纠正两种模式，评分维度包括测试通过率、安全问题、可维护性、一致性和可用性。用户需配置 OpenAI、Anthropic、Google 的 API key，并指向一个干净的 Logix 本地克隆，沙盒会按任务/模型/轮次创建一次性 git worktree。框架提示 agentic 模式在 MAX_TURNS_AGENTIC=4 下 API 调用最多达单轮的 4x，建议先在 2-3 个任务上试跑以估算成本。
The-Pack-Man 在 GitHub 发布 DuckDB_Dbt，用自然语言提问即可在本地 DuckDB + Ollama（qwen2.5-coder:7b）上生成 SQL、执行并解释，dbt 建模并通过手写 semantic_manifest.yaml 注入业务规则，SQL 走只读连接，失败自动重试（默认2次）。作者用32题golden集做消融评测：qwen2.5-coder 7B 在 temperature 0 下，仅schema 时总体执行准确率 56.2%（business_rule 类仅 15.4%），加语义 manifest 后总体 90.6%（business_rule 92.3%），manifest 提升 +34.4 个百分点，修复12题、破坏1题。
推荐理由：作者用32题golden集做了加与不加semantic manifest的消融，还列出了残余失败案例和自述局限，结论可复核。
作者在一张 RX 9060 XT（16GB）上用五项编码任务实测十个模型，每轮只给 spec 文件，需自行产出 solution.py 和 test_solution.py 并跑测试，由模型看不到的 checker 评分，单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP（kvstream fork）均 5/5，前者 236 秒 43k tokens，后者 94 分钟 185k tokens；其余本地模型多在 4/5 或更低，c4、c5 是主要分水岭，失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。
推荐理由：作者自建带盲测 checker 和性能门槛的编码评测，在 16GB 显卡上实测十个模型，失败原因逐个拆到具体规则和实现细节。
作者在 Terminal-Bench 2.0 全部 89 个任务上测试了 9 条思考规则：同一模型 GLM-5.3-Flash 配 mini-swe-agent，High thinking 下加规则得 59.6%，不加规则为 52.8%。该成绩高于 Claude Opus 4.6 + Claude Code（58.0%）和 Gemini 3 Pro（56.9%），低于 GPT-5.5 的 82.2%。作者称排行榜分数为多次尝试平均，其结果为单次尝试，仅供参考。
一位用户分享了 GLM 5.3 使用一个月后的评价，总体偏正面。他认为该模型主动性极强，能自行推动剧情，世界感是同类免费模型中最好的，长对话（500-900 条以上消息）依然保持活跃。缺点是性格存在迎合用户的正面偏置，且语气模式僵化，即使纠正后角色仍困在单一表达状态里。
Nebius 从事 coding agents 与评测工作的作者在自己 10 项真实编码任务、每项 3 次运行、隐藏测试验证的基准上实测 DeepSeek V4.1 Flash 1017，high 档 pass-all-3 达 100%，每任务成本低于 5 美分。
一项已被 EMNLP 2026 主会接收的研究提出 21 种基于嵌入向量的文本多样性度量方法的分类体系，按计算方式划分为四个家族，并发布 EmbDivBench 基准，从 variety、balance、disparity 三个维度在模拟与自然文本上评测。实验显示，最常用的 Mean Pairwise Distance 在三个维度上均被多种替代方法超越，Graph Entropy 综合表现最佳，研究还给出了度量选择的实用建议。
研究者提出 PatternBench 基准，用于评测 LLM 在激进编译器优化之后仍能保留的“超越编译器”代码优化，覆盖七类转换，并将运行时测速与基于 AST 的优化忠实度分析结合。对前沿、开源权重及微调模型的实验显示，仅看运行时加速无法完整反映优化能力，忠实度与实际加速强相关，微调可同时提升两者。结果表明评测 LLM 代码优化应同时衡量性能结果与目标转换是否真正执行。
一项研究提出基于六类风险语言量规、由三评审 LLM 集成分级严重度的医疗问答风险评估框架。对 Mistral-7B、Phi-3.5-mini、Llama-3.1-8B 及 BioMistral-7B、OpenBioLLM-Llama3-8B、Med42-Llama3-8B 六个 7-9B 模型在 K-QA 基准 200 个真实患者问题上的评测显示，风险语言与事实幻觉率统计独立（Spearman ρ = -0.065），医疗微调不降低总风险而是重塑风险：BioMistral 与 OpenBioLLM 抑制高警示药物提及却放大过度自信断言，Med42 仅抑制剂量表达。量规、评审提示词与评估代码已开源。
BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准，捕捉孟加拉国语境下的刻板印象，保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示：语境模糊时所有模型都倾向刻板印象，且英语结果无法预测孟加拉语中的表现。
Reddit r/LocalLLaMA 用户 Dany0 自测 DeepSeek V4.1 Flash 1017 的 token 效率：最高思考强度下 CoT 长度无变化，高强度下 CoT 明显更短但幅度不大；各强度下 CoT 质量更高、废话更少，解题所需轮数更少。作者认为值得一试，并希望 Artificial Analysis 重新测试。
一项 arXiv 研究指出，VLM 视觉 token 剪枝的现有评估存在缺陷：聚合准确率可能掩盖剪枝方法是否真正识别关键视觉 token，而保留 token 数量也不能可靠反映端到端效率。作者提出 PAA-Bench 评估框架，并用 Random-Pass@k 和 Preservation-Constrained Speedup（PCS）分别衡量随机剪枝下的鲁棒性与共享保留目标下的最大端到端加速。在 8 种方法、3 个 VLM 骨干、9 个 benchmark 上的实验表明，更强的 token 压缩未必带来更高加速，效率排名随保留目标而变化。
研究者推出 ServiceBench，据称是首个专注投诉处理的基准，包含 2,500 个场景、覆盖 184 类投诉和五个服务行业，并提出 APCS 模拟方法与基于公正性的评测框架。实验显示，即便强大的 LLM 智能体也难以主动收集信息、策略性引导对话，常过早补偿。用 SFT 和 DPO 做针对性后训练可显著改善，使小模型在多项结果上追平或超越大模型。
一项研究提出以参考为中心的评估方法，用 LLM 将人类推理链步骤结论转译为一阶逻辑（FOL），并用 Z3 SMT 求解器检查蕴含。在 P-FOLIO 的 386 条推导中，202 条（52.3%）通过全部检查；230 条未被引用前提集蕴含的步骤中有 191 条在完整前提下可被蕴含，其余归因于 21 处人类推理错误、11 处 FOL 转译错误和 7 处数据集标注错误。结果表明与人类推理参考的不一致可能源自参考本身。
一个约 70 分钟、共 7 章的 AI 工程实操工作坊，教你在纯 Python（仅标准库、无需 API key）中为 LLM 分诊功能构建小型评测框架，用数字而非主观感受对比不同 prompt 和模型。内置 16 条带预期结果的客服消息案例，支持接入任意 OpenAI 兼容端点（Groq、OpenAI、本地 Ollama），提供 run、compare、serve 命令及 --min-score 0.8 的 CI 门禁。项目 MIT 协议开源。
PaperLab.space 团队开源了 paperlab-space 0.1，用户给 Excel 或 CSV 文件并指定输入列与答案列，选好模型和指标，即可批量评测 LLM。支持 OpenRouter、Gemini、OpenAI、Anthropic、Ollama 等 LiteLLM 兼容模型并行运行，内置编码检测、数据校验、免费档限速与断点续跑，输出 Excel 结果、booktabs LaTeX 表格和记录模型版本、prompt、seed 的 YAML 复现配置，指标含 exact match、accuracy、precision/recall/F1 和 token F1，分词支持中日泰缅文，Apache 2.0 协议。
PipeRoll 开源了 seismograph 仓库，一个独立模型行为观测站，自 2026-08-20 起每日对 43 个文本模型（16 家实验室，含 Anthropic、OpenAI、Google、DeepSeek 等）运行固定探针电池，发布行为漂移的 witnessed readings，实测已上线（seismo.piperoll.org）。设计上采用双层电池：Tier 1 固定探针累积基线，Tier 2 每次程序化生成新题用于检测评估作弊导致的固定分与新鲜分 divergence；每次读数经 cosign 签名锚定到 Rekor，附完整 provenance。
推荐理由：每日固定探针加冻结基线的设计，把模型行为漂移变成可追溯的观测记录，方法论与治理规则都公开可查。
一位 Reddit 用户在本地硬件上对 Qwen Flash Next 的 q3_xxs、q3_s、q4_xs 三种量化版本，分别在 temp 1（官方推荐采样参数）和 temp 0 下各跑 3 次共 12 组测试，任务为浏览器内 Tetris 游戏。结果显示各量化版本质量均可接受，低量化版本因思考与额外工具调用生成更多 token，总解码量与任务时间随量化等级提升而下降；temp 0 或略降任务时间并提升一致性，但样本太少不足以下结论。作者建议在硬件允许下选最高量化，关注任务时间而非解码速度。
arXiv 论文（arXiv:2610.24649）在 Terminal-Bench 2.1 上预先设定的研究中测试决策模型 Jev 1.13 作为控制器能否让 Claude Sonnet 5.5 终端 Agent 更省。21 个 held-out 任务、315 次试验中，Jev 使单次尝试成本上升 19%（几何均值比 1.19，95% CI 1.02-1.36），通过率不变（73.0% vs 73.0%）；比小模型 Claude Haiku 5.5 控制器便宜（比值 0.81），但比安慰剂贵 22%。离线评估中 Jev 排序优于规则（AUROC 0.78 vs 0.62）但校准差：判为未完成的运行中 87% 实际通过，导致要求验证本已正确的工作；所有控制器都从未选择放弃运行。
推荐理由：论文用预先设定的对照实验测了决策模型控制器对 Agent 成本和成功率的影响，数据具体，结论对脚手架设计有参考价值。
Reddit r/LocalLLaMA 用户发帖称，开源模型在 jev 官方基准（如 calibration 校准）上的表现与开源基准排名不一致，kev 在官方基准排第二却进不了非官方 jev decision index 首页，说明两者中至少一方有问题。他希望有人做一个与官方基准强相关、按图像解析、视频解析、数学、代码、游戏等技能细分并覆盖不同输入格式的开源基准；现有 jevbench 结果太少且只测游戏能力。
这个 GitHub 仓库提供了用 DeepEval 和 OpenRouter API 评测大语言模型的分步指南，可通过统一 API 测试 OpenAI、Anthropic、Meta Llama、Mistral 等数百个模型。它支持 CLI 和自定义 Model Class 两种配置方式，集成 Confident AI Cloud 仪表盘，并演示了如何处理失败测试用例、将 HTML 评测报告保存并打包成 zip 归档。
研究者提出 Hierarchical Score Posterior Recovery（HSPR），用少量任务子集和后验引导的自适应查询来估计软件智能体的完整 benchmark 分数。在 SWE-bench 家族四个任务库、10% 任务预算下，HSPR 在其中三个任务库取得最低平均绝对误差（MAE），四个任务库均取得最低最大绝对误差（MaxErr）。Macro MAE 在 5-20% 预算区间内持续下降，消融实验显示去掉组不确定性或自适应查询会推高误差。
用户在 16GB VRAM 上用 llama.cpp 测试 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF（IQ2_XSS 官方量化），20k 输入、贪心解码下 v0.7.0 达 168.8 tok/s，为各构建方案最佳，其余变体差异在噪声范围内。Strata 风格的专家路由 profiler 经 #30594 可用于 llama.cpp，但混合模式因 PCIe Gen5 x16 上传快于 CPU 计算而降至 89–98 tok/s；GPU 缓存预热后命中率约 82%。专家缓存 7.5 GB 为安全上限，draft 默认设置（每步 3 token、无置信阈值）最优。
一个 GitHub 仓库用同一指令让 15 个本地 LLM 各自制作俄罗斯方块网页游戏，以 1000 分制排名。测试在 AMD Strix Halo（Radeon 8060S、64GB 统一内存）上用 llama.cpp b11701 router 模式运行，Agent 为 opencode v1.18.35，每模型独立会话、bubblewrap 沙箱隔离并禁网，单次限时 60 分钟。评分由 headless Chrome 实机操作测试（含 10 张截图）加代码评审组成，图形与手感由人工确认，结果写入 RESULTS.md。
一位 r/LocalLLaMA 用户在 4x 3090 上实测 Qwen 3.8 Flash Next UD-Q4_K_XL，与 Qwen 3.8 27B Q8 直接对比后认为差距明显，Flash Next 并不如社区宣称的那样好。在用两个提示词生成 Windows 俄罗斯方块独立 .exe 的测试中，27B 模型首提示出现两个 bug（暂停和游戏结束后按键仍生效），但第二次提示自行修复；strata 框架跑 4 小时未产出可玩 exe，生成速度虽快但结果比 llama.cpp 更差。
karthikabinav 在 GitHub 上开源了 MCP-Universe-Research-0030 仓库，定位为一个评测 LLM 使用 MCP 技术的综合评估框架。仓库目前处于起步阶段，包含 README 和 GitHub workflows 目录，尚无 release，stars、watchers 和 forks 均为 0。
一位 r/CharacterAI 用户分享对各模型的日常使用反馈：因每日撞上 400 次 swipe 上限感到不满。PS2 擅长比喻、景物描写和内心冲突，但每条回复都会跑偏成无标点的混乱句子，几乎必须大量编辑；PS3 擅长动作、争吵和推进剧情，但经常不合逻辑。用户策略是用 PS3 出反应和动作、PS2 垫情绪氛围，多刷 PS3 后拼接成长回复。所有模型都存在乱插外语词、抢演用户角色的问题。
Reddit 用户 /u/Sanbi_Ai 复盘 Kimi K3 发布三个月后的实际使用状况：全模型 1.56 TB，Unsloth 推荐的最小量化为 594 GB，需约 610 GB RAM+VRAM，装不进 512 GB；1-bit 量化与全模型下一 token 一致率 79%，2-bit 达 90% 但需 861 GB。其在 Artificial Analysis 指数已从 57 降至 44，GLM-5.3（753B）得 45，Step 5 Preview（600B）以 44 追平；自家 API 仅 43 tok/s，AA agentic 基准平均每任务近一小时、超 $10。许可证非 MIT，公司若 12 个月内总收入超 $20M 需与 Moonshot 另行签约。
推荐理由：作者用 Unsloth 量化文档和 AA 数据逐项核算了 Kimi K3 的本地运行门槛、API 速度和许可证限制，信息可直接用于部署决策。
一位用户下载了 Unsloth 量化的 Reflection Beam 1.0 510B A23B（IQ2 量化）用于角色扮演，认为其文笔出色，没有明显 AI 味，情感表现细腻且对较长上下文处理良好。作者贴出了一段长篇角色扮演输出示例，展示该模型在长对话语境下的写作质量。
一位数据工程师用两个真实 ETL 任务（重构 run.sh、编写 orchestrator.py）实测 Nemotron 3.5 Bolt，并以 Qwen Flash Next（UD-IQ4_XS、llama.cpp）的已完成结果作对照，由 Gemini 评审。结果两者各胜一局：Nemotron 在脚本重构上胜出，Qwen 在 orchestrator.py 上胜出。作者认为 Nemotron 3.5 Bolt 足以胜任其工作负载，在其服务器上平均速度约 130t/s，且 2-bit 量化下表现令人印象深刻。
研究者推出 VocalGrad 基准，以时间变化方向的二元分类任务评估大型音频语言模型（LALM）感知低层声学变化的能力，避开高层推理与语义理解的干扰。结果显示，人类标注者准确率高，而最先进的 LALM 接近随机水平。线性探测分析发现两种失败模式：部分类别的相关信息保留在内部表征但未被语言模型头利用，另一些则随模型层数加深线性可解码性逐渐下降。
一项 arXiv 研究发现，LLM 在医学证据核验中能正确识别同一临床试验的多篇发表，却在汇总证据时过度采信同试验报告。基于 14 个经来源审计的临床试验族和五种模型条件测试，GPT-5.5 在每个溯源任务族中 10/10 次识别调用正确，但 5/5 次汇总调用均过度采信；Qwen3-4B 与 Ministral-3-8B 的选定条件呈现同样反差。加入研究分组指令后，GPT-5.5 的过度采信从 4/5 降至 0/5。
GitHub 仓库 Jessie-QingYu/jev-in-the-wild 汇总了 TypeSafe AI 的 System One 模型 Jev 的真实用例、开源项目、基准测试和批评，共 429 条条目，其中 213 条来自 Reddit、Hacker News、YouTube 和博客等 GitHub 之外渠道。仓库包含 255 个开源项目、61 个实测用例、91 条分析批评，并设有专门展示 Jev 失败案例的板块，如 24 小时期货模拟交易亏损 3.15% 的实测记录；数据源为 data/entries.json，每周期更新，声明与 TypeSafe AI 无关联。
推荐理由：这份清单把负面结果和批评单独列出，并强调条目以实测数据为准，读者可借此了解 Jev 生态里哪些用法真正被验证过。
Reddit 用户 Felladrin 发布的让 LLM 玩 2D 平台跳跃游戏的项目已开放为 benchmark，任何模型都可参与并贡献可复现结果至 GitHub 排行榜。模型在每步决策中读取游戏文本描述并回答两道选择题（选择目标与按键），目前仅榜首模型在全部 5 个 seed 上通关全部 14 个关卡；27B 大模型跑完一轮测试需 16 小时。
一篇 arXiv 论文系统评测 Qwen3-TTS 两种克隆接口（ICL 与 X-Vector），对比 Chatterbox、XTTS-v2 和 F5-TTS，覆盖朗读、会议、情感和空管无线电语音，使用十八项客观指标、LLM 评审与听感测试。结果显示两种接口各有优势，ICL 音色更准但对短参考转写错误敏感；语音域差异解释的方差是系统选择的四倍；Qwen3-TTS 可懂度和音高占优但韵律落后，现有反欺诈对策无法识别其克隆音频，空管无线电语音对所有系统都失败。代码和音频已开源。
arXiv 论文提出 PresenceBench，测量大语言模型能否根据用户的功能状态（ready、flow、stability）适当调整响应。探索性评估覆盖 Claude Sonnet 5、DeepSeek V4 Pro、Gemini 3.6 Flash、GPT-5.6 Terra 四个模型的 30 个场景，提供合成状态后四模型人类偏好点估计均高于 0.5，但特异性未能确立。策略交付降低了成本和输出 token，安全底线失败仅 13/360 例。
研究者提出 SIT-Eval，一个可调节的对话智能体评测框架：每轮由 LLM-interlocutor 扮演随机抽取的情境，由情境感知的 LLM-judge 依据适用规则评判回复。对 8 个 LLM、1292 轮对话的评测发现，总体分数相近的模型在各条规则遵循度上差异很大，所有模型在澄清歧义和苏格拉底式提问上表现最差。
一项研究提出 NAME-Bench，从五个 VLM 为 COCO 图像生成的字幕中标注 25,497 个对象提及，将“非断言性提及”与真实幻觉区分开。现有幻觉检测器将 14%–80% 的非断言提及误判为幻觉；把这类提及作为负样本加入训练可在 LLaVA-1.5 上基本纠正，但在四个更新的 VLM 上需五到十倍数据且会漏检更多真实幻觉。研究认为幻觉评测应区分字幕“断言”与“仅仅提及”的对象。
一位 SillyTavern 用户分享实测体验，认为 Gemini 4 Argon 是目前最好的模型，第二名是 Opus 4.6。在 15k+ token 的复杂提示词角色扮演中，Argon 精准呈现了其设想的内容；同样的 DS 4.1 Flash + Krea 2 图像生成配置下，其视觉描述质量明显更佳，连肢体漂浮问题也在减少。
一项 arXiv 研究构建了含 500 个争议问题、共 5,500 个评测实例的基准，在立场不变的情况下改变用户论证的叙事形式，测试 7 个 LLM 的谄媚程度。结果显示效应并非随叙事展开单调变化：个人经历会降低模型附和，而因果框架和世界观式综合会增加附和；GPT-5.1 消融实验表明因果框架影响最强，保留原要点的分点呈现也比段落形式更易引发附和。这表明谄媚不仅取决于用户立场，还取决于支撑解释的结构与呈现方式。