跳到正文
10月23日周五
  1. GitHub · 灵魂体仓库51

    Tajima 发布护理执业考试 LLM 一致性研究的数据与代码仓库

    Tajima(Shumei University)公开了预部署评估研究的数据、分析脚本和图表代码,研究考察 GPT-4o、Claude Opus 4.5 与 Gemini 2.5 Flash-Lite 在护理临床判断题上的输出一致性何时不再对应正确率。主分析(Study 2)基于日本国家护理考试 2018–2026 年间公开的 90 道题,90 题 × 11 个模型-温度条件 × 30 次 = 29,700 条响应;修订版将受并列项顺序影响的分诊 AUC 修正为 GPT-4o 0.77、Claude 0.50、Gemini 0.68。

10月21日周三
  1. Reddit · r/SillyTavernAI31

    Gemini Argon 实测:做对了什么,又做错了什么

    Reddit 用户在 SillyTavern 中实测 Gemini Argon,认为它在虚构叙事中明显优于以往 Gemini:会说谎、会讲冷笑话、角色区分度更高、能守住秘密、不再无条件给角色塞钱,创造力已接近 Claude。不足是仍会轻微重复概念(如反复“自言自语”),偶尔出现旧式 AI 味文本,作者期待 .0 之后的后续版本继续改进。

10月19日周一
10月15日周四
10月14日周三
  1. AIHOT · 精选56

    卡兹克实测 Gemini 4 Argon:知识工作强劲但体验糟糕,难撼 Claude Opus 5.5 与 GPT-6 Astra

    Gemini 4 Argon 于 10 月 13 日全面开放,Pro 会员可在 Gemini APP 使用,Antigravity 需 100 刀 Ultra 会员。作者实测认为其知识类专业能力强,Vals Index 综合第一(68.9)且单次成本仅 15.68 美元,但 CUA-bench 仅 4.83% 排倒数第二;前端效果不及 GPT-6 Astra,额度消耗快,中文写作味道重,整体体验糟糕,不建议订阅 Ultra。

    推荐理由:作者给出 Gemini 4 Argon 在多项基准与实际使用中的具体表现和成本数据,可作为是否订阅 Ultra 的参考。

10月11日周日
  1. Reddit · r/LocalLLaMA75

    Reddit 用户自建 agentic 基准实测 Qwen3.8 27B 各量化版本差异

    Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本,发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内,而自建的 112 次运行 agentic 编码基准(隐藏测试、AST 注入 bug)拉开差距:27B NVFP4 解题 77%,Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致(69% vs 82%,McNemar p≈0.007),OpenCode 等测试框架的选择对结果影响也很大,Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。

    推荐理由:作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距,方法与数据都可复用。

  2. Reddit · r/LocalLLaMA32

    工程师实测 Gemma4-31B、Qwen3.8-27B 与 6.1-Sol 的软件工程能力对比

    一位有约 20 年经验的软件工程师用相同的 Q4 量化模型测试 Gemma4-31B 与 Qwen3.8-27B 做代码分析和项目编写。代码分析两者质量相当,Gemma4 效率更高(约 10 次服务器调用对 Qwen 的 20-30 次);新建 C#/WPF 项目中 Qwen3.8 经 1 次修订达到可用的 B+ 水平,优于 Gemma4 的 B-。作为对照的 GPT 6.1-Sol 一次通过、获评 A+,明显领先两个开源模型。

10月8日周四
  1. GitHub · 灵魂体仓库51

    AP-Model-QC 评测用例仓库进入 Phase 3,已对四家模型产出 14 项发现

    apolskiy 发布 AP-Model-QC 仓库(MIT 许可),处于 Phase 3,包含 70 个分级用例:41 evaluator、21 security、8 tool,覆盖 gemini、openai、claude、grok 四个引擎。已记录 851 条候选响应、466 条评判和 14 项模型发现(openai 8、claude 5、grok 1、gemini 0),撤回的 15 项均为自身缺陷。每例观测 3 次、分歧时升至 5 次,11 项发现存在同题异答;录制回放让任何发现无需厂商账号即可复现,如 pytest --engine grok --mode replay --tests 134205。

10月7日周三
  1. Reddit · r/LocalLLaMA55

    Gemma 3 27B 与 Qwen3 32B 金融分析实测:小模型可靠性明显低于前沿模型

    作者用 Bedrock API 对 Gemma 3 27B、Qwen3 32B 与 Opus 5、GPT-5.6 Sol 做金融判断实验,发现小模型一致性明显更差:排序与打分给出相同次序的比例 Opus 为 75%、GPT 为 65%,Gemma 仅 25%、Qwen 仅 15%;调换公司列表顺序会改变 Qwen 10 组中 6 组的榜首。附看空分析师报告使 Qwen 81%、Gemma 71% 的评级下调,而要求模型先识别观点再独立推理可让 Gemma 85%、Qwen 68% 的案例恢复原评级;用 10-Q 摘要替代全文时前沿模型 84% 案例评级不变。作者补充测试了 Gemma 4 31B,各项略好于 Gemma 3 但问题依旧。

10月6日周二
  1. GitHub · 去对齐工具与仓库63

    Jiaming Yue 实测 Qwen3.5-9B、Qwen3.8-27B 与 gemma-4-26B-A4B-it 本地工具调用能力

    作者 Jiaming Yue 发布可复现的本地开源模型工具调用评测项目,用官方 BFCL 数据和逐条评分代码对比三个本地部署模型,三个模型各完成全部 3641 个单轮用例。

    推荐理由:作者用官方 BFCL 数据和逐条评分代码实测三个本地开源模型的工具调用表现,并公开全部原始输出与复现脚本,便于核对与复跑。