跳到正文
10月24日周六
  1. Reddit · r/LocalLLaMA54

    Kimi K3.1 与 GPT-6 Astra 同任务 Agent 实测对比

    作者让 Kimi K3.1 与 GPT-6 Astra 各跑一次相同的 Three.js 3D 飞行 Agent 任务并对比数据。K3.1 用时 12:28、20 步、读 725K prompt tokens、输出 49.2K tokens,Astra 用时 9:17、35 步、读 1.2M prompt tokens、输出 22.2K tokens;K3.1 推理占比 56%、成本约 $1.1-1.4(估算),Astra 约 $2.63。作者指出步数少可减少 prefill 负担但 decode 更重,并提醒本地部署需在所有子调用中固定 temperature 为 1;K3.1 因图像审查工具参数错误盲跑,Astra 首跑因工具参数问题被拒 29 次调用。各仅一次运行,成本为估算。

10月23日周五
  1. GitHub · 灵魂体仓库51

    Tajima 发布护理执业考试 LLM 一致性研究的数据与代码仓库

    Tajima(Shumei University)公开了预部署评估研究的数据、分析脚本和图表代码,研究考察 GPT-4o、Claude Opus 4.5 与 Gemini 2.5 Flash-Lite 在护理临床判断题上的输出一致性何时不再对应正确率。主分析(Study 2)基于日本国家护理考试 2018–2026 年间公开的 90 道题,90 题 × 11 个模型-温度条件 × 30 次 = 29,700 条响应;修订版将受并列项顺序影响的分诊 AUC 修正为 GPT-4o 0.77、Claude 0.50、Gemini 0.68。

10月12日周一
  1. Reddit · r/LocalLLaMA27

    LocalLLaMA 用户自建 C# 网络电台播放器基准,实测本地模型真实代码能力

    一位 Reddit 用户分享了一个自建基准:让模型用 C# 写一个带 TUI 的网络电台流播放器,测试本地模型的真实能力而非速度。在 RTX 3090 上,Qwen 3.8 27B(119K 上下文,70tok/sec)与 Qwen Next Flash(128K 上下文,120tok/sec)各需至少两小时多轮调试才能跑通,但调试和探测能力出色;GPT 6.1 Sol(High reasoning)则一次生成可用 WUI 应用并附带电台搜索和收藏功能,约 20 分钟、花费 69 美分。

10月8日周四
  1. GitHub · 灵魂体仓库51

    AP-Model-QC 评测用例仓库进入 Phase 3,已对四家模型产出 14 项发现

    apolskiy 发布 AP-Model-QC 仓库(MIT 许可),处于 Phase 3,包含 70 个分级用例:41 evaluator、21 security、8 tool,覆盖 gemini、openai、claude、grok 四个引擎。已记录 851 条候选响应、466 条评判和 14 项模型发现(openai 8、claude 5、grok 1、gemini 0),撤回的 15 项均为自身缺陷。每例观测 3 次、分歧时升至 5 次,11 项发现存在同题异答;录制回放让任何发现无需厂商账号即可复现,如 pytest --engine grok --mode replay --tests 134205。

10月7日周三
  1. Reddit · r/LocalLLaMA55

    Gemma 3 27B 与 Qwen3 32B 金融分析实测:小模型可靠性明显低于前沿模型

    作者用 Bedrock API 对 Gemma 3 27B、Qwen3 32B 与 Opus 5、GPT-5.6 Sol 做金融判断实验,发现小模型一致性明显更差:排序与打分给出相同次序的比例 Opus 为 75%、GPT 为 65%,Gemma 仅 25%、Qwen 仅 15%;调换公司列表顺序会改变 Qwen 10 组中 6 组的榜首。附看空分析师报告使 Qwen 81%、Gemma 71% 的评级下调,而要求模型先识别观点再独立推理可让 Gemma 85%、Qwen 68% 的案例恢复原评级;用 10-Q 摘要替代全文时前沿模型 84% 案例评级不变。作者补充测试了 Gemma 4 31B,各项略好于 Gemma 3 但问题依旧。