Reddit · r/LocalLLaMA· /u/Rough_Practice7631·· 20 天前AI 评分55
Gemma 3 27B 与 Qwen3 32B 金融分析实测:小模型可靠性明显低于前沿模型
I tested Gemma 3 27B and Qwen3 32B against two frontier models on financial analysis tasks. The small models answers are much less reliable
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Rough_Practice7631
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wzi6o3/i_tested_gemma_3_27b_and_qwen3_32b_against_two/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者用 Bedrock API 对 Gemma 3 27B、Qwen3 32B 与 Opus 5、GPT-5.6 Sol 做金融判断实验,发现小模型一致性明显更差:排序与打分给出相同次序的比例 Opus 为 75%、GPT 为 65%,Gemma 仅 25%、Qwen 仅 15%;调换公司列表顺序会改变 Qwen 10 组中 6 组的榜首。附看空分析师报告使 Qwen 81%、Gemma 71% 的评级下调,而要求模型先识别观点再独立推理可让 Gemma 85%、Qwen 68% 的案例恢复原评级;用 10-Q 摘要替代全文时前沿模型 84% 案例评级不变。作者补充测试了 Gemma 4 31B,各项略好于 Gemma 3 但问题依旧。
来源:Reddit · r/LocalLLaMA · reddit.com