Reddit · r/LocalLLaMA· /u/dergachoff·· 19 天前AI 评分53
DeepSeek V4.1 Flash 在小型实测中胜过 Haiku 5.5 的研究子智能体与标题任务
DeepSeek V4.1 Flash beat Haiku 5.5 as my research sub-agent and title model (small eval)
来源与原文
Reddit · r/LocalLLaMA
作者:/u/dergachoff
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x0ixh6/deepseek_v41_flash_beat_haiku_55_as_my_research/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/dergachoff 用 4 个真实 brief 和 52 条消息对比 Haiku 5.5 与 DeepSeek V4.1 Flash,后者经 OpenRouter 以至少 8-bit 精度运行。研究子智能体任务中,Haiku 低档更快且便宜约 4 倍,但同样两个 brief 反复失败,例如始终找不到含精确 HEX 和 Pantone 色值的品牌 guideline 页面,高档 60 次工具调用也没找到;DeepSeek 低档耗时 721 秒、$0.35。聊天标题任务 DeepSeek 胜 28 对 8,Haiku 常把标题写成回答第一句,还把一条 prompt injection 测试消息当成了标题。评判由 Opus 盲评 A/B 双序完成,每组只跑一次,作者说明这不是大型基准测试。
来源:Reddit · r/LocalLLaMA · reddit.com