跳到正文
Reddit · r/LocalLLaMA· /u/dergachoff·· 19 天前AI 评分53

DeepSeek V4.1 Flash 在小型实测中胜过 Haiku 5.5 的研究子智能体与标题任务

DeepSeek V4.1 Flash beat Haiku 5.5 as my research sub-agent and title model (small eval)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/dergachoff

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x0ixh6/deepseek_v41_flash_beat_haiku_55_as_my_research/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

/u/dergachoff 用 4 个真实 brief 和 52 条消息对比 Haiku 5.5 与 DeepSeek V4.1 Flash,后者经 OpenRouter 以至少 8-bit 精度运行。研究子智能体任务中,Haiku 低档更快且便宜约 4 倍,但同样两个 brief 反复失败,例如始终找不到含精确 HEX 和 Pantone 色值的品牌 guideline 页面,高档 60 次工具调用也没找到;DeepSeek 低档耗时 721 秒、$0.35。聊天标题任务 DeepSeek 胜 28 对 8,Haiku 常把标题写成回答第一句,还把一条 prompt injection 测试消息当成了标题。评判由 Opus 盲评 A/B 双序完成,每组只跑一次,作者说明这不是大型基准测试。

来源:Reddit · r/LocalLLaMA · reddit.com