Reddit · r/LocalLLaMA· /u/Full-Travel857·· 15 小时前AI 评分47
Ollama 复用 prompt cache 时固定 seed 输出不一致:AI Bóbr 受控实验发现
Same model, same prompt, temperature 0, fixed seed — and a different answer when Ollama uses the prompt cache
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Full-Travel857
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xplbfv/same_model_same_prompt_temperature_0_fixed_seed/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
用 AI Bóbr 测试波兰语语法时发现,即使 temperature 设为 0、seed 固定为 42,Ollama 复用 prompt cache 与否会导致输出不同:Bielik-Minitron 7B 在卸载模型后 5/5 答对同一道波兰语历史语言问题,缓存 prompt 时却 5/5 答错。实验覆盖 3 个模型、10 组模型–提示词对、4 种条件(流式开关 × 模型加载/卸载)、每种条件 5 次重复,共 200 条响应;流式开关在本样本中无影响。作者据此将 AI Bóbr 更新至 0.8.1,加入每次尝试前卸载模型并记录 prompt-cache 统计的受控测试模式,准备在一致条件下重跑 11 模型基准。
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。