跳到正文
我的
Reddit · r/LocalLLaMA· /u/Full-Travel857·· 15 小时前AI 评分47

Ollama 复用 prompt cache 时固定 seed 输出不一致:AI Bóbr 受控实验发现

Same model, same prompt, temperature 0, fixed seed — and a different answer when Ollama uses the prompt cache

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Full-Travel857

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xplbfv/same_model_same_prompt_temperature_0_fixed_seed/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

用 AI Bóbr 测试波兰语语法时发现,即使 temperature 设为 0、seed 固定为 42,Ollama 复用 prompt cache 与否会导致输出不同:Bielik-Minitron 7B 在卸载模型后 5/5 答对同一道波兰语历史语言问题,缓存 prompt 时却 5/5 答错。实验覆盖 3 个模型、10 组模型–提示词对、4 种条件(流式开关 × 模型加载/卸载)、每种条件 5 次重复,共 200 条响应;流式开关在本样本中无影响。作者据此将 AI Bóbr 更新至 0.8.1,加入每次尝试前卸载模型并记录 prompt-cache 统计的受控测试模式,准备在一致条件下重跑 11 模型基准。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。