Reddit · r/LocalLLaMA· /u/Full-Travel857·· 14 小时前AI 评分38
Ollama 提示词缓存为何导致同模型同提示词同种子下答案不一致
How is it that with the same model, the same prompt, temperature set to zero and a fixed seed, the answer is different because of Ollama's prompt cache? v2.0 - eddited
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Full-Travel857
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xpmwub/how_is_it_that_with_the_same_model_the_same/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
在 temperature 设为 0、seed 固定为 42 的测试中，Ollama 的提示词缓存会导致同一模型的答案发生变化：Bielik-Minitron 7B 卸载模型后回答波兰语历史问题 5/5 正确，但提示词已被缓存时 5/5 出错。测试共覆盖 3 个模型、10 组模型-任务对、4 种变体（流式开/关 × 模型加载/卸载），每种变体重复 5 次，合计 200 条回答，流式输出对答案无影响。作者据此在 AI Bóbr 0.8.1 中加入受控模式，每次尝试前卸载模型并记录提示词缓存统计。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。