Ollama 提示缓存致固定种子输出不一致

1. 04:13
   Reddit · r/LocalLLaMA

   Ollama 提示词缓存为何导致同模型同提示词同种子下答案不一致

   在 temperature 设为 0、seed 固定为 42 的测试中，Ollama 的提示词缓存会导致同一模型的答案发生变化：Bielik-Minitron 7B 卸载模型后回答波兰语历史问题 5/5 正确，但提示词已被缓存时 5/5 出错。测试共覆盖 3 个模型、10 组模型-任务对、4 种变体（流式开/关 × 模型加载/卸载），每种变体重复 5 次，合计 200 条回答，流式输出对答案无影响。作者据此在 AI Bóbr 0.8.1 中加入受控模式，每次尝试前卸载模型并记录提示词缓存统计。

2. 03:09
   Reddit · r/LocalLLaMA

   Ollama 复用 prompt cache 时固定 seed 输出不一致：AI Bóbr 受控实验发现

   用 AI Bóbr 测试波兰语语法时发现，即使 temperature 设为 0、seed 固定为 42，Ollama 复用 prompt cache 与否会导致输出不同：Bielik-Minitron 7B 在卸载模型后 5/5 答对同一道波兰语历史语言问题，缓存 prompt 时却 5/5 答错。实验覆盖 3 个模型、10 组模型–提示词对、4 种条件（流式开关 × 模型加载/卸载）、每种条件 5 次重复，共 200 条响应；流式开关在本样本中无影响。作者据此将 AI Bóbr 更新至 0.8.1，加入每次尝试前卸载模型并记录 prompt-cache 统计的受控测试模式，准备在一致条件下重跑 11 模型基准。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。