Reddit · r/LocalLLaMA· /u/Full-Travel857·· 3 小时前AI 评分42
Bielik-Minitron 7B 实验：提示词开头加一个 BOS token 改变了 6/15 个 LLM 响应，这重要吗？
# One token at the beginning of a prompt changed 6 out of 15 LLM responses. Does it matter?
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Full-Travel857
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xqh2jw/one_token_at_the_beginning_of_a_prompt_changed_6/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
在 Bielik-Minitron 7B v3.0 Instruct（Q4_K_M）上，Ollama 0.40.14 的聊天模板未添加 BOS token；手动在提示词开头加入 BOS 后，15 个任务中有 6 个响应发生变化。质量测试通过数从 11/15（33/45 trials）变为 12/15（36/45），仅波兰语变音符号任务由 0/3 变为 3/3。作者未断言 BOS 必然提升模型质量，只指出比较不同推理引擎时不能假设相同文本会得到相同输入。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。