arXiv · cs.AI· Sven Kleinkop·· 2 天前AI 评分30
PromptOps：面向 LLM-as-a-Judge 系统的迭代提示词优化框架
PromptOps: Iterative Prompt Optimization for LLM-as-a-Judge Systems
来源与原文
arXiv · cs.AI
作者：Sven Kleinkop
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07123v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
PromptOps 是一个闭环框架，用于监控并迭代重校准 LLM-as-a-Judge 系统，应对部署中评分分布变化导致的"judge drift"。框架拆分为何时优化、用哪种优化流程、用哪些反馈记录、如何更新 judge prompt 四项决策，并以 GEPA、SIMBA、Rubric Synthesis 及模拟退火或 Tree-structured Parzen Estimator 的示例选择五种方法实例化。实验显示迭代提示词优化可在参考分数分布受控偏移后恢复 judge 性能，但优化算法选择与更新时机均无法在所有场景通用。
来源：arXiv · cs.AI · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。