Reddit · r/LocalLLaMA· /u/Vasili_Sk·· 18 天前AI 评分33
为什么每轮对话都要把完整上下文重发给推理服务器？
Why are we still sending the entire conversation to the inference server on every turn? Am I missing something obvious?
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Vasili_Sk
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x0v61i/why_are_we_still_sending_the_entire_conversation/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 r/LocalLLaMA 网友质疑当前推理 API 的设计：每轮都要把整段对话重发给服务器，由服务端做 KV cache 匹配与恢复，各 harness 还得自行实现上下文压缩。他主张把上下文做成服务端对象，提供 create_slot、send_message、delete_slot、compact 等接口，让推理服务器像数据库一样管理 KV 状态，并认为线性对话和 SSD/RAM 分层调度也应交由服务端管理。
来源：Reddit · r/LocalLLaMA · reddit.com