GitHub · 3D 生成新仓库·· 17 天前AI 评分45
coprompter:面向 vLLM 加速推理的异步 Prompting 协程工具包开源
vrammouz/coprompter
来源与原文
GitHub · 3D 生成新仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/vrammouz/coprompter
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 新仓库 coprompter 发布,这是一个可安装的异步聊天客户端与数据集运行工具,对接运行中 vLLM 服务器的 OpenAI 兼容 API,用于加速 LLM 推理。它接受用户提供的聊天提示词,按输入顺序写出响应并记录运行 manifest,但不启动 vLLM 也不为模型答案评分。工具要求 Python 3.10 及以上,支持 max_concurrency 并发控制、--user-template 提示词模板,manifest 会哈希输入文件字节以保证可复现性。
来源:GitHub · 3D 生成新仓库 · github.com