跳到正文
GitHub · 灵魂体仓库·· 18 天前精选AI 评分70

Pie 发布预览版:用 WebAssembly inferlet 在模型旁自定义推理控制

pie-project/pie

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/pie-project/pie

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Pie 项目在 GitHub 上架预览版软件,允许用户用 Python、JavaScript 或 Rust 编写运行在模型旁的 WebAssembly 程序 inferlet,由其驱动 forward pass 并独占 KV cache,从而按应用实现 agent 循环、工具调用、自定义采样器和缓存策略,无需修改引擎。示例涵盖 beam search、投机解码、KV-cache 共享与扩散等;pie serve 在同一端口兼容 OpenAI、Anthropic 和 Google 的客户端 API,支持 cuda、metal、vulkan、wgpu 四种后端,npm 包可在浏览器经 WebGPU 编译运行,Apache License 2.0 开源。

推荐理由

README完整给出了安装、示例inferlet和四种GPU后端的构建方式,读者可以据此评估这个把控制逻辑下沉到模型旁的推理引擎是否适合自己。

来源:GitHub · 灵魂体仓库 · github.com