GitHub · 灵魂体仓库·· 1 天前精选AI 评分66
phase 开源工具实测本地大模型每 token 能耗,拆分 prefill 与 decode
splicedso/phase
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/splicedso/phase
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 项目 phase 发布,可在本机直接测量本地 LLM 推理的每 token 能耗,分别报告 SoC 芯片功耗与 sys 整板 DC 输入,并扣除空闲基线,三平台后端均无需 sudo。首组数据在 Apple M5 Pro 24 GB 上测得:decode 每 token 能耗是 prefill 的 20 到 35 倍,仅计芯片封装会低估真实成本 2 倍以上。项目附 18 篇研究笔记,涵盖量化格式能耗、投机解码、批处理与长上下文等发现,Apache-2.0 许可,原始 JSON 在 results/ 目录。
推荐理由
工具把 prefill 与 decode 能耗分开实测,并给出芯片级与整板级两组数据,解释了为什么各家边缘模型能耗数字对不上。
来源:GitHub · 灵魂体仓库 · github.com