跳到正文
GitHub · 灵魂体仓库·· 1 天前精选AI 评分66

phase 开源工具实测本地大模型每 token 能耗,拆分 prefill 与 decode

splicedso/phase

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/splicedso/phase

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 项目 phase 发布,可在本机直接测量本地 LLM 推理的每 token 能耗,分别报告 SoC 芯片功耗与 sys 整板 DC 输入,并扣除空闲基线,三平台后端均无需 sudo。首组数据在 Apple M5 Pro 24 GB 上测得:decode 每 token 能耗是 prefill 的 20 到 35 倍,仅计芯片封装会低估真实成本 2 倍以上。项目附 18 篇研究笔记,涵盖量化格式能耗、投机解码、批处理与长上下文等发现,Apache-2.0 许可,原始 JSON 在 results/ 目录。

推荐理由

工具把 prefill 与 decode 能耗分开实测,并给出芯片级与整板级两组数据,解释了为什么各家边缘模型能耗数字对不上。

来源:GitHub · 灵魂体仓库 · github.com