跳到正文
GitHub · 去对齐工具与仓库·· 8 小时前精选AI 评分66

cookiesheep 开源 UniVis:逐层数值指纹定位跨硬件推理误差

cookiesheep/univis

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/cookiesheep/univis

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

cookiesheep 在 GitHub 开源 UniVis,通过在每层出口记录 64 维数值指纹来逐层对照不同硬件或软件栈的推理输出,给出 PASS / DIVERGE / UNKNOWN 三种判定。演示中数值栈正确与第 17 层算子换错的 bf16 模型 top-1 一致率同为 96.2%,但工具能定位到分叉层及其 MLP 输出误差为基线 3.3 倍;在沐曦曦云 C500 与 NVIDIA RTX 5090 对照中 Qwen2.5 0.5B/3B/7B 逐层全部 PASS,支持 CPU 运行、生成自包含 HTML 报告并可接入 CI 回归检查。

推荐理由

作者公开了工具原理、真机对照数据、负结果和 94 项测试,读者可以据此评估这套逐层数值对照方法是否值得搬到自己的硬件验证流程里。

来源:GitHub · 去对齐工具与仓库 · github.com