GitHub · 灵魂体仓库·· 17 天前AI 评分19
Gyanendra Pandey 的 LLM 量化软硬件协同设计研究：Oltron 与 FlightLLM 对比分析
gyanu1614/LLM-Quant_Oltron_FlightLLM
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/gyanu1614/LLM-Quant_Oltron_FlightLLM
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
这是一份加州州立大学长滩分校 CECS 530 课程研究项目，探讨软硬件协同设计的 LLM 量化能否超越纯软件方案。基于 LLaMA-70B 需 140 GB 显存的背景，分析显示 Oltron（ASIC）加速 1.9 倍、能效提升 1.6 倍，FlightLLM（FPGA）相对 A100 加速 1.2 倍、能效提升 6 倍，而 bitsandbytes 反而慢 0.65 倍，各方案精度损失均小于 1%。
来源：GitHub · 灵魂体仓库 · github.com