GitHub · 去对齐工具与仓库·· 21 天前AI 评分45
PocketLLM：在单 GPU、边缘板或手机上运行大语言模型的开源引擎
lvyufeng/PocketLLM
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/lvyufeng/PocketLLM
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开源项目 PocketLLM 让大语言模型在单个加速器（一块 GPU、边缘开发板或手机）上运行，放不下就进一步量化而非卸载或多卡拆分。其 C 引擎已能运行 Qwen3-0.6B（f16 或 q4_k_m），贪心解码在 cpu 和 cuda 上与 llama.cpp 逐 token 对齐，量化器经线程池优化从 1087 us 降至 55.6 us。
来源：GitHub · 去对齐工具与仓库 · github.com