DAT300 课程组在 Raspberry Pi 集群上用 llama.cpp 实测分布式推理并开源优化版

44sunsetsf 公开 DAT300 第 7 组项目，在 Raspberry Pi 集群上用 llama.cpp 跑 Llama-3.2-3B-Instruct Q4_0，对比流水线并行与张量并行并定位瓶颈：单台 decode 受内存带宽限制（1.85 tok/s），2 台 TP 每个 token 同步 56 次，原版在 4/8 台时全经主控中转，模拟 8 台时每 token 有 4164 次串行网络延迟。其 fork 的 dat300 分支实现任意 2/4/8/16 台直接 allreduce，模拟 8 台时串行延迟次数少 19 倍；rpc-server 用 -t 3 后 2 台 TP 从 2.31 提到 2.93 tok/s，输出层改 Q4_0 再快 9% 至 3.19，困惑度仅差 0.6%。