chetananand/learning-companion-serving：在稀缺 GPU 上构建学习伴侣的推理系统课程项目

这是一个「AI 推理工程与系统设计」课程的期末项目，在 Lambda GPU 上用 vLLM v0.30.0（RedHatAI/gemma-4-31B-it-FP8-dynamic，H100 SXM 80 GB）搭建学习伴侣应用，基于 Notion 书签库回答问题并核查易变说法。每次 LLM 调用经过 edge 准入控制、Envoy AI Gateway 和 llm-d 路由，实验显示双 pod 拓扑在各负载下优于单 prefill 加单 decode pod（E3），LMCache 经 store barrier 的 KV 传输耗时 0.5 到 0.8 s。