mantou2046/LLMOps-Engineer：带引用溯源与量化评估的 LLM 问答工程项目

GitHub 开源项目 LLMOps-Engineer 构建“可复现、可评估、可观测”的 LLM 应用，用于回答资金/财务制度类问题，核心是搭建“检索→评估→观测→成本”工程闭环，为每个回答建立量化基线并实现引用溯源。项目基于 FastAPI、RAGAS 四指标、Langfuse 和 LiteLLM 等，通过 RAGAS、Grafana、云账单等追踪 faithfulness、P95 延迟等 5 个指标，并设有提交前脱敏门禁防止真实敏感信息入库。