dis-craft 开源 LLM-observatory：量化模型本地性能与可靠性分析工作台

dis-craft 在 GitHub 发布 LLM-observatory，一个本地优先的研究工作台，用于在边缘硬件上对量化语言模型做性能与可靠性分析，通过 FastAPI 后端对接本地 Ollama。功能包括模型注册表、CPU/RAM/GPU 遥测、支持多种负载配置的性能基准（报告 TTFT、p95 延迟、吞吐等）、内置质量评估器，以及可选接入 Promptfoo、LM Evaluation Harness、llama-bench 和 Nsight Systems，结果存入本地 SQLite 并可导出 JSON。项目为研究原型，未在所有 Windows/Ollama/NVIDIA 配置上验证，文档详细说明了各指标的测量边界，强调设备级 GPU 读数不能自动归因于模型本身。