OptiQuant：消费级 GPU 上开源大模型量化与基准测试流水线

OptiQuant 是一个可复现的量化流水线，用于在 12 GB 消费级 GPU 上对 7–8B 级开源 LLM 进行量化基准测试，研究吞吐量、延迟、内存与精度之间的 Pareto 前沿。目前已实现用 llama-bench 测 GGUF 模型（含多次重复的 prefill/decode 吞吐）、结果写入 SQLite 并归档原始 JSON；计划中加入自动化量化扫描（Q8_0 → IQ4_XS）、困惑度与 lm-evaluation-harness 精度评估、vLLM 运行时对比（AWQ/GPTQ）及 Pareto 前沿仪表盘。项目处于早期开发阶段，基于 RTX 5070 Ti Laptop GPU（12 GB）和 CUDA 12.8 开发。