local-llm-benchmarking-public 在 GitHub 开源 Apple Silicon 本地 LLM 基准工具

llostinthesauce 在 GitHub 开源了 local-llm-benchmarking-public，一个面向 Apple Silicon 的本地 LLM 服务、清点与基准测试控制面板，自动发现磁盘上的模型并在固定回环端口启动 mlx_lm、mlx_vlm 或 llama.cpp。内置覆盖工具调用、多步 Agent 任务、长上下文等评测套件，附 Qwen3.8-27B 九种量化配置对比：混合精度 4-bit MLX 版以 16.7 GB 磁盘占用达到 0.987 能力分和 16.8 tok/s，8-bit 速度减半但无可见能力提升，64 GB 内存的实用上下文上限为 65,536 tokens。