开源量化工作台 iQuantize 发布,支持 GGUF/MLX/ONNX
先了解这件事
用户 Zipidyzip 在 r/LocalLLaMA 发布开源桌面量化工作台 iQuantize,可将本地 Safetensors 或 Hugging Face 模型逐步量化为 GGUF、MLX 和 ONNX,并对比量化结果与原始模型,评测后发布到 Hugging Face。项目采用 Apache 2.0 许可,用 Rust、纯 JavaScript 和 Tauri v2 构建,自带私有 Python 3.12 与按 OS/GPU 获取的 llama.cpp 构建,不触碰系统 Python。 GGUF 支持 K-quants、I-quants 与 importance matrix,MLX 支持 AWQ、GPTQ、DWQ 等,ONNX 走 ORT GenAI 或 Optimum;发布时生成记录工具版本、配方与测量数据的模型卡和 quantization_report.json。MLX 需要 Apple Silicon,其他平台界面会禁用并说明原因。 作者称主要在 Apple Silicon 上测试;Windows 和 Linux 版本虽已存在并使用各自的 llama.cpp 变体,但尚未深入测试,预计存在缺陷。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- GitHub · 去对齐工具与仓库精选iQuantize:把 LLM 量化成 GGUF、MLX 和 ONNX 的桌面工作台
iQuantize 是一个桌面工作台,可逐步把 LLM 量化成 GGUF、MLX 和 ONNX,并对比量化结果与原始模型、评测后发布到 Hugging Face。它用 Rust + 纯 JavaScript 和 Tauri v2 构建,自带 uv、私有 Python 3.12 与按 OS/GPU 获取的 llama.cpp 构建,GGUF 支持 K-quants、I-quants 与 importance matrix,MLX 支持 AWQ、GPTQ、DWQ 等,ONNX 走 ORT GenAI 或 Optimum。发布时会生成记录工具版本、配方与测量数据的模型卡和 quantization_report.json,便于复现。
- Reddit · r/LocalLLaMAiQuantize:面向大语言模型的桌面量化工作台,支持 GGUF、MLX 和 ONNX
作者开源了桌面量化工作台 iQuantize,可加载本地 Safetensors 或 Hugging Face 模型,按步骤转换为 GGUF、MLX 和 ONNX,并可视化量化前后的模型变化。结果可与原模型对比,并附带记录制作过程的 model card 发布回 Hugging Face。项目采用 Apache 2.0 许可,主要在 Apple Silicon 上测试,Windows 和 Linux 版本已有但尚未深入测试。
本事件热度走势
- 可比范围当前
- 17
- 可比范围峰值
- 1911月6日 13:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。