跳到正文
我的
热点事件持续更新

开源量化工作台 iQuantize 发布,支持 GGUF/MLX/ONNX

2 篇报道2 个报道来源4 小时前更新

先了解这件事

AI 综述

用户 Zipidyzip 在 r/LocalLLaMA 发布开源桌面量化工作台 iQuantize,可将本地 Safetensors 或 Hugging Face 模型逐步量化为 GGUF、MLX 和 ONNX,并对比量化结果与原始模型,评测后发布到 Hugging Face。项目采用 Apache 2.0 许可,用 Rust、纯 JavaScript 和 Tauri v2 构建,自带私有 Python 3.12 与按 OS/GPU 获取的 llama.cpp 构建,不触碰系统 Python。 GGUF 支持 K-quants、I-quants 与 importance matrix,MLX 支持 AWQ、GPTQ、DWQ 等,ONNX 走 ORT GenAI 或 Optimum;发布时生成记录工具版本、配方与测量数据的模型卡和 quantization_report.json。MLX 需要 Apple Silicon,其他平台界面会禁用并说明原因。 作者称主要在 Apple Silicon 上测试;Windows 和 Linux 版本虽已存在并使用各自的 llama.cpp 变体,但尚未深入测试,预计存在缺陷。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. GitHub · 去对齐工具与仓库精选
    iQuantize:把 LLM 量化成 GGUF、MLX 和 ONNX 的桌面工作台

    iQuantize 是一个桌面工作台,可逐步把 LLM 量化成 GGUF、MLX 和 ONNX,并对比量化结果与原始模型、评测后发布到 Hugging Face。它用 Rust + 纯 JavaScript 和 Tauri v2 构建,自带 uv、私有 Python 3.12 与按 OS/GPU 获取的 llama.cpp 构建,GGUF 支持 K-quants、I-quants 与 importance matrix,MLX 支持 AWQ、GPTQ、DWQ 等,ONNX 走 ORT GenAI 或 Optimum。发布时会生成记录工具版本、配方与测量数据的模型卡和 quantization_report.json,便于复现。

  2. Reddit · r/LocalLLaMA
    iQuantize:面向大语言模型的桌面量化工作台,支持 GGUF、MLX 和 ONNX

    作者开源了桌面量化工作台 iQuantize,可加载本地 Safetensors 或 Hugging Face 模型,按步骤转换为 GGUF、MLX 和 ONNX,并可视化量化前后的模型变化。结果可与原模型对比,并附带记录制作过程的 model card 发布回 Hugging Face。项目采用 Apache 2.0 许可,主要在 Apple Silicon 上测试,Windows 和 Linux 版本已有但尚未深入测试。

本事件热度走势

可比范围当前
17
可比范围峰值
1911月6日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。