跳到正文
我的
GitHub · 去对齐工具与仓库·· 3 小时前精选AI 评分58

iQuantize:把 LLM 量化成 GGUF、MLX 和 ONNX 的桌面工作台

Fazmin/iQuantize

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Fazmin/iQuantize

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

iQuantize 是一个桌面工作台,可逐步把 LLM 量化成 GGUF、MLX 和 ONNX,并对比量化结果与原始模型、评测后发布到 Hugging Face。它用 Rust + 纯 JavaScript 和 Tauri v2 构建,自带 uv、私有 Python 3.12 与按 OS/GPU 获取的 llama.cpp 构建,GGUF 支持 K-quants、I-quants 与 importance matrix,MLX 支持 AWQ、GPTQ、DWQ 等,ONNX 走 ORT GenAI 或 Optimum。发布时会生成记录工具版本、配方与测量数据的模型卡和 quantization_report.json,便于复现。

推荐理由

原文把量化流程拆成规划、运行、对比、评测、写模型卡和发布几步,并给出每个环节的具体做法,可作为本地量化工作流的参考。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。