GitHub · 去对齐工具与仓库·· 3 小时前精选AI 评分58
iQuantize:把 LLM 量化成 GGUF、MLX 和 ONNX 的桌面工作台
Fazmin/iQuantize
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Fazmin/iQuantize
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
iQuantize 是一个桌面工作台,可逐步把 LLM 量化成 GGUF、MLX 和 ONNX,并对比量化结果与原始模型、评测后发布到 Hugging Face。它用 Rust + 纯 JavaScript 和 Tauri v2 构建,自带 uv、私有 Python 3.12 与按 OS/GPU 获取的 llama.cpp 构建,GGUF 支持 K-quants、I-quants 与 importance matrix,MLX 支持 AWQ、GPTQ、DWQ 等,ONNX 走 ORT GenAI 或 Optimum。发布时会生成记录工具版本、配方与测量数据的模型卡和 quantization_report.json,便于复现。
推荐理由
原文把量化流程拆成规划、运行、对比、评测、写模型卡和发布几步,并给出每个环节的具体做法,可作为本地量化工作流的参考。
来源:GitHub · 去对齐工具与仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。