跳到正文
GitHub · 去对齐工具与仓库·· 13 天前精选AI 评分59

apple-llm-performance 开源仓库:查询开源模型在 Apple 芯片上的运行与量化方案

dreamingwell/apple-llm-performance

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/dreamingwell/apple-llm-performance

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

dreamingwell 发布 apple-llm-performance 仓库及配套网页,用于查询哪些开放权重模型能在哪款 Apple 芯片上运行、该用哪个引擎和量化档位。页面按 CPU 型号、内存大小和机器数量给出模型能否加载、保真度损失和可容纳的并发上下文数,覆盖 llama.cpp、Ollama、LM Studio、MLX、vLLM 等引擎及 mflux、MLX-Audio 等生成媒体工具。数据由 Claude 基于公开模型卡、引擎源码和 issue 追踪器整理,属二手汇编而非实测,每个数字附来源链接;仓库纯标准库构建,CI 校验每个记录,欢迎带引用的 PR 和真实硬件实测贡献。

推荐理由

这个仓库把模型权重、量化位宽、KV 成本和引擎适配的推导方法全部公开,读者可以照着核对每个数字的来源。

来源:GitHub · 去对齐工具与仓库 · github.com