跳到正文
GitHub · 灵魂体仓库·· 12 天前精选AI 评分58

SHARD 发布 Windows 本地 AI 运行时,下载前预判模型能否在你的硬件上跑

avelone123123/shard

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/avelone123123/shard

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

avelone123123 在 GitHub 发布 SHARD v1.7.0,一个 100% 本地的 Windows AI 运行时,核心是 shard fit 预检:下载模型前按实时硬件算出每个量化档的 VRAM/RAM 占用、GPU 层数和预计 tok/s,给出 GPU / HYBRID / IMPOSSIBLE 结论。后端通过 llama.cpp llama-server 子进程(约 50 MB 自动下载)运行 GGUF 模型,提供 OpenAI 和 Anthropic 兼容 API,可一键接入 Claude Code、Cursor、Aider 等工具;另有可选的 C++20/MASM AVX2 原生内核。

推荐理由

项目在下载前就按硬件给出各量化档的显存占用、GPU 层数和预计速度,并附真实拒绝案例,读者可对照自查模型能否跑。

来源:GitHub · 灵魂体仓库 · github.com