跳到正文
GitHub · 灵魂体仓库·· 3 天前精选AI 评分79

PolyStrata 开源:在普通 PC 上本地运行十个大模型

VecSzn/PolyStrata

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/VecSzn/PolyStrata

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

VecSzn 发布 PolyStrata,一个基于 Strata 的本地推理工具,在普通 PC 的显卡、内存和处理器之间分摊计算,可运行 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Flint、Qwen3.6-35B-A3B 等十个模型。Qwen3.8-Flash-Next 在 RTX 5070 上以 IQ3_S 量化写入 53 tokens/s,DeepSeek V4 Flash 91 GB 文件在 RTX 5090 工作站写入 56 tokens/s;在 8 GB 显存笔记本上,PolyStrata 读取提示词比 llama.cpp b11540 快 2.7 到 3.5 倍。

推荐理由

仓库给出了各模型在不同量化档位下的读写速度实测,并与 llama.cpp 在同一台笔记本上做了直接对比。

来源:GitHub · 灵魂体仓库 · github.com