跳到正文
GitHub · 灵魂体仓库·· 5 天前精选AI 评分75

homelab-atlas:在二手硬件上跑通 Qwen3.8、GLM-5.3-Flash 与 DeepSeek V4.1 Flash 的实测手册

akapug/homelab-atlas

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/akapug/homelab-atlas

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

akapug 发布 homelab-atlas 仓库,用 2017 服务器、2019 工作站、Ryzen 桌面等四台旧机器实测本地大模型部署,如 DeepSeek V4.1 Flash(748B MoE)在 RTX 6000 + Optane 上解码 12.69 tok/s,GLM-5.3-Flash 在 3090 Ti 上达 26.69 tok/s。仓库提供 PATCHES.md 补丁索引、按硬件分类的复现命令、失败记录,以及浏览器端 Recipe Maker 规划工具,用于在下载权重前预判 MoE 模型在 VRAM、DRAM、PMem 上的布局与速度。

推荐理由

用二手服务器、老工作站和Intel冷门卡跑通大MoE模型,每个数字都附条件、命令和补丁来源,方法可直接照搬。

来源:GitHub · 灵魂体仓库 · github.com