GitHub · 灵魂体仓库·· 20 天前精选AI 评分75
RTX 2080 本地 AI 实测仓库：单张 8 GB 老卡跑通 25 个模型并给出排名
riccardogiorato/local-ai-RTX-2080
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/riccardogiorato/local-ai-RTX-2080
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
riccardogiorato 的 GitHub 仓库记录了在一张 2018 年 8 GB 显存的 RTX 2080 上实测的 25 个模型，按 AG-Bench v2.1（11 个 canary 校验任务）给出 Top 10 排名，每个模型附完整 artifact、运行时 digest、启动配置与可复现命令，失败也一并记录。关键发现包括：约 2 bits-per-weight 以下推理链断裂（IQ1_S 空转、Flash-Next-125B 直达 EOS），Bonsai 仅靠把上下文从 8K 提到 64K 分数就从 5/11 涨到 8/11；UBBoost 主张被复现，A3B 用 -ub 4096 预填充提速 24%。仓库含 recipes、raw JSONL 证据与基准套件。
推荐理由
在同一张 8 GB 老卡上跑通 25 个模型并给出可复现配置与量化下限结论，想选本地模型的人可以直接对照结论。
来源：GitHub · 灵魂体仓库 · github.com