跳到正文
Reddit · r/SillyTavernAI· /u/Lazy-Two-4481·· 7 天前AI 评分8

3060 Ti + 64GB 内存能否跑更大的本地模型?用 RAM offload 放宽 VRAM 限制

Using ram to be able to use bigger models?

来源与原文

Reddit · r/SillyTavernAI

作者:/u/Lazy-Two-4481

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/SillyTavernAI/comments/1xaxhgu/using_ram_to_be_able_to_use_bigger_models/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位 Reddit 用户拥有 3060 Ti 和 64GB DDR4 内存,受 8B 模型 VRAM 限制,询问能否通过 offloading 到 RAM 来运行 12B 或更大模型,用于故事生成和角色扮演,目前使用 kobold cpp 并考虑尝试 SillyTavern。

来源:Reddit · r/SillyTavernAI · reddit.com