Reddit · r/SillyTavernAI· /u/Lazy-Two-4481·· 7 天前AI 评分8
3060 Ti + 64GB 内存能否跑更大的本地模型?用 RAM offload 放宽 VRAM 限制
Using ram to be able to use bigger models?
来源与原文
Reddit · r/SillyTavernAI
作者:/u/Lazy-Two-4481
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/SillyTavernAI/comments/1xaxhgu/using_ram_to_be_able_to_use_bigger_models/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit 用户拥有 3060 Ti 和 64GB DDR4 内存,受 8B 模型 VRAM 限制,询问能否通过 offloading 到 RAM 来运行 12B 或更大模型,用于故事生成和角色扮演,目前使用 kobold cpp 并考虑尝试 SillyTavern。
来源:Reddit · r/SillyTavernAI · reddit.com