Reddit · r/LocalLLaMA· /u/royalflash417·· 20 天前AI 评分18
Swift 1.5 flash iq3xxs 能否在 16GB VRAM + 32GB RAM 上运行?
Can I run Swift 1.5 flash next iq3xxs in 16GB VRAM and 32GB RAM?
来源与原文
Reddit · r/LocalLLaMA
作者:/u/royalflash417
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wzjm5d/can_i_run_swift_15_flash_next_iq3xxs_in_16gb_vram/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一位用户在 r/LocalLLaMA 询问能否在 16GB VRAM 和 32GB RAM 上运行更高量化的 Swift 1.5 flash iq3xxs。其目前用 strata 运行 Swift 1.5 FN iq2xs,速度平均 50tps、pp 800t/s,峰值可达 73tps,希望提高量化以降低 KLD、提升 agentic coding 准确度,并征求他人的运行配置。
来源:Reddit · r/LocalLLaMA · reddit.com