LLM by norin:完全本地运行的 RTX 4070 Ti 聊天与图像生成工作室
LLM by norin 是一个完全本地运行的 LLM 聊天与图像生成工作室,不向外部 API 发送数据,在 NVIDIA RTX 4070 Ti(12GB VRAM)上运行。它使用 Qwen/Qwen2.5-3B-Instruct 以 bfloat16/float16 加载(VRAM 占用约 6GB,速度数十至 100+ tokens/sec),并通过 Hugging Face diffusers 搭载 stabilityai/sd-turbo 扩散蒸馏(ADD)模型,1-2 步即可在约 0.8-1.2 秒内生成 512x512 图像,LLM 与图像模型可同时常驻 GPU 内存(合计约 8.7GB / 12GB)。