GitHub · 灵魂体仓库·· 19 天前AI 评分37
LLM by norin：完全本地运行的 RTX 4070 Ti 聊天与图像生成工作室
tommun/LLM_by_norin
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/tommun/LLM_by_norin
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
LLM by norin 是一个完全本地运行的 LLM 聊天与图像生成工作室，不向外部 API 发送数据，在 NVIDIA RTX 4070 Ti（12GB VRAM）上运行。它使用 Qwen/Qwen2.5-3B-Instruct 以 bfloat16/float16 加载（VRAM 占用约 6GB，速度数十至 100+ tokens/sec），并通过 Hugging Face diffusers 搭载 stabilityai/sd-turbo 扩散蒸馏（ADD）模型，1-2 步即可在约 0.8-1.2 秒内生成 512x512 图像，LLM 与图像模型可同时常驻 GPU 内存（合计约 8.7GB / 12GB）。
来源：GitHub · 灵魂体仓库 · github.com