wl04 发布 llm-recipes 本地推理配置仓库
先了解这件事
wl04 在 GitHub 发布 llm-recipes 仓库,记录在自有硬件上运行大语言模型的配置与实测结果。仓库称每次实验记录模型、推理设置、硬件与软件、性能、内存占用和实际观察。 仓库按模型、格式与硬件组合归档带日期的实验,每个 recipe 含 profile.yaml、configuration.md、summary.md 及可选的容器构建与 serving 文件。仓库给出的示例包括 Qwen3.8-27B IQ3_XXS GGUF 在 LM Studio、llama.cpp、Vulkan、Ubuntu 26.10 与 RX 9070 XT 16 GB VRAM 上的编码负载,以及 Qwen3.8-27B 3 bpw EXL3 在 TabbyAPI、ExLlamaV3、ROCm 上的文本与视觉实验。
AI 根据报道生成 · 50 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- GitHub · 灵魂体仓库wl04/llm-recipes:在自有硬件上运行大模型的配置与结果记录
GitHub 项目 wl04/llm-recipes 记录在自有硬件上运行大语言模型的配置与实测结果,每次实验包含模型、推理设置、硬件软件、性能、内存占用与实际观察。示例包括 Qwen3.8-27B IQ3_XXS GGUF 在 LM Studio、llama.cpp、Vulkan、Ubuntu 26.10 与 RX 9070 XT 16 GB VRAM 上的编码负载,以及 Qwen3.8-27B 3 bpw EXL3 在 TabbyAPI、ExLlamaV3、ROCm 上的文本与视觉实验。每个 recipe 按模型、格式与硬件组合归档带日期的实验,含 profile.yaml、configuration.md、summary.md 及可选的容器构建与 serving 文件。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。