跳到正文
  1. Reddit · r/LocalLLaMA67

    RTX 4080 32GB 改装卡(AD102)解锁后 FP16/BF16 GEMM 性能翻倍

    /u/Desperate-Sir-5088 在 r/LocalLLaMA 发布了解锁 RTX 4080 32GB 改装卡(AD102)算力的方法。基于 CMP 170HX 研究与此前 GPU 解锁工作,自定义 EFI 在 Windows 启动前应用改动并交还控制权,单卡在 Windows 11 下即可使用,无需 iGPU 或副卡。GEMM 测试中 FP16/BF16 搭配 FP32 累加从约 92 提升到 184 TFLOPS(N=4096 时分别 +99.71% 和 +100.73%),N=8192 时分别 +59.85% 和 +71.48%,FP32 基本不变。

    推荐理由:作者实测给出了修改前后的 GEMM 跑分对比,FP16/BF16 翻倍而 FP32 基本不变,数据具体可复现。

  1. Hugging Face Blog71

    Black Forest Labs 发布 FLUX.3 Image Klein,首日支持 Diffusers

    Black Forest Labs 发布 FLUX.3 Image Klein,开放蒸馏版(16 步、无 CFG)和 base 版(50 步、CFG)两个权重,首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制,蒸馏版在 H100 上约 2 秒生成 1024×1024 图像,提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。

    推荐理由:官方教程给出两个开放权重的显存占用和 H100 实测生成耗时,还拆解了架构细节,方便评估部署成本。

  1. Hugging Face Blog70

    Hugging Face 博客:如何用 ML Intern 以约 103 美元自制 7 个小模型

    作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型(含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等),总算力成本约 103 美元。文中公开全部提示词(GitHub 仓库 yvrjsharma/ml-intern-prompts),并总结了三条关键写法:让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示;例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B,测试集准确率从基座 14.9% 提升到 52.8%,成本约 1.90 美元。

    推荐理由:作者把 7 个提示词原样公开,预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。

已经到底了