跳到正文
  1. Reddit · r/LocalLLaMA60

    Lure-TTS 与 Lure-Turbo:600M 语音模型跑出 4 倍实时速度,训练成本不到 $200

    /u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型,支持内联标签、语音方向控制和音色克隆,训练成本不到 $200。Turbo 的 RTF 为 0.14,对比 5B Fish S2 Pro 的 0.195,同时保持相同说话人相似度(ECAPA 0.699)。作者还发布了 Lure-TTS 推理引擎,基于 faster-qwen3-tts(CUDA)、mlx-audio(Mac)和 audio.cpp(CPU),在 4090 上首音频输出 0.17s(参考代码为 10.6s),整体快约 5 倍(RTF 0.53 vs 2.54),支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。

    推荐理由:作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码,可复现的低成本 TTS 微调路线有参考价值。

  1. GitHub · 3D 生成新仓库71

    DMAD 发布:把分布匹配蒸馏改写为对抗蒸馏,4 步生成 MiniMax-H3 音视频

    Texas A&M 与 ByteDance 团队发布 DMAD(Distribution Matching as Adversarial Distillation)仓库及论文(arXiv:2610.02188),将分布匹配蒸馏重构为分类问题,用共享骨干上的两个判别头直接学习 log-density ratio,免去 DMD 所需的辅助扩散模型。基于 MiniMax-H3(33B,文生音视频)训练的 rank-128 LoRA 可将 50 步 teacher 压缩为 4 步生成 1344x768、124 帧、32 kHz 立体声视频;4 步 student 在人类偏好上对 DMD2 达 79.1%、对 rCM 达 84.6%(不含平局)。

    推荐理由:作者把分布匹配蒸馏改写成判别式对抗训练,省掉辅助扩散模型,并给出从 8 GB 消费级 GPU 到 H200 的显存与速度实测数据。

  2. Reddit · r/LocalLLaMA62

    QUASAR 发布 Qwen3.5、Gemma 4 与 Muse Glimmer 的 4-bit QAT 权重,KL 距离低于 Google 与 NVIDIA 官方 4-bit 版

    QUASAR 团队发布多款模型的 4-bit QAT 量化权重,包括 Qwen3.5-4B、Gemma 4 E4B 与 12B、Muse Glimmer 30B,提供 NVFP4(vLLM)和 Q4_0 GGUF(llama.cpp / Ollama / LM Studio)格式,代码与项目页已公开。方法为量化感知蒸馏,以原 BF16 模型为教师在其自身回复上修复量化损失;在 held-out 提示上的 KL 距离普遍低于 Google QAT、NVIDIA NVFP4 等参考版本。

    推荐理由:原文给出与官方 4-bit 版本的 KL 距离和基准对比数据,读者可以据此判断这套 QAT 权重的实际损失有多大。

  1. Hugging Face · 趋势模型69

    Liquid AI 发布 LFM2.5-24B-A2B:24B 参数仅 2B 激活的端侧推理模型

    Liquid AI 在 Hugging Face 发布 LFM2.5-24B-A2B,一个 24B 总参数、2.45B 激活参数的纯推理模型,主打设备端私有 Agent,上下文 131,072 tokens,支持 16 种语言。该模型在 LiveClaw 上得 48.09 分,超过参数量多约 50% 的 Qwen3.6-35B-A3B(38.19);在 Apple M5 Max 上解码 184 tok/s,单张 NVIDIA B300 GPU 高并发下超 21K 输出 tok/s。官方同步提供 FP8、GGUF、ONNX、MLX-4bit 等多格式权重,并给出与 vLLM、SGLang、llama.cpp、Transformers 的部署指南及 Agent Harness 配置示例。

    推荐理由:官方附上 16 项基准对比与端侧/GPU 吞吐数据,可对照评估这款 MoE 在智能体任务上的真实水平。

  1. Hugging Face · 趋势模型52

    LiquidAI 发布 LFM2.5-24B-A2B 的 GGUF 量化版本

    LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本,该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏(QAD)checkpoint,训练用于恢复 Q4_0 量化损失的精度;各 GGUF 内置 general.sampling.* 元数据,llama.cpp 默认应用推荐采样参数(--temp 0.1 --top-k 50 --repeat-penalty 1.05)。

    推荐理由:官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失,并给出 llama.cpp 的推荐采样参数,便于本地部署复现。

  1. Hugging Face · 趋势模型63

    NVIDIA 发布 Qwen3.8-Flash-Next-FP4-Local 量化版,支持单卡本地部署

    NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local,是用 Model Optimizer 量化感知蒸馏(QAD 1.0,nvidia-modelopt v0.47.0)制作的 Qwen3.8-Flash-Next FP4 量化版,checkpoint 约 96 GiB。模型总参数 125B、激活 6B,另有 51B n-gram embedding 和 4B MTP,原生上下文 262K 可扩展至 1M tokens;精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%,ToolEvalBench 从 89.4% 降至 88.7%。

    推荐理由:官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案,量化细节可参考。

  1. Hugging Face · 趋势模型72

    Viggle 发布 Qwen-Image-2.1 蒸馏加速版 turbo,6 步生成比 40 步基座快约 5 倍

    Viggle 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的少步蒸馏版本 Qwen-Image-2.1-viggle-turbo,以 LoRA 形式实现 6 步生成替代 40 步,无需 CFG,端到端约快 5 倍,质量与基座接近。

    推荐理由:原文给出蒸馏步数、速度倍数、各量化格式的 LPIPS 对比和已知短板,读者可据此判断该 LoRA 是否适合自己的部署场景。

  2. Hugging Face · 趋势模型67

    Lightricks 开放 LTX-2.5 音视频生成模型权重

    Lightricks 在 Hugging Face 开放 LTX-2.5 权重,这是一个可本地执行与微调的开放世界模型,可从文本、图像和视频输入生成同步的高保真视频与音频。

    推荐理由:官方模型卡完整列出了各组件权重文件、量化变体与运行约束,读者可直接比对 22B 蒸馏与完整版的使用路径和 ComfyUI 兼容性。

已经到底了