跳到正文
  1. Reddit · r/LocalLLaMA60

    Lure-TTS 与 Lure-Turbo:600M 语音模型跑出 4 倍实时速度,训练成本不到 $200

    /u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型,支持内联标签、语音方向控制和音色克隆,训练成本不到 $200。Turbo 的 RTF 为 0.14,对比 5B Fish S2 Pro 的 0.195,同时保持相同说话人相似度(ECAPA 0.699)。作者还发布了 Lure-TTS 推理引擎,基于 faster-qwen3-tts(CUDA)、mlx-audio(Mac)和 audio.cpp(CPU),在 4090 上首音频输出 0.17s(参考代码为 10.6s),整体快约 5 倍(RTF 0.53 vs 2.54),支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。

    推荐理由:作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码,可复现的低成本 TTS 微调路线有参考价值。

  1. Reddit · r/LocalLLaMA60

    KittenML 开源 Kitten-TTS 2:1.58-bit 三值权重 TTS,CPU 实时运行

    KittenML 发布 Kitten-TTS 2 的代码与权重,称其为首个 1.58-bit(三值)TTS 模型,1.7B 参数,仅靠 CPU 即可实时生成。支持少于 5 秒参考音频的 zero-shot 声音克隆、20+ 语言跨语言克隆,以及重音与情感表达控制;代码和权重开源,提供 GitHub 与 Hugging Face 链接,定位为 ElevenLabs 的开源替代。

    推荐理由:1.58-bit 三值权重让这个 1.7B TTS 只靠 CPU 就能实时运行,对没有 GPU 的本地部署用户是可查的开源替代选项。

  1. Hugging Face Blog53

    IBM 发布 Granite Speech 5.0 系列语音模型,含新增 2B 及两款更新版本

    IBM 在 Hugging Face 发布 Granite Speech 5.0 系列:新增 granite-speech-5.0-2b 语音语言模型,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置,英文平均 WER 5.06%,在开源权重 ASR 模型中排名第 2;Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx;4.1 2B Plus 说话人归因与时间戳更准,长语音 WER 降 24%。三款模型均为 Apache 2.0 许可,支持 Transformers、vLLM、llama.cpp 等。

    推荐理由:官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据,读者可据此挑选适合的语音模型。

  2. Reddit · r/LocalLLaMA68

    Kyutai 发布 1.9M 至 18.2M 参数的 Pocket TTS 小型语音克隆模型

    Kyutai 于 10 月 20 日发布三款更小的 Pocket TTS 模型,参数量分别为 1.9M、6.9M 和 18.2M,均为英语模型,支持声音克隆并设计为在 CPU 上运行,可在其 demo 中切换尺寸。作者认为实用之处在于让语音生成留在 CPU、把 GPU 留给本地 LLM,倾向从 6.9M 版本入手;参数量统计包含音频解码器,处理参考声音的编码器是独立的,参考音只需编码一次。代码与安装说明由 /u/BerryBlush_Rogers691 提交。

    推荐理由:作者给出了把语音生成留在 CPU、把 GPU 让给 LLM 的本地部署思路,并指出参数量统计包含音频解码器这一细节。

  1. Reddit · r/LocalLLaMA61

    TYGER 开放权重:单一模型同时做 ASR 与全双工轮次控制

    nineninesix 开放 TYGER 权重,单一模型同时处理 ASR 与全双工轮次控制,能识别说完、被打断和附和的 mm-hm。中位端点延迟 250 ms、80 ms 帧、无 lookahead;配套语音 Agent tyger-s2s 由 TYGER + Gemma 4 E4B + VoxCPM2 组成,单张 32 GB GPU 最多支持 4 路对话,目前仅支持英语。权重在 https://huggingface.co/nineninesix/tyger,代码在 https://github.com/nineninesix-ai/tyger-s2s。

    推荐理由:作者给出端点延迟、帧长和单卡并发数等具体指标,可据此评估这套语音方案在本地部署的可行性。

  1. GitHub · 去对齐工具与仓库59

    Cactus Compute 发布端侧基础模型 Needle 3,权重开放在 Hugging Face

    Cactus Compute 发布面向手机、可穿戴、机器人、智能家居和微控制器的端侧基础模型 Needle 3,整个模型是单个 8-29 MB 二进制文件,权重和各平台引擎已在 Hugging Face 开放。模型基于 Laddered Simple Attention Network,2 到 20 层每档深度都是可部署模型,在移动端工具调用上以牺牲通用对话能力换取超过 10 倍体积模型的表现,并支持结构化抽取、文本嵌入和同容器的语音转写模型 Whistle(16.9 MB,支持 7 种语言)。提供 needle finetune 本地 LoRA 微调与平台微调两种方式,DroidCall 微调使 4 层以上的子网络在 29M 参数起通过 DeepSeek V4 Flash。

    推荐理由:Cactus 官方开源了面向微型设备的 Needle 3,并给出与 Whisper、DeepSeek 等模型的基准对比和完整微调部署路径,适合本地部署场景参考。

  1. GitHub · 去对齐工具与仓库64

    bilibili 开源 Index-Translate 多语言翻译模型家族,覆盖文本、语音、音节控制与长文档

    bilibili Index LLM Team 发布 Index-Translate 多语言翻译模型家族,基于 Qwen3.5,文本模型覆盖 150 种语言,提供 2B、9B 和 35B-A3B(preview)权重,已在 Hugging Face 和 ModelScope 开放。

    推荐理由:原文给出了各尺寸模型的评测数字、量化版本和免费API入口,读者可以直接对比选型并上手部署。

  1. Reddit · r/LocalLLaMA58

    Cactus 发布 16.9MB 语音识别模型 Whistle,体积为 Whisper base 的 1/9

    Cactus Compute 发布面向超小型设备的语音识别模型 Whistle,文件仅 16.9MB,官方称多数场景优于 Whisper base,且体积小 9 倍、速度快 6 倍。

    推荐理由:原文给出了与 Whisper base 在 LibriSpeech、FLEURS 等基准上的 WER 对比数据,可据此评估小体积语音识别模型的实际精度。

  1. Hugging Face · 趋势模型68

    pyannote 发布 speaker-diarization-community-1 说话人日志模型

    pyannote 在 Hugging Face 发布说话人日志管线 speaker-diarization-community-1,改进说话人分配与计数,并新增独占式说话人日志输出,便于与转写时间戳对齐。

    推荐理由:原文给出十多个学术基准上的说话人日志错误率对比,读者可据此量化该模型相对上一代的实际提升幅度。

  2. Hugging Face · 趋势模型71

    MiniMax 开源全模态生成系统 MiniMax H3 权重

    MiniMax 开源了 MiniMax H3 的 H3-Base 权重,该系统可统一理解文本、图像、视频与音频,并生成最长 15 秒、带 32 kHz 立体声的视频,768p 输出经 H3-Regenerate-2K 可达 2K。

    推荐理由:原文给出 H3-Base 架构细节、权重拆分和 SGLang/vLLM/diffusers 部署命令,可据此自行本地部署复现。

  3. Hugging Face · 趋势模型68

    FermionResearch 发布 Phonon-2 语音识别模型,164 MB 平均词错率 5.21%

    FermionResearch 在 Hugging Face 发布 Phonon-2,称其为 900 MB 以下英文识别最准确的开源模型,在 Open ASR Leaderboard 七个英文测试集上平均词错率 5.21%,164 MB 体积达到 2.5 GB 教师模型 parakeet-tdt-0.6b-v3 的精度,编码器每个权重以约 2.1 bit 存储。

    推荐理由:原文给出七套英文测试集的平均词错率和多平台实时率数据,可以据此比较小体积语音识别模型之间的实际精度差距。

  4. Hugging Face · 趋势模型52

    NVIDIA 开放 Nemotron-3-Diarization 说话人分离模型权重

    NVIDIA 在 Hugging Face 发布开放权重模型 Nemotron-3-Diarization,用于判断真实音频中谁在何时说话,支持流式与离线推理,最多处理 8 个说话人。

    推荐理由:模型卡给出与 diar_streaming_sortformer_4spk-v2.1 在多个基准和延迟档位下的 DER、SCA 与 RTFx 对比,读者可据此评估升级收益。

  1. Hugging Face · 趋势模型52

    Cactus Compute 发布端侧语音识别模型 Whistle,整个模型仅 16.9 MB

    Cactus Compute 团队发布面向手机、可穿戴、机器人、智能家居、汽车和微控制器的端侧语音识别模型 Whistle,整个模型为单个 16.9 MB 文件,无需 GPU 和外部依赖,与 Needle 共用同一运行时。支持英德法西意荷波七种语言的转写(单次最长 30 秒)、词级时间戳和语音嵌入,静音返回空文本而非编造句子。WER 基于 86,174 条语音实测,并用与 Whisper、Moonshine 已发布数据对比;精度为 Whistle 2 至 4 bit,Whisper fp32,Moonshine int8。

    推荐理由:原文给出了完整的 WER 基准、精度设置和与 Whisper、Moonshine 的对比口径,读者可以据此评估端侧语音识别的实际表现。

已经到底了