跳到正文
  1. arXiv · cs.CL55

    因果语音隔离器论文发布:22.1M 参数模型可在单 CPU 线程上实时运行

    论文训练了 140M/243M/374M 参数的因果语音隔离器,延迟 20 ms,可从通话本身注册来电者。将 WavLM-Large 权重改为因果并联合训练把开发集错误率从 11.44% 降至 10.55%;在长通话窗口上训练后发布版在干净开发集错误率为 2.96%,AMI 60 s 窗口实时错误率 16.13%(VoxLock 为 23.66%),Krisp 基准上为 5.74% 对 5.63%。蒸馏出的 22.1M 参数模型在 LiveKit agent 中单 CPU 线程实时运行,每通话占 33% 核心算力,错误率 10.66%;代码与模型已开源。

    推荐理由:论文给出了与 VoxLock、Krisp 的具体错误率对比和 CPU 端蒸馏模型,读者可以据此评估其语音隔离方案在真实通话里的适用性。

  2. GitHub · 去对齐工具与仓库68

    Local Agent Lab:在单台 Mac 上评测本地 LLM 并演示多智能体场景

    LinTzuTang 在 GitHub 发布 Local Agent Lab,一个基于 Ollama、LangChain 1.x / LangGraph、自建模型网关和 PostgreSQL 的 Streamlit 工作台,可对 107 个本地模型做能力标注、一键下载和最多六模型同题对比,并内置九个 LangGraph 多智能体工作流与本地语音助手。近期更新包括级联、轮次、全双工三种语音对话模式,本地神经 TTS(Kokoro-82M、Qwen3-TTS 0.6B 等)与 TTS 基准,前端模型定为 Gemma 4 12B(7.7 GB,十模型七对话测试全对且无编造)。

    推荐理由:作者在单台 Mac 上跑通本地 LLM 评测与多智能体演示,并给出各环节在 M5 Pro 上的实测延迟与吞吐数据。

  1. Reddit · r/LocalLLaMA69

    Vocs 开源:基于 whisper.cpp 在 macOS 上实现完全本地语音听写

    开发者发布 Vocs,一款在 macOS 上用 whisper.cpp(large-v3-turbo)完全本地运行 Whisper 的听写应用,可将文本粘贴到任意应用。音频按静音边界分块边说边解码,短片段按实际长度开窗解码约提速 8 倍;还做了 [BLANK_AUDIO] 等音效标签剥离、重复循环检测重试、Rust 后处理(标点、大小写、口语命令、自定义词典)及约 120 MB 本地语法模型。转写路径无网络请求,macOS 13+,MIT 协议,基于 Tauri 和 Rust,源码在 GitHub。

    推荐理由:开发者给出了流式分块解码和短片段约 8 倍加速等具体实现细节,本地语音听写方案有可参考的工程做法。

  1. GitHub · 灵魂体仓库61

    开源 Mac 语音助手 J.A.R.V.I.S 发布,基于 Claude Code 并支持本地模型

    ashwinsingh2007 在 GitHub 开源了受钢铁侠 JARVIS 启发的 Mac 语音助手 J.A.R.V.I.S,MIT 协议。说 wake up 后全程免手操作,大脑可选 Claude Code、Anthropic API、Gemini 或 Ollama 本地模型;长任务交给后台 worker FRIDAY(默认跑 Opus),期间可继续对话并查询进度。语音识别与默认 Kokoro 语音都在本机运行,能操作已登录的 Chrome、Claude Code 会话和 Mac 应用,支持长期记忆、晨报、定时例程和 Telegram 遥控;发送、删除、付款等操作前会复述任务并等待确认。

    推荐理由:作者完整公开了架构、安全边界和模型选择方案,想给 Mac 装一个语音 Agent 的人可以直接照着装起来试。

  2. Reddit · r/LocalLLaMA60

    Lure-TTS 与 Lure-Turbo:600M 语音模型跑出 4 倍实时速度,训练成本不到 $200

    /u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型,支持内联标签、语音方向控制和音色克隆,训练成本不到 $200。Turbo 的 RTF 为 0.14,对比 5B Fish S2 Pro 的 0.195,同时保持相同说话人相似度(ECAPA 0.699)。作者还发布了 Lure-TTS 推理引擎,基于 faster-qwen3-tts(CUDA)、mlx-audio(Mac)和 audio.cpp(CPU),在 4090 上首音频输出 0.17s(参考代码为 10.6s),整体快约 5 倍(RTF 0.53 vs 2.54),支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。

    推荐理由:作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码,可复现的低成本 TTS 微调路线有参考价值。

  3. Ollama Blog56

    Ollama 支持语音模型,首发 Gradium 的 Phonon 文本转语音系列

    Ollama 0.40.11 起支持文本转语音,首个语音模型是 Gradium 的 Phonon 系列,目前可用 macOS,Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上,Ollama 借助 MLX 加速,吞吐比次快的 Gradium ptts 运行时快 35%,词错率与 Hugging Face Transformers 参考实现持平;Phonon 采用 Apache 2.0 许可,40M 版本为 CC BY-NC 4.0 限非商用,支持英语、法语、德语、西班牙语、葡萄牙语,并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。

    推荐理由:官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据,读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。

  1. arXiv · cs.CL59

    FD-LHB 基准揭示全双工语音模型长对话为何崩溃

    研究者提出 Full-Duplex Long-Horizon Benchmark(FD-LHB),测试五个全双工语音模型的长对话能力,发现所有被测模型最终都会性能退化或耗尽上下文窗口。滑窗模型的乱码与沉默源于 Initialization-Anchor Eviction(丢弃首个 KV 条目),重复则受模型自身近期输出强化;提出 Initialization-Anchor Pinning 与 Duplex Repetition Penalty 两个无需重训练的修复,在最长一小时的重放对话中实时运行并显著减少对话崩溃。

    推荐理由:论文诊断出全双工语音模型长对话崩溃的两个机制,并给出无需重训练的两项修复方法,具可迁移性。

  1. GitHub · 去对齐工具与仓库61

    WhisprFlow 开源:本地运行的 Windows/macOS 语音听写工具

    作者发布 WhisprFlow,一个在本地运行的 Windows 和 macOS 语音听写工具,按热键说话后自动清理填充词、加标点并粘贴到光标处。默认用 Phonon-2 在设备上转写、Ollama qwen3:4b-instruct 本地润色,无需账号和订阅;11 秒听写端到端约 1.7 秒(i5-13500HX + RTX 4050 实测),支持 Qwen3-ASR 处理多语言,词典从用户听写中学习术语拼写,代码 MIT 许可,macOS 代码路径保留但未测试。

    推荐理由:原文给出实测延迟、模型选型对比和架构细节,读者可以据此评估这套本地语音听写方案是否适合自己复现。

  2. Reddit · r/LocalLLaMA60

    KittenML 开源 Kitten-TTS 2:1.58-bit 三值权重 TTS,CPU 实时运行

    KittenML 发布 Kitten-TTS 2 的代码与权重,称其为首个 1.58-bit(三值)TTS 模型,1.7B 参数,仅靠 CPU 即可实时生成。支持少于 5 秒参考音频的 zero-shot 声音克隆、20+ 语言跨语言克隆,以及重音与情感表达控制;代码和权重开源,提供 GitHub 与 Hugging Face 链接,定位为 ElevenLabs 的开源替代。

    推荐理由:1.58-bit 三值权重让这个 1.7B TTS 只靠 CPU 就能实时运行,对没有 GPU 的本地部署用户是可查的开源替代选项。

  1. Hugging Face Blog53

    IBM 发布 Granite Speech 5.0 系列语音模型,含新增 2B 及两款更新版本

    IBM 在 Hugging Face 发布 Granite Speech 5.0 系列:新增 granite-speech-5.0-2b 语音语言模型,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置,英文平均 WER 5.06%,在开源权重 ASR 模型中排名第 2;Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx;4.1 2B Plus 说话人归因与时间戳更准,长语音 WER 降 24%。三款模型均为 Apache 2.0 许可,支持 Transformers、vLLM、llama.cpp 等。

    推荐理由:官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据,读者可据此挑选适合的语音模型。

  2. Reddit · r/LocalLLaMA64

    Alkove 开源端侧语音前端:5 个模型共 7.5 MB,Apache-2.0 早期预览

    作者发布 Alkove 早期预览,5 个小型模型(共 7.5 MB)在设备端运行于 STT 之前,支持任意文本自定义唤醒词、声纹过滤和仅针对本人语音的 VAD,代码与权重以 Apache-2.0 开放。引擎用 Rust 编写并编译到 WebAssembly、Python 和 Android,手机单线程上 Focus 处理每秒音频需 38.6 ms;AMI 会议测试中他人语音进入转写从约每分钟 17 词降到 0.5 词。当前局限包括仅适合近场麦克风、同时说话分离不完整、音频为 16 kHz。

    推荐理由:作者给出了各模型体积、单线程延迟和 AMI 会议实测数据,可据此评估这套语音前端在本地助手里的实际可用性。

  3. Reddit · r/LocalLLaMA68

    Kyutai 发布 1.9M 至 18.2M 参数的 Pocket TTS 小型语音克隆模型

    Kyutai 于 10 月 20 日发布三款更小的 Pocket TTS 模型,参数量分别为 1.9M、6.9M 和 18.2M,均为英语模型,支持声音克隆并设计为在 CPU 上运行,可在其 demo 中切换尺寸。作者认为实用之处在于让语音生成留在 CPU、把 GPU 留给本地 LLM,倾向从 6.9M 版本入手;参数量统计包含音频解码器,处理参考声音的编码器是独立的,参考音只需编码一次。代码与安装说明由 /u/BerryBlush_Rogers691 提交。

    推荐理由:作者给出了把语音生成留在 CPU、把 GPU 让给 LLM 的本地部署思路,并指出参数量统计包含音频解码器这一细节。

  1. GitHub · 灵魂体仓库63

    TurnCall 开源自托管语音智能体引擎,一条 curl 创建能接真实电话的接待员

    TurnCall 在 GitHub 发布 MIT 协议的自托管语音智能体引擎,通过一条 curl 即可创建绑定 Twilio 号码的电话接待员。级联管线 STT、LLM、TTS 处理约 800ms,S2S 方式约 300ms,来电感知延迟另加默认 800ms 的 silence_timeout_ms。支持 Deepgram、OpenAI、Anthropic Claude、Gemini、ElevenLabs、Cartesia、Ollama、OpenRouter、AWS Bedrock 等可按 agent 更换的 STT/LLM/TTS 组合,本地跑 Ollama 时音频不出本机网络;还含外呼 campaign、RAG 知识库、MCP 工具、A/B 测试、通话后 LLM 分析与 PII 脱敏合规套件。

    推荐理由:原文给出完整的自托管语音智能体引擎架构与各环节延迟数字,读者可以对照自建方案评估管线和成本取舍。

  2. GitHub · 灵魂体仓库60

    clinic-voice-agent 开源:基于 LiveKit 的诊所多语言语音预订智能体

    Harsh251005 开源了 clinic-voice-agent,一个跑在 LiveKit 上的诊所语音智能体,支持 Hindi/English 混说,基于诊所自有数据解答并完成预约、改期、取消。语音链路按语言分管道,Hindi 用 Sarvam,English 用 ElevenLabs + OpenAI;预订确认规则写在 booking.py 的代码里而非提示词,因为实测 4 次中有 3 次模型未等来电者确认就预订;数据库用部分唯一索引防止并发重复预约。配套 Next.js 前台看板和运营方管理面板,含 520+ 后端测试与 44 个 Playwright 测试,docker compose up 即可本地体验。

    推荐理由:原文把预订规则写在代码而非提示词里,并给出实测中模型未确认就预订的比例,读者可以借鉴这种用代码兜住模型行为的方法。

  1. GitHub · 灵魂体仓库64

    开源自托管语音助手 voice-assistant 发布,本地运行 LLM、ASR、TTS 与桌面自动化

    melnikaite 在 GitHub 发布自托管离线优先语音助手 voice-assistant,全部运行在本地硬件,无需云端 API key,多数任务可断网使用。默认栈为 LocalAI(llama.cpp)跑 Qwen3-VL-8B-Instruct 32k 上下文、whisper.cpp 流式 ASR、Coqui XTTS-v2 流式 TTS(6 秒样本克隆家庭成员声音),并带 WeSpeaker 说话人识别、语义记忆、个人条目库和 AppleScript/视觉回路的桌面自动化;破坏性操作由提示层、静态分类器和点击过滤三层只读闸门拦截。代码 MIT 协议,XTTS-v2 权重为 Coqui CPML 非商用许可。

    推荐理由:项目文档给出了完整的技术栈选型、离线边界和桌面自动化的三层只读防护设计,想自建本地语音助手可以参考其架构取舍。

  2. GitHub · 去对齐工具与仓库63

    kuchris 开源 openinterview:macOS 本地语音识别面试练习助手

    kuchris 在 GitHub 发布 openinterview,面向 Apple Silicon Mac 的本地低延迟语音识别与 AI 面试练习工具。支持 MLX Whisper、NVIDIA Parakeet 或 Apple SpeechAnalyzer 在设备上转写通话双方,最终延迟约 1–2 秒,音频不出本机;可识别技术与行为面试问题并忽略寒暄,通过 OpenCode(如 DeepSeek)或任意 OpenAI 兼容服务生成可口头表达的简短答案,并按导入的 CV 和目标岗位定制。支持英语、日语、简繁中文和粤语,会话可本地保存回放,需 macOS 14.2+。

    推荐理由:开源的 macOS 面试练习工具,本地转写双方通话并按 CV 生成口头答案,隐私设计和延迟数据写得具体。

  3. GitHub · 灵魂体仓库64

    LocalFlow:Windows 本地语音听写工具,Whisper 加可选 Ollama 清理全部离线运行

    taylormartins 发布开源工具 LocalFlow,在 Windows 上按 Caps Lock 即可听写,Whisper 转文字后由可选的本地 LLM(经 Ollama)或内置规则清理填充词与口误,音频和文本不出本机、无需账号。RTX 4070 Ti 用 large-v3-turbo 实测 21 秒语音约 1.7 秒转写加 0.6 秒清理,约 12 倍实时;无 GPU 时回退 CPU 转写和算法清理,另支持手机听写、语音命令模式和自定义角色语气改写。

    推荐理由:README 对清理链路的设计写得很实,包括防止 LLM 抢答的四道防线、延迟实测和 VRAM 争用排查,方法可迁移到类似本地语音工具。

  1. GitHub · 3D 生成新仓库58

    ComfyUI-SemBridge 发布,在 ComfyUI 内集成官方 SemBridge 语音与歌唱生成模型

    作者发布 ComfyUI-SemBridge 节点包,将 ASLP-lab 的 SemBridge 模型(论文 arXiv:2608.07462)集成进 ComfyUI,支持中文和英文文本转语音、按对齐乐谱生成歌声以及语音加歌唱的连续生成,输出 mono 44.1 kHz 的标准 AUDIO 类型。模型代码在进程内运行,无需子进程或服务器;在 Windows 11 加 RTX 5090 上用官方仓库全部 10 个示例(4 语音、4 歌唱、2 混合)验证,与官方 SemBridge.generate 输出 16-bit PCM 逐样本一致,并通过 ComfyUI v0.38.0 真实队列测试;歌唱对乐谱的中位音高误差为 0.15 半音。

    推荐理由:作者用官方仓库 10 个示例做了逐样本音频比对和音高误差实测,可信度数据可直接参考后再决定是否装进自己的 ComfyUI 流程。

  1. GitHub · 去对齐工具与仓库64

    Maître 公开餐厅订位 AI 助手完整仓库,订位规则由代码保证、语言模型只负责对话

    jsanchez542-hub 公开了 Maître 仓库,一个面向餐厅等预约类商家的订位助手,客人可通过电话、网页聊天或 WhatsApp 预订,桌位、营业时间、日期和过敏原等规则全部由代码保证,语言模型只负责说话,已上线 maitre.live。项目用预先写好的 41 段对话(其中 26 段含电话场景)对真实模型做评测,每段跑三次,在 19 段对话的对比中 Claude Haiku 5.5 以 19/19、p95 延迟 5.7s、每次 $0.0021 被选用,10 月 15 日最新一轮全部通过;架构上每家餐厅对应一个 Cloudflare Durable Object,数据固定在欧盟,语音部分基于 LiveKit Agents,代码以只读评估为目的发布(保留所有权利)。

    推荐理由:仓库用评测数据对比了多个真实模型并给出选择依据,读者可以借此了解规则交给代码、对话交给模型的工程取舍。

  1. Reddit · r/LocalLLaMA61

    TYGER 开放权重:单一模型同时做 ASR 与全双工轮次控制

    nineninesix 开放 TYGER 权重,单一模型同时处理 ASR 与全双工轮次控制,能识别说完、被打断和附和的 mm-hm。中位端点延迟 250 ms、80 ms 帧、无 lookahead;配套语音 Agent tyger-s2s 由 TYGER + Gemma 4 E4B + VoxCPM2 组成,单张 32 GB GPU 最多支持 4 路对话,目前仅支持英语。权重在 https://huggingface.co/nineninesix/tyger,代码在 https://github.com/nineninesix-ai/tyger-s2s。

    推荐理由:作者给出端点延迟、帧长和单卡并发数等具体指标,可据此评估这套语音方案在本地部署的可行性。