跳到正文
#语音
10月7日周三
  1. arXiv · cs.CL31

    ARIA：面向粤语歌词创作的音频驱动旋律-声调关系建模

    论文提出 ARIA，一个两阶段的音频驱动粤语歌词创作框架，可从带字级时间戳的演唱录音中生成符合声调的粤语歌词。该方法先用 TRATE 估计器从音频预测 0243 声调序列，再通过 DRA-TCLG 结合检索增强生成流畅歌词，并构建了大规模音频-Jyutping-0243 对齐数据集。实验表明 ARIA 在 0243 预测和声调一致的歌词生成上均表现优异，论文已被 EMNLP 2026 Findings 接收。

  2. arXiv · cs.CL26

    HINTT 提交第二届 MLC-SLM 挑战赛：对比级联与统一方法的说话人分离和 ASR

    HINTT 系统参加第二届 MLC-SLM 多语言会话语音挑战赛，解决多语言说话人归属 ASR 问题。最终提交采用级联方案：微调 DiariZen 说话人分离模型、微调 Qwen3-ASR 模型和基于 LLM 的生成式纠错，并微调 VibeVoice-ASR 统一模型作对比，全部仅用官方训练数据。结果显示级联系统在 MLC-SLM Task 1 条件下更可靠，统一语音 LLM 则是有前景的方向。

  3. arXiv · cs.CL28

    DirectSpeech2LLM：一个缓解 Speech-LLM 提示词过拟合的简单端到端框架

    DirectSpeech2LLM 是一个端到端框架，解决 Speech-LLM 仅用 ASR 指令训练后无法泛化到新指令的提示词过拟合问题。它在冻结的 LLM 嵌入矩阵上计算基于距离的 CTC loss，仅用 960 小时 LibriSpeech ASR 数据训练，即在 ASR 上超越级联系统，并对语音翻译和情感识别两个未见任务实现零样本泛化。结果在两个 LLM 家族上保持一致，并随训练数据和模型容量增长而提升。

  4. arXiv · cs.CL48

    对话是双体问题：全双工对话模型的双向对偶评测（DyaFDB）

    研究者提出 DyaFDB 框架，让两个全双工语音对话模型在指定角色和合作或冲突目标下直接对话，并由外部裁判离线对双方打分，以替代单向评测。该框架包含 4 个任务、140 个场景，记录了 7,560 段对话，覆盖六种自对弈与交叉对弈配对。实验发现模型行为会持续塑造对方，因此每个模型须同时充当考官与考生，相关场景与协议将开源发布。

  5. Reddit · r/LocalLLaMA61

    Ruach Studio 发布首个 RC：在本地 GPU 上围绕 YuE2 打造整曲创作工作室

    /u/Heretical-Tandem 发布 Ruach Studio 首个 release candidate，围绕 m-a-p 的开源歌曲模型 YuE2 在本地 GPU 上实现写词后自动作曲、演唱与渲染。支持最长 8 分钟整曲，先以 ABC 生成可编辑的旋律与和弦谱，可导入自有乐谱或 MIDI；RTX 3090 上 6:12 歌曲生成耗时 126 s，7:25 歌曲耗时 198 s。内置 bf16 LoRA 训练、坏谱秒级检测、BS-Roformer/htdemucs 分轨、remaster、UniverSR 放大与 Whisper 歌词校验，可导出 REAPER/DAproject 工程文件。

    推荐理由：围绕开源歌曲模型 YuE2 搭建的全流程本地音乐工作室，给出了 RTX 3090 上的具体生成耗时和硬件要求，便于评估是否可用。

  6. GitHub · 去对齐工具与仓库9

    开源语音智能体平台 nio-voice-agent-sdk 发布：可自托管，AGPL-3.0 协议

    开源语音智能体平台 nio-voice-agent-sdk 提供 speech-to-text 和 text-to-speech 功能，是企业级语音 AI 方案的自托管替代。它支持自定义语音设置，可集成 OpenAI 和 Deepgram 等服务，采用 AGPL-3.0 协议，支持 Windows 10+、macOS 10.14+ 和主流 Linux，建议至少 4 GB 内存。用户可从 GitHub Releases 页面下载安装。

  7. GitHub · 去对齐工具与仓库44

    Atulya-Tantra：本地优先的个人 AI 助手，支持印地语与英语语音交互

    GitHub 开源项目 Atulya-Tantra 是一个本地优先的个人 AI 助手，以 3D 全息形象通过印地语和英语语音或文字交互，能记忆用户习惯并执行音乐、提醒、邮件、日历、价格追踪、晨间简报和智能家居等任务。它支持 Claude、本地模型、Ollama、Groq、OpenRouter、Gemini 等多级大脑回退，本地模型约 400 MB 可离线运行；测试套件完善，但硬件相关功能大多未经真实设备验证。

  8. GitHub · 灵魂体仓库52

    Hermes Agent 语音识别技能 hermes-skill-mlx-whisper 发布，基于 MLX Whisper 在 Apple Silicon 本地转写

    vokasug 在 GitHub 发布 hermes-skill-mlx-whisper，这是面向 Hermes Agent 的本地语音识别技能，在 Apple Silicon 上通过 MLX Whisper 完全离线运行，音频和文本不离开本机。俄语自动选用 whisper-podlodka-turbo q8（824 MB），其他语言用 whisper-large-v3-turbo-8bit（约 809 MB）；管线为 Silero VAD 去静音、按 ≤28 秒分段转写，再以「顾问+法官」模式用 Agent 主模型纠正术语，并通过 word-diff 预算和数字门控确定性接受或回退修改，数字始终保留 Whisper 原始输出。

  9. GitHub · 灵魂体仓库43

    okamyuji 开源 meeting-transcriber：完全本地化的日语会议转录与自动生成会议纪要工具

    GitHub 用户 okamyuji 发布 meeting-transcriber，一款完全本地运行的日语会议转录与会议纪要自动生成工具，语音转录用 faster-whisper，纪要生成用 Ollama 上的本地 LLM，数据不外发。工具内置 RAG 功能，通过 data/knowledge/ 目录的 Markdown 文件自动校正术语，支持 qwen2.5:7b 和 mxbai-embed-large 等模型，上下文最多可扩展到 32768 token。首次配置需联网下载模型，此后离线可用，运行环境要求 Python 3.11 以上，支持 macOS 和 Linux，采用 MIT 许可证。

  10. GitHub · 去对齐工具与仓库29

    BeatN：语音优先的本地 AI 日记应用进入 Phase 0 可行性验证

    BeatN 是一款语音优先的本地 AI 日记应用，流程为录音→转写→理解→记忆→提问，转写与反思全部在设备端运行，仅下载模型时产生网络流量。项目当前处于 Phase 0 可行性验证阶段，基于 Expo SDK 57 / React Native 0.86.3，通过 106 项测试，whisper-rn 与 llama-rn 已能在 arm64 iPhone 上编译链接，但尚未在真机测得性能数据，模型选型仍未确定。

  11. GitHub · 灵魂体仓库45

    Cialix 语音智能体 STT/TTS 实时服务器（Agent_IA_Server）仓库说明

    RevolutionMedia-AI 在 GitHub 上开源了 Cialix 语音智能体使用的实时 STT/TTS 服务器，基于 FastAPI + Uvicorn 构建。系统整合 Deepgram 做语音识别、Rime 做语音合成、OpenAI 做大语言模型，并通过 Twilio 传输语音流，支持用户打断（barge-in）、以 mu-law 8k 向 Twilio 播放音频，以及在启动时执行 TTS warm-up 以避免冷启动。项目要求 Python 3.11+，需要配置 OPENAI_API_KEY、DEEPGRAM_API_KEY、RIME_API_KEY 等密钥方可启用服务。

  12. GitHub · 去对齐工具与仓库57

    Fawkes 开源本地语音 AI 助手后端，主打永不遗忘的记忆架构

    nathanaeljames 在 GitHub 发布 Fawkes 后端，一个完全本地运行、语音优先、多用户的自托管 AI 助手，核心卖点是逐字记录并带时间戳、可引用来源的持久记忆。记忆以 PostgreSQL + pgvector + 全文检索为系统记录层，含双时态事实表和混合检索；说话人身份用 ECAPA-TDNN 声纹嵌入解析，多步流程由 Harel 状态图驱动，LLM（Qwen3.8-27B on vLLM）只提议状态转移、由确定性校验器批准。语音链路用 NVIDIA NeMo 流式 ASR、VAD 与 XTTS/Piper 合成，另设研究/编码管线与共享黑板。

  13. GitHub · 灵魂体仓库26

    ChatGPT-Persona-Voice：在本地实时自定义 ChatGPT 与 Codex 的语音

    GitHub 上的 ChatGPT-Persona-Voice 是一款本地工具，可实时把 ChatGPT 和 Codex 的回复语音转换成自定义角色声音，底层采用 Seed-VC 语音转换技术。所有音频与对话数据都在本机处理、不经过云端。它支持音调、语速、音量调节和多语音配置切换，需 Windows 10/11 64 位、4 GB 内存（推荐 8 GB）和 500 MB 空间。

  14. GitHub · 灵魂体仓库29

    LivePhoneCall：可本地运行的中英双语 AI 语音通话助手发布

    LivePhoneCall 是一款可在 Windows 电脑本地运行的中英双语 AI 语音通话助手，支持通话中实时切换语言，无需云端依赖。它采用 Qwen3 ASR 做实时语音识别、TTS 以自然语音回复，LLM 可通过 API key 接入在线服务或本地运行开源模型。应用基于 Vue 构建，支持 PWA 手机访问和 Docker 部署。

  15. GitHub · 灵魂体仓库57

    Oberton 发布：Windows 全本地 AI 听写工具，Whisper 加 Ollama 清理

    作者在 GitHub 发布了 Oberton（前身为 Local Dictation），一款 Windows 全本地 AI 听写工具，按热键说话后经 faster-whisper 转写、Ollama 本地模型（默认 qwen2.5:3b）清理文本并插入任意应用，默认 Keep everything offline，无账号或遥测。可选 Claude 等 Cloud 模型需自带 API key；NVIDIA GPU 下 large-v3-turbo 转写 20 秒语音约 1-2.5 秒，CPU 约 8 秒（Ryzen 7 5800HS 实测），另含 Ctrl+Shift+Space 本地朗读功能，支持 Kokoro v1.0、Piper 和 Windows 语音，MIT 协议开源。

    推荐理由：这是一个默认全离线的 Windows 听写开源工具，给出了模型组合、显存占用与实测延迟，便于本地部署参考。

  16. GitHub · 去对齐工具与仓库21

    Public-Ally-AI：面向印度公民的 AI 语音政务助手平台

    GitHub 上的开源项目 Public-Ally-AI 是一个 AI 语音助手平台，让印度公民通过多语言语音对话访问政府服务、数据库和人工专家。它支持 RAG 知识检索、自动呼入呼出通话和人工升级，后端采用 Django 5.1.0 + PostgreSQL（Supabase），前端为 Next.js 16.1.1，LLM 使用 Google Gemini 2.5 Flash 与 OpenAI GPT-4.1 Nano，语音由 VAPI 提供。

  17. GitHub · 去对齐工具与仓库51

    开源语音听写工具 Scribe 支持 Windows 和 macOS 按键说话转写

    GitHub 上的开源项目 ghusse/scribe 提供 Windows 和 macOS 语音听写工具，按住快捷键说话后，经纠错的文本直接插入当前输入框，默认转写用 OpenAI gpt-transcribe、纠错用 Anthropic claude-opus-5-5。支持 1-4 键自定义组合、双击锁定模式、无输入框时复制到剪贴板，无遥测无账号，音频和文本仅发送给用户选择的供应商，代码以 AGPL-3.0-only 许可发布，测试要求 Rust、TypeScript 和 Svelte 行覆盖率不低于 95%。

  18. GitHub · 去对齐工具与仓库49

    Qcko/Glados：本地优先、语音控制的家用 AI 助手

    Qcko/Glados 是一个本地优先、语音控制的家用 AI 助手，运行在自有硬件上，对话不发送到第三方云。其本地 LLM 通过 MCP 服务器调用 LifeQuests、Spotify、SearXNG 搜索、CalDAV 日历等工具。当前 v0 为纯文本端到端版本，默认模型为 Ollama 运行的 ministral3:8b-instruct，路线图规划了语音、多房间并发、Pi 客户端与唤醒词等后续版本。

  19. GitHub · 灵魂体仓库63

    s1：macOS 语音优先 Agent 开源发布

    s1 是一款开源的 macOS 语音优先 Agent，双击 ⇧ 即可用语音操控 Mac，仓库地址 https://github.com/Matthew-Eucaristo/s1。

    推荐理由：原文完整给出了这套语音 Agent 的双模型架构、安全门控和安装方式，读者可以据此评估是否在自家 Mac 上部署。

  23. Reddit · r/LocalLLaMA59

    VoxStage：本地多角色有声书工具，用 whisper.cpp 回读校验 TTS 漏读

    开发者 /u/HoujunDev 发布 VoxStage，一个在 Apple Silicon Mac 上本地运行的剧本转语音工作站，代码以 AGPL-3.0 开源在 https://github.com/hera2019/VoxStage。

    推荐理由：作者从一次 TTS 静默漏读 17% 文本的事故出发，给出逐句生成加 whisper.cpp 回读校验的可复用流程，并附实测数据。

10月6日周二
  1. GitHub · 去对齐工具与仓库61

    ELI v2.0 发布：完全本地运行的 AI 助手

    开发者 ShadowESC95 发布 ELI v2.0，一个完全在本地运行的 AI 助手，涵盖推理与记忆，无云账号、数据不出本机。

    推荐理由：作者详细说明了离线强制、模型适配和已知限制的具体实现，读者可以据此评估这个全本地助手是否适合自己的硬件与系统。

  4. GitHub · 去对齐工具与仓库68

    course2md 开源：把课程视频转成带幻灯片截图的 Markdown 讲义

    GitHub 项目 course2md 可将 YouTube、Bilibili 或本地课程/会议录像转成带幻灯片截图的 Markdown 与 HTML 讲义，支持 coreml、gpu、cpu、npu、api 五种语音识别后端，默认推荐 Qwen3-ASR 1.7B。

    推荐理由：README 附带各 ASR 后端的实测功耗与耗时对比，以及 Qwen3-ASR 与 Whisper 的转写错误分析，便于按硬件选型。

  6. GitHub · 灵魂体仓库62

    react-ai-voice-avatar 开源：React 组件实现浏览器内语音对话 3D 头像

    927tanmay 发布开源 React 组件 react-ai-voice-avatar，以 npm install 替代 HeyGen、Tavus 等按分钟计费的实时头像 API，在用户浏览器本地渲染 3D 头像并驱动 52 个 ARKit 面部 blendshapes 实现 60 FPS 口型同步。

    推荐理由：作者给出了各部署形态的下载量、延迟和包体实测数据，读者可以据此判断语音头像方案在浏览器端跑通的可行成本。

  7. GitHub · 去对齐工具与仓库67

    vinga：可自托管的语音智能体服务器开源项目

    开源项目 vinga 发布，这是一个可自托管的语音智能体服务器，通过 Waveshare ESP32-S3 板子对话，智能体驻留服务器端，可多板共享、跨板迁移。

    推荐理由：自托管语音智能体服务器的完整实现文档，从固件刷写到全本地推理栈的配置路径都给出了可复现步骤。

  12. GitHub · 去对齐工具与仓库62

    Rflow 开源：基于 NVIDIA Parakeet 的本地语音听写工具

    karthi-ai-engineer 发布开源工具 Rflow（MIT 许可），在 Windows 本地用 NVIDIA Parakeet 离线做语音转文字，语音不出电脑、无账号无遥测。

    推荐理由：原文给出了各配置的月成本、隐私数据流向和作者自测的识别错误率变化，可据此评估这款本地语音输入工具是否值得装。

  16. GitHub · 去对齐工具与仓库41

    Aura Companion：开源本地语音助手发布，数据不出设备

    GitHub 项目 Aura Companion 是一个完全本地化、无需云端的开源语音助手，支持语音交互办理银行业务、政务、通话和智能家居等，面向老年人和视障等人群。项目采用 T-one ASR、Piper TTS 和 qwen2.5:7b-q4（48–50 tok/s），基于 ChromaDB RAG 记忆对话，含 49 个智能体、115 项架构决策和 1403 个测试，支持 11 种平台，MIT 协议开源，支持 RU/EN/ES/ZH 多语言。

  17. GitHub · 去对齐工具与仓库24

    MeetScribe：本地会议录音转写工具，支持多语言与中英混说

    MeetScribe 是一款本地运行的会议录音转写工具，支持英语、普通话及 Mixed 混合模式，可在同一对话中自动跟踪语言切换并实时生成文字记录。软件为单文件应用，无需注册或订阅，音频不上传云端，仅支持 Windows 10/11，需至少 4GB 内存，首次运行需联网下载语言包。