新闻、仓库与研究，按时间排列。
GitHub 新开源项目 Songsmith 是一个本地优先的 Suno 风格 AI 音乐生成工作室和 Web UI，提供提示词扩展、歌词与标题生成、音乐合成、专辑封面生成的端到端流水线，基于异步任务队列和 SQLite 持久化。它默认使用 LocalAI 后端跑 ACE-Step 音乐生成和 Flux 封面生成，搭配 OpenAI 兼容端点（如 GLM）生成歌词标题，也可全部跑在单个 LocalAI 实例上。歌曲生成、扩展（仅 ace-step-turbo）等操作通过 JSON API 提供。
开源项目 Z.A.R.V.I.S 是一个本地运行的 AI 个人助手，采用 Node.js 作为核心调度、Python 处理语音，配合本地 LLM 实现模块化架构。其语音管线通过 Whisper 完成语音转文字、Piper 完成文字转语音，并经 FFPLAY 输出到扬声器。项目目前处于 BETA 阶段，探索本地 AI、语音交互、自动化与硬件集成。
EchoMuse 在 GitHub 发布，可把二手 Amazon Echo Dot 2 代刷成 Home Assistant 的本地语音卫星，无需 Amazon 账号、Alexa 或云服务，麦克风、扬声器、LED 环和按键均可用。需先用 R0rt1z2 的 amonet-biscuit 解锁，控制器以 Home Assistant add-on 或 Docker 运行，支持唤醒词、barge-in、多 Dot 协同、自定义唤醒词和 WiFi OTA 更新。目前仅支持 Echo Dot 2 代，Echo Dot 3 等型号移植中；作者说明项目大部分代码由 Claude 协助编写。
推荐理由：把闲置的 Echo Dot 2 代改成本地语音助手，硬件门槛、解锁步骤和已知问题都写得具体，动手前可以先看。
GitHub 仓库 ivangalkindeveloper/DoglyadAI 开源了 Doglyad，一款帮助超声医生减少重复文书工作的 AI 助手，可结合超声图像、病史与检查记录生成结构化报告草稿。项目支持 28 种超声检查类型，使用 Google MedGemma 4B 与 MedGemma 1.5 4B 模型配合 vLLM 做服务端多模态生成，语音录入采用端侧 WhisperKit Turbo，支持英语和俄语。该项目定位为文档辅助工具而非医疗器械，所有报告须经专业医务人员审核批准。
SesliAI 是一个完全本地运行的语音助手项目：用 Vosk 做土耳其语+英语自动语音识别（--stt-language auto|tr|en），由本地 Ollama 模型（如 llama3.1:latest）生成回答，再经 Piper 神经 TTS 朗读，仅在首次下载模型时需要联网。项目提供桌面脚本、Windows PowerShell 版本、手机 HTTP 服务器模式及原生 Wear OS/Android 客户端，服务器为无认证的纯 HTTP，仅限可信局域网使用，未指定许可证。
postward-cc 发布 postward-local-media-gen 仓库，打包在消费级 NVIDIA GPU 上运行本地图像、语音、视频生成的脚本、工作流与 OMP 技能。图像走 Stable Diffusion WebUI Forge/SDXL，语音走 VibeVoice 1.5B-HF，视频走 ComfyUI 加 MiniMax H3 开放权重，附 RTX VSR 放大和 doctor.py 硬件诊断；RTX 4060 实测 T2V 0.4 MP 5 秒约 8 分钟，Forge 与 H3 共享 GPU 锁串行推理，仓库定位为技能优先接口，不依赖托管服务。
研究者提出 GAMW，一种在 TTS 生成过程中嵌入水印的框架，在波形合成前向生成表征注入内容自适应的 16-bit 多比特水印残差，解码端结合 focal modulation 与动态逐比特加权。在两个 TTS 骨干上的实验显示，相比最强基线，GAMW 在单一扰动和复合扰动下解码准确率分别提升 9.2 和 23.5 个百分点，同时保持语音质量，代码已开源。
该研究提出oracle引导微调方法，让LLM通过三个数据池学习"选择或改写"策略来后编辑ASR转录：corrections池教选择、regularizers池抑制不必要改写、hard negatives池压制幻觉。在私有数据集上约3B参数起效果明显优于随机子集微调，但CommonVoice上的结果不够确定，作者认为公开朗读语音文本可能与LLM预训练数据重叠、掩盖真实收益。
GitHub 新仓库 neoconference 是一款面向教育者的虚拟教室应用，基于 Next.js 14 + TypeScript 构建，提供 HD 视频会议、录制、实时字幕、AI 转录（OpenAI Whisper，可选）和可分享活动页面。录制以 MP4 存于 Cloudflare R2，并支持协作白板、实时投票、Stripe 付费活动门票等功能，目前仍在积极开发中。
VoTSpeech 通过显式中间语音潜变量，将音色设计与语音生成解耦。该系统基于共享语言模型骨干，先用 flow 模块从文本指令预测连续语音潜变量，再同时作为语言模型与 Acoustic DiT 的共享条件，最后由 audio VAE 解码器生成波形；语音潜变量由 speaker embeddings 与时间池化的 audio VAE 特征联合监督。VoTSpeech 在 InstructTTSEval-ZH 上表现强劲，与强开源模型相比具备竞争力且保持高自然度，代码、模型与音频样本已开源。
GitHub 开源项目 voice_assistant_llm 是一个本地语音助手，流程为 STT→LLM→TTS：用 faster-whisper 转写英语或印地语，Ollama 运行 qwen2.5:3b 生成回复，Piper 合成语音，不依赖付费 API。浏览器端 Silero VAD 检测语音结束，经 WebSocket 发送 16 kHz PCM；LLM 与 TTS 重叠执行以降低延迟，并支持打断了语音的 barge-in。Piper 语音约 126 MB，配置通过 .env 设置模型、历史轮数等参数。
VidSnap-AI 是一款 Windows 工具，可将文本和图片自动合成为视频：用 ElevenLabs API 生成旁白配音，按句子分段并同步图片时间线，最终导出 MP4。使用需 Windows 10/11、8 GB 内存和 1 GB 磁盘空间，语音合成需联网，生成音频后可离线完成编辑导出。
xjr-git 在 GitHub 开源 mira-cafe，一个 72 小时实验题交付的场景化 AI 角色项目：暴雨夜咖啡馆里与旅拍摄影师 Mira 文字或按住麦克风对话，角色有 5 种表情、3 种动作，剧情推进时切换场景并动态生成拍立得照片。项目用 FastAPI 单服务加 SSE 事件流，语音链路为 Web Speech STT、qwen-plus LLM、CosyVoice2/EdgeTTS 组合方案，通过 round_id 前后端双重过滤实现打断安全，默认 Mock 模式无需 API Key 即可完整体验，完整模式需填入 DASHSCOPE_API_KEY，一条命令可在 http://127.0.0.1:8000/ 启动。
开源项目 Home Assistant - LED Controller 通过 ESP8266（NodeMCU 或 Wemos D1 mini）控制 LED，可扩展 MCP23017 将 LED 数量从 5 个增至 19 个。应用覆盖 Web、Android（Capacitor）和 Windows（Electron，生成 NSIS 安装器），支持 0-100% 亮度、固定/呼吸/闪烁/频闪模式、法语语音命令，并可选用 Ollama 驱动的 AI 模式与唤醒词「Irina」。
开源项目 QwenSttS 是一个跑在本地电脑上的多模态语音助手，喊「阿源」即可离线唤醒，支持连续对话、随时打断、摄像头视觉理解和工具调用。项目采用 7 层架构，云端模型接入阿里云百炼的 qwen3.8-27b、qwen3-vl-plus、qwen3-asr-flash-2026-02-10 和 qwen3-tts-flash，关闭思考模式后首字延迟约 0.4 秒。录音数据只在内存中流转不落盘，使用 PySide6 图形界面，支持 Windows 10/11 和 Python 3.11/3.12。
Voltip 是一款跨平台语音听写工具，按住 Ctrl+Alt+Space 录音，可用云端服务或本地模型识别，并可选 LLM 清洗后粘贴到当前应用。本地识别支持 Qwen3-ASR 0.6B/1.7B、SenseVoice 和 Paraformer，Android 手机可独立使用或作为电脑的麦克风和键盘，音频经 Opus 压缩并端到端加密，项目以 AGPL-3.0-or-later 开源。
研究者推出 AphaVoice，一种专为合成高度逼真失语语音设计的 TTS 框架，用于医疗人员训练模拟。对比 SOTA TTS 系统的评测显示，其能更好地捕捉构音障碍这一临床特征，在时间指标上超越现有模型并保持说话人身份一致。借助 latent space shifting，模型还支持多说话人生成，为失语症医疗训练与临床模拟提供可扩展的高保真工具。
adventists-ai 开源了 DuplexJev 系列语音决策模型（含 32B-Para、4B-Para、32B-Turn、32B-Stress 等），将 Qwen3-ASR-0.6B 编码器接入冻结 LLM，单次前向直接输出带概率的封闭选项判断，无需 ASR 转写与文本解码，10 项决策在单张 H200 上约 92 ms，比 ASR 加 LLM 级联快 21×。模型可识别转向状态、打断、情绪、性别、重音、停顿、笑声等非语言声音与说话风格，情绪与性别约 91%，turn-taking 在 CoDeTT 零样本达 70.0，全部支持 vLLM 部署，代码 Apache-2.0、完整模型 CC BY-NC 4.0，论文见 arXiv:2610.02638。
推荐理由：把冻结 LLM 变成免解码的语音决策引擎，一次前向同时输出转向、情绪、性别等带概率的多项判断，延迟与基准数据都给得完整。
ibus-voice-ime 是一个 Linux 上的 IBus 输入法引擎，键盘输入复用 Rime（librime + 雾凇拼音），语音输入按 Ctrl+Alt+V 说话、识别后直接上屏，Ctrl+Alt+B 可用免 LLM 后处理的「原文语音输入」。语音识别支持本地 Qwen3-ASR 1.7B（bf16 约需 4GB+ 显存）及云端 MiMo、火山引擎等后端。项目仅在 Fedora 44 Workstation + GNOME（Wayland）+ NVIDIA RTX 4080 上验证过，其他发行版和桌面环境未实测。
作者 /u/vesudeva 推出 SlopSoup TV，一个 24/7 不间断的像素风直播电视网络，剧本、角色、配音、镜头剪辑和排片全部由模型生成，无人类参与。整套系统运行在一个 16 vCPU、无 GPU 的 Hugging Face Space 上：Showrunner 用 GLM-5.3（Kimi-K3、Qwen3.8 兜底），写作为 GLM-5.3-Flash，TTS 用 Qwen3-TTS 1.7B GGUF Q8_0，并配 BGE-small 嵌入的新颖性台账、初审模型改稿和事实核查守卫，实际花费约 $2/天。
Simon-Laux 在 GitHub 发布 hermes-deltachat-platform 插件，把 Delta Chat 作为 Hermes Agent 的网关渠道，支持文本、语音消息和 WebRTC 实时语音通话，需 Hermes Agent 0.21.5 或更新版本。插件支持群聊、@提及门控、cron 定时任务推送、webxdc 迷你应用生成，以及经沙箱化的 Delta Chat JSON-RPC API 自动化；基于端到端加密的 Delta Chat 账号，无需手机号注册。项目以 MPL-2.0 许可开源，作者说明主要由 Mistral Medium 3.5 和 Claude Opus 等 AI 辅助编码完成。
推荐理由：README 给出了插件安装、配置变量和安全边界的完整细节，想把 Hermes Agent 接入 Delta Chat 的读者可以直接照着部署。
mountlord 发布 GenSRT，一款 Windows 下的 GPU 加速字幕生成工具，用 OpenAI Whisper 转写视频为 SRT，并可用 NLLB-200 或 MADLAD-400 全离线翻译 100+ 语言，内置播放器编辑字幕。v1.3.0 移除了会封 IP 的 Google Translate 非官方端点，新增 OCR 提取内嵌字幕、固定窗口分块（一条测试影片恢复语音从 21.6 提升到 54.9 分钟）和 profile 功能；马拉雅拉姆语微调模型 R-MFT 比 vegam 快约 3 倍，但约 40% 的 cue 是极短伪 cue，CPU 转写耗时约为音频长度的 9 倍。
Choir 是一个 Spindle 扩展，为 Lumiverse 中的叙述式角色扮演提供多语音朗读：LLM 规划环节识别叙述与对白、从语音目录为 NPC 分配声音，NPC 声音按聊天持久保存，已固定声音优先于模型建议。Gemini 3.8 走 speech_metadata.style，其他语音供应商复用 Lumiverse TTS 连接及已存凭据。1.0.4 版本为主角声音选择器加入 Let LLM choose 选项、改进对白归属与 NPC 命名，可从 GitHub 安装。
开源项目 esp32-voice-assistant 在 Waveshare ESP32-S3-AUDIO-Board（XiaoZhi 固件）上搭建本地语音助手，通过 Mac 上的 xiaozhi-esp32-server 调用 Ollama 运行 qwen3:8b，实现本地 STT 与 TTS。项目演示了语音天气查询功能，get_weather 工具基于 Open-Meteo，未指定地点时默认 Nampa, ID；另有一个 local-llm MCP 服务器（ask_local、list_models）让 Claude Code 把小任务交给 Ollama 处理。项目采用 The Unlicense 公共领域许可。
GitHub 开源项目 voice-assistant-v2 是一款语音助手，可通过唤醒词"Hey Assistant"让用户用语音操作电脑，支持播放音乐、设置提醒、查找信息等任务。它采用多进程与流式处理，可实时完成语音转文字再转语音，支持随时插话打断，且可离线运行。软件要求 Windows 10+、macOS 10.14+ 或现代 Linux，至少 4GB 内存和可用麦克风。
turinglambdaai 开源的 PodLens 1.3 是一款跨平台桌面播客播放器，可调用任意 OpenAI 兼容 API 完成逐句转写、中英对照翻译和结构化总结（TL;DR、5–8 个要点、引语与话题标签），结果本地缓存。1.3 版新增一键 Understand 流水线、RSS 订阅、1.0–3.0× 倍速播放、agent 友好的 CLI，支持 macOS 14+（SwiftUI）与 Windows 10+（WinUI 3），基于 Racket 后端 Rivet 构建，非 Electron。
API Evangelist 为 Argil（Argil AI）公开发布的 API 建立了独立第三方档案，涵盖 Videos、Avatars、Voices、Assets、Webhooks 五个 API，并给出独立评分 Kin Score 与 Agent Readiness。Argil 是面向创作者经济的 AI 数字人视频生成平台，可通过文本或音频程序化生成说话数字人视频，支持自定义形象与声音克隆，并经 webhook 推送渲染事件。
研究者提出发音评估框架 OpenPA，利用 Whisper 的 cross-attention 机制联合预测词级和语句级发音分数，无需强制对齐。通过混合转写适配和自适应替换加权，单一模型可同时覆盖封闭与开放作答场景。仅在 speechocean762 上训练的 OpenPA 在域内封闭和模拟开放作答条件下取得评估系统中最强的整体表现，并在 MultiPA 上保持零样本性能，口腔癌语音的跨任务评测显示其潜在应用前景。
一项低资源语音识别（ASR）研究在四种低资源语言和英语的五种数据规模上，比较了 SpecAugment 等音频增强与基于文本合成音频的增强方法。音素级分析显示两者错误类型互补：SpecAugment 增加声调和腭化错误，文本方法引入辅音插入，组合后各自抵消对方的错误，且组合提升超过各自提升之和；但超加性在 100 小时数据量时消失。研究建议按训练暴露度和声学属性选择增强方法。
作者开源 unseen-voice，在 Ubuntu 24.04 GNOME 46 Wayland 上按住右 Ctrl 即可说话，放开后自动贴上繁体中文，快速模式用本机 SenseVoice（CPU）全程离线，放开到贴上约 0.3 秒。整理模式把识别结果交给 LLM 依内置「小纸条」删赘词、条列、改写成 Email/Slack 或翻译成英文、日文、简体中文，默认方案 B 用本机辨识加 Groq gpt-oss-20b 整理，也支持本机 Ollama（默认 qwen3:4b-instruct-2507-q4_K_M）；提供 20 条历史纪录、替换字典、GNOME Shell extension、uninstall.sh 完整还原，MIT 授权。
推荐理由：README 完整给出安装、方案与耗时实测细节，想自建 GNOME Wayland 语音听写时可直接照着部署和比较本机与云端方案。
GitHub 项目 kavas-ainotetaker 可录制在线会议中所选应用（如 Zoom）的声音和麦克风，经 Qwen3-ASR-1.7B API 转写后，由 LLM 生成含决策、行动项和摘要的可共享会议纪要。应用采用 Swift 6 + SwiftUI 原生构建，语音捕获依赖 Core Audio process tap（macOS 14.2+），摘要默认用 deepseek-v4.1-flash，endpoint 和 API token 可在设置中配置。项目目前处于设计阶段，尚未编码完成。
AudioTETRIS 是一个 training-free 的两阶段框架，利用音频编码器的表示几何作为声学先验，计算逐 token 融合分数并跨 decoder 层进行渐进式 top-k token 选择。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上，仅用 25% 音频 token 即可在多项语音任务上保持接近未压缩的性能，并在中等压缩率下达到或超过全 token 准确率，持续优于现有 training-free 基线。
研究者推出 BASIS-Bench 基准，从人口群体稳健性、刻板印象偏见和个性化三个维度，评测八个语音 LLM 能否区分有益个性化与刻板行为。结果显示，多数模型虽能识别人口群体线索，却无法将其转化为恰当的个性化响应；显式人口标签虽提升个性化，但也放大了文本底座中已有的刻板联想。
论文提出 Oído 推理引擎，在 ESP32-S3（240 MHz 双核、512 KB SRAM、无神经加速器）上运行 13M 参数 Conformer-CTC int8 模型，实现开放词表英语语音识别。LibriSpeech test-clean/test-other 片上 WER 为 3.70%/8.23%，加 1.3M 参数语言模型后降至 3.33%/7.15%，transducer 头达 2.99%/6.67%，比同芯片厂商识别器少 2.3-2.8 倍错误，也优于笔记本全精度 Whisper 与 Moonshine tiny。
推荐理由：论文给出了在无神经加速器的 ESP32-S3 上跑开放词表语音识别的完整方案和实测 WER、耗时数据，方法与测量细节都可复现。
一项发表于 ICNLSP 2026 的研究基于 DistilHuBERT 和 L2-ARCTIC 及多个外部英语口音数据集，重审口音分类的鲁棒性。结果显示 file-level 评估会明显高估性能，说话人分离评估更能反映对未见说话人的泛化；仅用外部数据训练的模型无法可靠泛化到 L2-ARCTIC，置信度过滤的伪标签在域失配下也不够。研究建议鲁棒评估应同时包含说话人分离与跨语料库测试。
brancusi 在 GitHub 开源 Voice-Pipes，一个 macOS 菜单栏语音应用，可用热键触发自组装流水线，实现听写、朗读和提问。默认轨道包括 ⌥ Space 本机 Parakeet v3 转写后粘贴（松开后约 50–150 ms），⌥⇧ Space 经 MAI-Transcribe-2 加 Claude Haiku 清理后粘贴（OpenRouter），⌥ R 朗读选区或剪贴板（Pocket TTS）。
推荐理由：开源的 macOS 菜单栏语音工具，热键触发的可拼装流水线思路可直接迁移到本地听写与朗读场景。
throndir2 在 GitHub 发布 AudioTranscriber，可录制电脑播放的声音与麦克风并实时转写，自动区分并记住说话人，全程本地运行，无需账号或上传。默认使用 NVIDIA Parakeet TDT v3，支持 25 种欧洲语言，测试中词错误率比 Whisper large-v3-turbo 低约三分之一且 CPU 占用更低；提供 Windows 与 Linux 安装包、SRT/WebVTT 导出、MCP 服务器以及面向跑团和会议的 AI 模板功能。
推荐理由：这是一个可全本地运行的录音转写与说话人标注工具，跑团、会议等场景的说明具体，读者能直接对照自己的使用需求。
一个在 Google Colab 中构建的端到端机器学习管线，使用 OpenAI Whisper 转写 .mp4/.wav 音频，再将文本送入经 Unsloth 动态 4-bit 量化的 Mistral-7B，实现低显存占用、具备上下文感知的逻辑推理。
一项大规模芬兰语语音 SSL 研究从 210 万小时无约束广播音频出发，提出用 ASR 置信度作为预训练数据质量的代理指标。相比基于 LID 的过滤，该方法在训练集更小的情况下仍带来 3-7% 的相对 WER 提升。研究还在相同参数预算下对比了 Transformer、Macaron-Net、Conformer 和 E-Branchformer 四种架构，模型在 Base 规模和域外场景优于此前芬兰语 SSL 基线。
Vocode 是一个开源平台，帮助开发者基于大语言模型（LLM）快速构建和部署语音应用，支持 API 集成、可定制化和语音输入输出的实时处理，后端主要使用 Python，采用 MIT License，可用于个人和商业项目。典型应用包括语音助手、语音交互游戏和无障碍辅助工具，开发者可通过 GitHub 仓库安装，并加入 Discord 社区获取支持。