新闻、仓库与研究，按时间排列。
geonom 在 GitHub 发布 ai-serve Alpha 版：一个本地 AI 网关，把语言模型（llama.cpp）、语音合成、语音识别、图像生成和文档读取统一到 OpenAI 兼容 API（/v1/...）加一个仪表盘后面，模型按需加载、内存紧张时卸载。安装器提供 Gemma 4 E4B/E2B、Chatterbox 多语言 TTS、Whisper（WhisperX small）和 Iris-3B Turbo 图像生成等可选服务，下载经 sha256 校验。项目除 llama.cpp 外均以插件扩展，AGPL-3.0 授权，支持 Linux（NVIDIA、AMD、Vulkan、CPU）与 macOS（Apple Silicon），Windows 稍后支持。
作者发布 WhisprFlow，一个在本地运行的 Windows 和 macOS 语音听写工具，按热键说话后自动清理填充词、加标点并粘贴到光标处。默认用 Phonon-2 在设备上转写、Ollama qwen3:4b-instruct 本地润色，无需账号和订阅；11 秒听写端到端约 1.7 秒（i5-13500HX + RTX 4050 实测），支持 Qwen3-ASR 处理多语言，词典从用户听写中学习术语拼写，代码 MIT 许可，macOS 代码路径保留但未测试。
推荐理由：原文给出实测延迟、模型选型对比和架构细节，读者可以据此评估这套本地语音听写方案是否适合自己复现。
一个新的 GitHub 仓库 cs-tts-steering 正在设计基于 CAA（对比激活添加）方法，利用 MaSaC 印地语-英语混杂语料训练转向向量，让 LLM 骨干的 TTS 模型生成自然的语码转换语音。TTS 模型尚未选定，计划用 OrpheusTTS 或 Kokoro-82M 合成中性样本，并首次尝试将 BiPO 应用于 TTS 激活转向。实验将在配备 2× L40 48GB 的 Columbia CS 语音实验室机器上进行，目前处于初步研究设计阶段。
一项 arXiv 研究表明，在 VoxCPM2 连续潜变量 TTS 中，高线性可解码性不等于因果可控性：RALM L7 层探测准确率达 0.970，但对齐编辑在 60 组配对中 0 组成功；而在 L0 层编辑可将目标相似度提升 0.326，60 组全部实现目标主导。双盲听测确认声音被识别为目标说话人，研究指出免训练说话人控制需要几何特异性和通向声学合成的计算通路。
一种闭环双参考引导方法将原始参考音与通过语音转换（VC）构建的可复用母语锚音配对，减少零样本跨语言语音克隆中的口音迁移。在 20 名法语留出说话人上，λ*=0.33 设置使残余法语 LID 质量降低 73%，ECAPA 相似度仅损失 0.042，平均 WER 低至 0.009；西班牙语 LID 质量降低 56% 且无需重新调参。在线合成 RTF 约 0.59，比 TTS→VC 级联的 0.80 低约 26%。
研究者推出 Omnilingual-MsASR 基准，评测全模态大语言模型在长篇多说话人语音识别（MsASR）上的表现，覆盖 6 种语言、最长 30 分钟录音和最多 20 个说话人场景，并提供并行音视频输入以检验跨模态一致性。评测显示主流全模态 LLM 存在明显性能瓶颈，tcpWER 频繁超过 100%，细粒度时间定位、说话人区分和跨模态协同是未来关键挑战。
KittenML 发布 Kitten-TTS 2 的代码与权重，称其为首个 1.58-bit（三值）TTS 模型，1.7B 参数，仅靠 CPU 即可实时生成。支持少于 5 秒参考音频的 zero-shot 声音克隆、20+ 语言跨语言克隆，以及重音与情感表达控制；代码和权重开源，提供 GitHub 与 Hugging Face 链接，定位为 ElevenLabs 的开源替代。
推荐理由：1.58-bit 三值权重让这个 1.7B TTS 只靠 CPU 就能实时运行，对没有 GPU 的本地部署用户是可查的开源替代选项。
AbstractAssistant 是 AbstractFramework 生态的 gateway-native 桌面助手，提供 macOS 菜单栏 palette、免提交谈语音模式和 CLI，通过 `pip install "abstractassistant[voice]"` 安装，要求 Python 3.10+。工作流发现、持久运行、工具执行与审批等由 AbstractGateway 负责，客户端仅保留本地状态。另有 TestFlight 预览版 Apple Watch 应用，可语音对话、回应审批并运行自动化。
作者发布 Izwi 0.1.0，这是数月公测后的首个稳定版，Apache-2.0 免费开源，提供桌面应用、Web UI、CLI 和本地服务器。支持本地 ASR→LLM→TTS 实时语音对话、短样本语音克隆、按文本描述设计音色、有声书等长音频 Studio、带说话人分离与强制对齐的转写，并提供 OpenAI 兼容的 /v1 API。已支持 Qwen3-TTS、Kokoro-82M、Fish Audio S2 Pro、VibeVoice、Parakeet TDT v3、Whisper large-v3-turbo、Qwen3-ASR、Qwen3.5/3.6/3.8 等模型，推理用 Rust 在 Candle 上原生运行并自研 Metal 与 CUDA 后端，无需管理 Python 环境。
开源项目 Wendelin 是一款 Android 本地语音助手应用，支持本地语音转录、用户自带 API Key 自由选择 LLM，并可通过手机或 MCP 服务器调用工具。2026-10-13 已达成 M1 里程碑，文本指令可经 Claude Haiku（claude-haiku-5-5）和 OpenAI 兼容模型 gpt-5-mini 完成日历写入，所有操作可撤销并记录在设备端 Audit-Log。M2（语音与系统默认助手，本地 Whisper 与 Silero VAD、Obsidian 集成）已合并待验收，真机测试仍在进行中。
InclusionAI（蚂蚁集团支持）随 Ming-3.0-Audio-Tiny 一同发布了 0.5B 参数的 Ming-3.0-TTS-0.5B 语音合成模型。该模型支持语音克隆、语音设计、7 种语言以及情感与风格控制。
IBM 在 Hugging Face 发布 Granite Speech 5.0 系列：新增 granite-speech-5.0-2b 语音语言模型，并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置，英文平均 WER 5.06%，在开源权重 ASR 模型中排名第 2；Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx；4.1 2B Plus 说话人归因与时间戳更准，长语音 WER 降 24%。三款模型均为 Apache 2.0 许可，支持 Transformers、vLLM、llama.cpp 等。
推荐理由：官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据，读者可据此挑选适合的语音模型。
GitHub 上的 ZhuangFY 是一个开发中的个人语音助手，基于 Python / PySide6 原型：通过本地 VAD 截取语音并本地识别文字，支持“庄方宜”“小庄”“庄天师”唤醒词，调用兼容 OpenAI Chat Completions 的模型接口，并用系统语音或本机 GPT-SoVITS 分段朗读，播报时可插话打断。可选启用 Mem0 长期记忆（本地向量库加硅基流动 Embedding），QQ 消息可通过 SnowLuma 经 OneBot WebSocket 接入；目前尚无桌宠形象、声纹识别和回声消除。
作者发布 Alkove 早期预览，5 个小型模型（共 7.5 MB）在设备端运行于 STT 之前，支持任意文本自定义唤醒词、声纹过滤和仅针对本人语音的 VAD，代码与权重以 Apache-2.0 开放。引擎用 Rust 编写并编译到 WebAssembly、Python 和 Android，手机单线程上 Focus 处理每秒音频需 38.6 ms；AMI 会议测试中他人语音进入转写从约每分钟 17 词降到 0.5 词。当前局限包括仅适合近场麦克风、同时说话分离不完整、音频为 16 kHz。
推荐理由：作者给出了各模型体积、单线程延迟和 AMI 会议实测数据，可据此评估这套语音前端在本地助手里的实际可用性。
KOIYAL 在 GitHub 发布 local-transcriber，支持 Windows 和 macOS 本地转录音视频文件并生成带时间戳文本与本地 LLM 摘要，全程不联网。转录用 faster-whisper，摘要优先用 Apple Intelligence，其他环境回退到 llama-cpp-python 加载 GGUF 模型；支持 TXT、SRT、VTT、JSON 导出，采用 GNU AGPL-3.0 许可证。
FORIFOR 开源 AI-meeting，一款语音转任务会议助手，支持可打断的 AI 对话、VRM 头像和浏览器本地任务持久化。最新 beta 版 v0.2.0-beta.2 带来 voice-orb 输入交接和 1,100 个自动化测试，提供可本地运行的 OSS 预览。应用内置 OpenAI Realtime、Gem Live 和本地 provider 适配器，未确认的语音改动不会被持久化，语音试用每天限 3 分钟且需验证邮箱。
arXiv 论文首次系统综述码混合（CM）文本与语音和母语之间的双向迁移研究，按迁移方向、路径和模态建立分类体系。综述发现迁移大多是母语流向 CM 设定，反向迁移较新且主要通过对齐助力；文本与语音研究方法相通但很少互相引用。在共享语音基准上，母语数据的帮助大于新架构。
研究者提出 SLM-SS，一种基于 token 的生成式语音分离框架，用语音语言模型建模多说话人混合语音。在 Libri2Mix 上，采用 per-talker NAR 的 SLM-SS 达到 6.92% WER，接近纯 codec 重建水平；WavTokenizer 变体去掉 NAR 精修，在评测的分离系统中获得最高主观质量均分，且在未见过的噪声与中文混合语音上 UTMOS 和 DNSMOS 仍优于判别式基线，无需微调。
arXiv 论文提出 SMART 框架，将 ASR 语义评估转化为上下文感知的分段级后果评估，通过结构化评分标准给出后果标签并量化 Semantic Impact Error Rate（SIER）。在多数投票人工标注上 SMART 达到 0.843 F1，高于直接 LLM 判断的 0.745，且对评估模型的选择相对不敏感。配套的无参考评分标准修正方法在两个数据集上相比 w/o Rubric 基线再降低 MER 0.85-0.98 个百分点、SIER_lex 1.18-1.65 个百分点。
研究提出 VISH，一个免训练、即插即用的热词预选框架，通过在帧级 CTC 后验上直接验证候选词的声学证据来支持 Speech-LLM 上下文 ASR。在五个 benchmark 上，M-VISH 的 Best-F1 较强学习式检索基线最高提升 11.7% 绝对值，并在 2,000 候选时将候选搜索延迟降低 75.2%。Bi-MVISH 则利用反向证据增强验证鲁棒性。
Kyutai 于 10 月 20 日发布三款更小的 Pocket TTS 模型，参数量分别为 1.9M、6.9M 和 18.2M，均为英语模型，支持声音克隆并设计为在 CPU 上运行，可在其 demo 中切换尺寸。作者认为实用之处在于让语音生成留在 CPU、把 GPU 留给本地 LLM，倾向从 6.9M 版本入手；参数量统计包含音频解码器，处理参考声音的编码器是独立的，参考音只需编码一次。代码与安装说明由 /u/BerryBlush_Rogers691 提交。
推荐理由：作者给出了把语音生成留在 CPU、把 GPU 让给 LLM 的本地部署思路，并指出参数量统计包含音频解码器这一细节。
Gradium 发布首个开源项目 Phonon，包含 31M 和 40M 两个可在设备端运行的小型 TTS 模型。推理栈完全开源，支持 10 多种后端（CPU、GPU、NPU），其中大部分用 Rust 编写。团队表示欢迎社区反馈，并计划推出更多开源版本。
FastDub 是一个 Python 包和命令行工具，可基于 .srt/.vtt 字幕为 .mp4/.mkv 视频自动配音，并支持音频 ducking、动态变声、字幕翻译和 YouTube 集成。它可通过 pip install FastDub 安装，翻译使用 Google Translate 等服务，另支持 Windows SAPI 和 Linux eSpeak/RHVoice 语音，并集成 Tortoise-TTS 实现高质量语音克隆（推荐 CUDA）。用户还能用 CLI 下载 YouTube 视频/播放列表/频道并上传带翻译标题和描述的配音视频。
TurnCall 在 GitHub 发布 MIT 协议的自托管语音智能体引擎，通过一条 curl 即可创建绑定 Twilio 号码的电话接待员。级联管线 STT、LLM、TTS 处理约 800ms，S2S 方式约 300ms，来电感知延迟另加默认 800ms 的 silence_timeout_ms。支持 Deepgram、OpenAI、Anthropic Claude、Gemini、ElevenLabs、Cartesia、Ollama、OpenRouter、AWS Bedrock 等可按 agent 更换的 STT/LLM/TTS 组合，本地跑 Ollama 时音频不出本机网络；还含外呼 campaign、RAG 知识库、MCP 工具、A/B 测试、通话后 LLM 分析与 PII 脱敏合规套件。
推荐理由：原文给出完整的自托管语音智能体引擎架构与各环节延迟数字，读者可以对照自建方案评估管线和成本取舍。
Harsh251005 开源了 clinic-voice-agent，一个跑在 LiveKit 上的诊所语音智能体，支持 Hindi/English 混说，基于诊所自有数据解答并完成预约、改期、取消。语音链路按语言分管道，Hindi 用 Sarvam，English 用 ElevenLabs + OpenAI；预订确认规则写在 booking.py 的代码里而非提示词，因为实测 4 次中有 3 次模型未等来电者确认就预订；数据库用部分唯一索引防止并发重复预约。配套 Next.js 前台看板和运营方管理面板，含 520+ 后端测试与 44 个 Playwright 测试，docker compose up 即可本地体验。
推荐理由：原文把预订规则写在代码而非提示词里，并给出实测中模型未确认就预订的比例，读者可以借鉴这种用代码兜住模型行为的方法。
GitHub 开源项目 Beginner-Friendly-Ai-Vtuber 面向新手和非程序员，提供易搭建的 AI VTuber 方案。其使用 Whisper（base.en）做英文语音识别、Ollama（llama3.2）生成回复、Chatterbox Turbo TTS 实现零样本声音克隆，并集成 VTube Studio 控制、Twitch 聊天互动和 OBS 实时字幕。项目基于 Python 3.10.11，主要支持 CPU 用户，无需 AMD 或 NVIDIA GPU 也可运行。
一项 arXiv 研究提出结合现成 ASR 输出与少量人工标注样本，依据 Prediction Powered Inference 和 Design-based Supervised Learning 框架对 ASR 系统性错误做事后校正。在巴尔的摩和芝加哥警方无线电通讯数据上，可获统计有效置信区间的领域关键词比例从仅用 ASR 的 43.0%、仅用人工标注的 27.2% 提升至 56.2%。
Monsoon 是一个大规模收集自发语音数据的框架，用于解决低资源语言 ASR 缺少准确转写数据的问题，已收集 50 种语言的语音，并分析了七个共 3,500 小时的语料库。同等数据量下，其质量流程使语义 WER 相对降低 10-39%；Whisper 在 Monsoon 数据上微调后，在对话基准上语义 WER 降低 20-44 点。框架、质控模型和微调模型均已开源。
Reddit 用户 /u/HockeyDadNinja 发布 VoiceManager，一个本地运行、经单个 WebSocket 流式传输的低延迟 STT/TTS 语音服务器，MIT 协议，附客户端文档和 Python 客户端。默认配置使用 audio.cpp sidecar 与 Nemotron 和 Breeze TTS 2，支持带 barge-in 的轮次对话（默认关闭，因回声消除较难），演示中唤醒词在平板端运行，回复逐句以语音流式返回，面板可显示图片和 markdown，工具调用可操作音量设置和计算器，会话保留跨轮上下文与历史。
GitHub 开源项目 artist-quran-recognizer 正在开发 V1，用于在音频或视频中定位每节古兰经诵读的起止秒数，并按批次输出 Mushaf 原文与官方翻译。核心逻辑（语料库、词汇检索、序列解码、渲染）已就位并测试，音频/ASR 适配器与端到端 CLI 尚在后续阶段；文本与翻译只检索不生成，链路中不含生成式 LLM。支持 whisper、fastconformer、muno-streaming 等 ASR，输出 json/srt/vtt 格式，代码采用 MIT 许可。
GitHub 新仓库 ai_audio_studio 是一个独立的本地声音工作室，第一阶段支持 IndexTTS2 文字转人声与 Seed-VC V2 长人声音色转换，提供任务状态和 WAV 下载，音乐与音效留待后续接入。项目采用项目 API、IndexTTS2、Seed-VC 三个独立 Python 环境以避免依赖冲突，Windows 建议 Python 3.10。仅限处理本人或已授权声音，不得用于冒充、欺诈或未授权克隆。
GitHub 上线新仓库 tongyh2023/Echoes，这是一个 AI 驱动的故事讲述平台。它通过引导式对话、语音录制和照片，帮助老年人保存记忆、方言和文化传统，生成可搜索的家庭档案以连接不同代际。该仓库目前为 0 stars、0 forks。
Google Developers Blog 发布教程，讲解如何用开源 ADK 与 gemini-3.8-live 构建不出现冷场的语音智能体，核心是非阻塞工具调用。
ScreenKit 是一个 Windows 桌面工具（ScreenKit.exe），当前版本 1.0.26，集截图识别与标注、屏幕/GIF 录制、语音识别与合成、翻译、词典、人脸检测于一体。它还支持通过 Android 配套应用进行文件同步与投屏，本机提供 HTTP API 和浏览器工具页面。
inclusionAI 发布原生音频语言模型 Ming-3.0-audio-flash，为 MoE 架构，总参数 126B、每次推理激活 6.5B，采用 MIT 许可。模型接受音频加文本指令输入，支持语音识别、口语问答、音频理解与音频推理，可输出文本或可选合成语音，覆盖中英文及方言口音，另有 Flash 和 Tiny 两个版本。
inclusionAI 在 Hugging Face 发布紧凑型原生音频语言模型 Ming-3.0-audio-tiny，采用 MoE 架构，总参数 9.3B、每次推理激活 2.7B。模型接受音频与文本指令输入，支持中英文语音识别、口语问答、音频理解与音频推理，可选合成语音回复，支持长音频、多说话人和嘈杂环境，采用 MIT 许可证开源。
inclusionAI 在 Hugging Face 上发布 Ming-3.0-audio-flash，总参数 126B、激活 6.5B 的 MoE 模型，可接收音频加文本指令并返回文本或语音回复，MIT 协议。模型卡列出转写、口语问答、长录音理解及对语音、环境声和音乐的推理能力，中英文为主并声称支持口音、方言和嘈杂录音；语音输出依赖可选的 Talker，可用内置音色或参考音频。本地部署文档给出 Transformers、SGLang 和 vLLM-Omni 路径，其中 SGLang 文本输出验证配置用四张 GPU，vLLM-Omni 128K 参考配置用八张 80GB H800，均为参考配置而非最低要求。
melnikaite 在 GitHub 发布自托管离线优先语音助手 voice-assistant，全部运行在本地硬件，无需云端 API key，多数任务可断网使用。默认栈为 LocalAI（llama.cpp）跑 Qwen3-VL-8B-Instruct 32k 上下文、whisper.cpp 流式 ASR、Coqui XTTS-v2 流式 TTS（6 秒样本克隆家庭成员声音），并带 WeSpeaker 说话人识别、语义记忆、个人条目库和 AppleScript/视觉回路的桌面自动化；破坏性操作由提示层、静态分类器和点击过滤三层只读闸门拦截。代码 MIT 协议，XTTS-v2 权重为 Coqui CPML 非商用许可。
推荐理由：项目文档给出了完整的技术栈选型、离线边界和桌面自动化的三层只读防护设计，想自建本地语音助手可以参考其架构取舍。
kuchris 在 GitHub 发布 openinterview，面向 Apple Silicon Mac 的本地低延迟语音识别与 AI 面试练习工具。支持 MLX Whisper、NVIDIA Parakeet 或 Apple SpeechAnalyzer 在设备上转写通话双方，最终延迟约 1–2 秒，音频不出本机；可识别技术与行为面试问题并忽略寒暄，通过 OpenCode（如 DeepSeek）或任意 OpenAI 兼容服务生成可口头表达的简短答案，并按导入的 CV 和目标岗位定制。支持英语、日语、简繁中文和粤语，会话可本地保存回放，需 macOS 14.2+。
推荐理由：开源的 macOS 面试练习工具，本地转写双方通话并按 CV 生成口头答案，隐私设计和延迟数据写得具体。
GitHub 上的 real-time-video-subs（rtsubs）是一套近实时越南语配音与字幕系统，由 Chromium 浏览器扩展加本地 FastAPI 管线组成，支持 Douyin、TikTok、YouTube、Bilibili、Coursera 等网站。管线用 silero-vad 做 8–16 秒分句、faster-whisper（large-v3-turbo）转写、经 OpenRouter/OpenAI 兼容 API（如 google/gemma-4-31b-it）做带 Story Bible 记忆的翻译、Demucs（htdemucs）分离人声保留 BGM，并用 VieNeu-TTS v3-Turbo（ONNX int8 量化）合成语音，另提供 CLI 离线批量处理本地视频。