新闻、仓库与研究，按时间排列。
GitHub 用户 tamoco-mocomoco 发布 local-vidstudio，一个把本地图片生成、音乐生成和 VOICEVOX 语音合成服务串联起来制作短视频的编排工具，作品用单个 JSON 描述，素材生成、台词合成到 MP4 导出全部在一台机器上完成。仓库提供服务启停与内存管理（stack）、素材补齐（resolve.py）、JSON 校验（validate.py）、无头 Chrome 加 ffmpeg 的逐帧渲染导出，并内置 MCP 服务器可让 Claude Code 直接完成从写 JSON 到导出视频的流程；README 给出各服务的内存占用参考，称 24GB 内存的机器按顺序调度可放下。
腾讯混元发布实时同传模型 Hy-SimulMT-30B-A3B，支持中英双向语音到语音翻译，在说话人讲话时持续接收音频并同步输出译文文本和语音，并通过实时声音克隆保留说话人音色。在 RealSI 长音频评测中其 StreamLAAL 约 3 秒，为对比系统中最低，GEMBA 分数超过所对比的开源模型和五个商业 API 中的四个。GitHub 提供 SimulInfer 推理服务与 SimulTrain 训练工具，Hugging Face 开放了 GGUF 权重，语音输出和声音克隆需配置 TTS 服务，也可在 Hy Translate App 中试用。
开发者 Recall T. Mabika 在 GitHub 开源 Ruzivo，一个专为绍纳语（ChiShona）打造的端到端多模态对话 AI 系统，采用 MIT 协议。系统在 4-bit 量化的 1.5B 基座模型上用 QLoRA（r=16, α=32）微调，下一 token 预测准确率从 32.1% 提升至 72.1%；RAG 子系统基于 14,201 句课程教材语料实现零幻觉检索。语音方面 WER 从 78.4% 降至 47.9%，并提供 Android App 与响应式 Web 客户端。
开发者发布 Vocs，一款在 macOS 上用 whisper.cpp（large-v3-turbo）完全本地运行 Whisper 的听写应用，可将文本粘贴到任意应用。音频按静音边界分块边说边解码，短片段按实际长度开窗解码约提速 8 倍；还做了 [BLANK_AUDIO] 等音效标签剥离、重复循环检测重试、Rust 后处理（标点、大小写、口语命令、自定义词典）及约 120 MB 本地语法模型。转写路径无网络请求，macOS 13+，MIT 协议，基于 Tauri 和 Rust，源码在 GitHub。
推荐理由：开发者给出了流式分块解码和短片段约 8 倍加速等具体实现细节，本地语音听写方案有可参考的工程做法。
ashwinsingh2007 在 GitHub 开源了受钢铁侠 JARVIS 启发的 Mac 语音助手 J.A.R.V.I.S，MIT 协议。说 wake up 后全程免手操作，大脑可选 Claude Code、Anthropic API、Gemini 或 Ollama 本地模型；长任务交给后台 worker FRIDAY（默认跑 Opus），期间可继续对话并查询进度。语音识别与默认 Kokoro 语音都在本机运行，能操作已登录的 Chrome、Claude Code 会话和 Mac 应用，支持长期记忆、晨报、定时例程和 Telegram 遥控；发送、删除、付款等操作前会复述任务并等待确认。
推荐理由：作者完整公开了架构、安全边界和模型选择方案，想给 Mac 装一个语音 Agent 的人可以直接照着装起来试。
/u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型，支持内联标签、语音方向控制和音色克隆，训练成本不到 $200。Turbo 的 RTF 为 0.14，对比 5B Fish S2 Pro 的 0.195，同时保持相同说话人相似度（ECAPA 0.699）。作者还发布了 Lure-TTS 推理引擎，基于 faster-qwen3-tts（CUDA）、mlx-audio（Mac）和 audio.cpp（CPU），在 4090 上首音频输出 0.17s（参考代码为 10.6s），整体快约 5 倍（RTF 0.53 vs 2.54），支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。
推荐理由：作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码，可复现的低成本 TTS 微调路线有参考价值。
GitHub 上的 Stephan5/podcasts 仓库已归档并将被删除，目前仅保留是为了让订阅旧 raw.githubusercontent.com feed 地址的播客应用通过各 feed.xml 转向新的 feed URL。原工具以 podcastinator 名义继续维护。
GitHub 仓库 jeankassio/ComfyUI-AceStep_SFT 发布了一套 ComfyUI 模块化节点，为 AceStep 1.5 SFT 音乐生成模型提供级联加载（SFT/Base/Turbo 共享 CLIP/VAE）、LoRA、原生 Cover/Remix/Repaint、Whisper 歌词转写等 15 个节点。RTX 3090 实测切换 checkpoint 后结果 bit-identical，源权重传输降低 14.5-14.6%；预计算 conditioning 使编码器调用从 50 次降到 2 次。套件默认使用 jkass_quality 采样器与 APG 引导，附带官方 silence_latent、ScragVAE 对比和语音 timbre 适配等实验功能，MIT 协议开源。
Ollama 0.40.11 起支持文本转语音，首个语音模型是 Gradium 的 Phonon 系列，目前可用 macOS，Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上，Ollama 借助 MLX 加速，吞吐比次快的 Gradium ptts 运行时快 35%，词错率与 Hugging Face Transformers 参考实现持平；Phonon 采用 Apache 2.0 许可，40M 版本为 CC BY-NC 4.0 限非商用，支持英语、法语、德语、西班牙语、葡萄牙语，并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。
推荐理由：官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据，读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。
一个在 Apple Silicon 上全离线运行的 Streamlit 应用，用 IBM Granite Speech 5.0 TurboCTC（470M，encoder-only）做英语语音转写，配 Silero VAD v6 生成分段时间戳。可选开启 Granite 4.2 3B（8-bit）本地分析，生成摘要和按"是"概率排序的 yes/no 问题。30 分钟音频完整分析在 M2 Pro 上约需 23 s，双模型加载峰值约 7.7 GB 内存，仅支持英语，输出为无标点小写文本。
GitHub 开源项目 lecorder 是一款本地优先应用，可录制课程或导入媒体文件，生成带原始音频和时间定位的 Markdown 笔记，并统一管理 PDF/图片讲义的原文、逐页解读、大纲与术语表。它支持录音、实时草稿、语音转换及 LLM 审校建议的批准/拒绝记录，可全量检索资料并统计语音与 LLM 用量。已在 Apple Silicon macOS 上实测可用，Windows/Linux 仅通过自动测试。
开发者 Marcel 发布个人离线本地 AI 助手 Poldi，以语音为交互界面，支持唤醒词免提客户端与浏览器客户端，采用 GPLv3 开源。技术栈为 Whisper.cpp 做 STT、llama.cpp 做 LLM 推理、Piper 做 TTS，支持英德双语、记忆注入、联网与 Wikipedia 搜索等功能，可在 16GB VRAM 的 Nvidia 5060 Ti 上运行，8GB VRAM 甚至 CPU 也可用。
开源项目 Veri-Player 发布 1.3.0.0 版本，这是一款 Windows 音乐播放器，通过 Suno API 提供 AI 音乐生成，内置 8 种动画背景（雪、雨、落叶、星空等）。支持从 Spotify 和 Yandex Music 导入、QR 码分享曲目、Discord Rich Presence，并采用 MIT 许可证开源。
GitHub 新开源项目 AI-Coding-and-Data-Analysis-Assistant 将 RAG 编程助手与语音数据分析整合为一个 FastAPI 应用。用户可上传 CSV 或 SQLite 数据集，用英语或阿拉伯语通过 Faster-Whisper 语音提问，系统基于 schema 生成并校验 SQL 后返回结果与解释；编程助手则通过 ChromaDB 检索示例并生成、解释 Python 代码，支持用户反馈学习。
开源项目 open-transcribe 提供本地视频和课程转写，基于 Whisper，支持 CUDA GPU、Metal 或 CPU 运行，实时显示转写结果，可选本地 LLM（Qwen2.5）按停顿和内容自动分段。应用可自动检测硬件、在界面内下载和删除模型，输出带 timecodes 的纯文本或 SRT 字幕，提供 Linux AppImage、Windows 和 macOS 安装包，代码采用 MIT 许可证。
开源项目 NexQ 发布 v2.25，提供本地优先的 AI 会议助手与实时面试副驾，新增 macOS（Apple Silicon，beta）支持和可从屏幕共享中隐藏的 Stealth Mode，并加入捷克语转写。语音采集在本地进行，无机器人加入通话，支持 10 种 STT 引擎（含 Whisper.cpp、Parakeet 等本地引擎）和 9 种 LLM 供应商（含本地 Ollama、LM Studio 和 Claude Pro/Max 订阅），答案基于本地 PDF/DOCX/TXT/MD 的 RAG 实时流式生成。MIT 协议，无账号和订阅，双流转写支持说话人分离和实时翻译成 100+ 语言；v2.24 还加入了转写分段、范围选择器和答案历史。
GitHub 上新开源的 Mediscript AI 是一个基于语音交互的医疗处方实时生成系统，可通过语音输入医学信息并生成结构化处方草稿。系统支持英语、印地语、马拉地语、德语 4 种语言，并提供物理按钮和语音命令两种录音控制方式。处方最终由医护人员审核、修正并批准后生效。
开发者基于 Qwen3-Omni 构建了全模态决策模型 SPEV，直接对原始音频输入输出决策概率，无需经 ASR 转写，避免转写带来的延迟与成本，并支持鸟鸣等非语音任务。它结合 Omni 音频/视频/图像解码器与训练的决策头，支持选择题、真假判断和序数评分，多个问题可在一次多模态前向传播中处理。
CounselPlex 是一个压力源感知的全双工语音心理咨询框架，针对现有模型只关注最新话语、丢失求助者核心问题（Stressor Blindness）的缺陷，在求助者沉默时更新短期压力源状态，并在倾听过程中将状态注入相应位置。论文还提出 RoPE Position Shift Augmentation（RPSA）扩展训练时的位置覆盖，LLM-judge 评测显示其咨询质量与压力源关联性优于强基线。
GitHub 开源项目 Assistente-Nora 是一个葡萄牙语语音个人助理，用户自然说话即可整理任务、笔记和日程。它在本地机器上运行，数据保存在本地，LLM 大脑可在线或离线使用，是对云端助理的一种免手操作且注重隐私的替代方案。
一项 arXiv 研究提出保守残差路由方法，用于因子化 Transducer ASR 的纯文本领域自适应：适配后的 predictor 作为基础模型的残差修正，由一个 16k 参数的门控在每个前缀决定采纳程度，关门时完全还原基础模型。在 40 小时会话语料上，两个留出域 WER 从 19.89/20.91 分别降至 16.74/16.21，源域 WER 基本不变（12.90 至 12.93），且无需目标域音频的按域调优。
一项 arXiv 研究提出用伪标签作为 GRPO（Group Relative Policy Optimization）的奖励参考，而非 SFT 的微调目标，以降低半监督 ASR 中的标签噪声传递。在银行领域，基于 Whisper 生成标签时，GRPO 相对 SFT 提升 29.3% 到 56.2% 的相对 WER，且优势在四种 Whisper 尺寸、四个教师模型族、三个领域和四种语言上均成立。SFT 几乎逐字复现 100% 的教师错误，GRPO 仅传递 27%。
研究者提出 Full-Duplex Long-Horizon Benchmark（FD-LHB），测试五个全双工语音模型的长对话能力，发现所有被测模型最终都会性能退化或耗尽上下文窗口。滑窗模型的乱码与沉默源于 Initialization-Anchor Eviction（丢弃首个 KV 条目），重复则受模型自身近期输出强化；提出 Initialization-Anchor Pinning 与 Duplex Repetition Penalty 两个无需重训练的修复，在最长一小时的重放对话中实时运行并显著减少对话崩溃。
推荐理由：论文诊断出全双工语音模型长对话崩溃的两个机制，并给出无需重训练的两项修复方法，具可迁移性。
开源应用 Nomi 在 Mac 上提供课堂实时语音转录与翻译，译文显示在原文下方，支持中文、英语、日语等 9 种语言，可离线运行。它还能收集课堂真实提问并作答、检索历史讲座记录、生成 90 分钟讲座的要点总结，并导入 PDF 和幻灯片。应用采用 SwiftUI 与 Rust 构建，基于 MIT 协议免费开源，需 Apple silicon（M1 或更新）和 macOS 26 或更高版本。
medvoice-research 在 GitHub 开源 medvoice-service，提供基于 WhisperX 的生产级音频处理 REST API，支持转录、对齐、说话人分离，并用 Temporal 工作流实现异步任务。服务集成 PHI 检测、SOAP 笔记、实体抽取等医疗处理，通过 LM Studio 调用本地 LLM，配套 Streamlit Web UI，支持 Docker 部署，模型需 HF_TOKEN 下载，可用模型包括 large-v3-turbo 与 distil-large-v3 等。
研究者提出 DIAL-S2ST，一种用于同声语音到语音翻译模型的后训练方法，通过 lookahead 预测的自蒸馏和单个 LoRA adapter 实现推理时可调的延迟控制。在基于 Hibiki 的法语到英语翻译实验中，仅 10 小时源语音即可完成适配，在质量与延迟之间取得良好权衡，且无需成对目标数据或奖励计算。
一项发表于 IEEE SLT 2026 的研究系统比较了 CTC 与 neural transducer 端到端 ASR 模型在不同剪枝策略和语言模型配置下的搜索空间复杂度与效率。研究发现这些模型多数时间只需小搜索空间，但在不确定时段假设数会出现临时峰值；基于分数的剪枝可动态适应模型不确定性，显著降低实时率（RTF）。结果指出了低固定 beam 剪枝的局限，并为端到端 ASR 的高效搜索提供了实践指南。
研究者提出 SyRA-CS，一种基于 Reptile 元学习的合成到真实自适应框架，用于语码切换（CS）语音识别。该框架对每种语言对和预训练模型在合成 CS-FLEURS 子集上做元训练，再用 1 小时标注真实目标语音自适应，覆盖 Arabic、French、German、Hindi-English 四组及 Encoder-CTC、FastConformer-RNN-T、AED、Speech-LLM 四种架构。SyRA-CS 在全部 16 组模型-语言对比较的 WER 上优于持续微调，XLS-R 相对 macro WER 降低 17.7%，其余三个模型降低 5.3-5.8%。
TTS 通常用 ASR 转录输出评估词错误率，但识别器本身的错误也会被计入。在 LibriSpeech 和 FLEURS 上，评估识别器对人类语音中极罕见词的漏识率达 33-67%，用另两族识别器复核后，至少一个识别器听到的词的表观 TTS 错误率降低两到三倍（极罕见 LibriSpeech 词从 10-13% 降至 3-5%）。直接忽略这些漏识词有偏：识别器在这些词上发现 TTS 错误的频率为 4-6% 对 0.2-0.3%，且推翻约半数保留的错误。
研究者发布尼泊尔语-英语夹杂 ASR 基准，含 13,044 条自发播客语句（共 15.45 小时）。两阶段合成到真实适配框架中，仅用 0.95 小时 TTS 合成语音做 SFT，将 MER 从 23.40% 降至 21.52%，语言切换点错误率（SPER）从 35.89% 降至 28.77%；后续 GRPO 仅带来小幅统计显著调整。SFT 同时将尼泊尔语 MER 提升 2.71 pp，而英语词错率保持 3.38%。
一名普通 web 开发者借助大语言模型迭代优化，在不知其具体原理的情况下将 Kokoro TTS 提速 50-100 倍。训练在一块 4070ti super 上耗时约一天完成，灵感来自 Sahil 展示的 Kokoro 知识蒸馏方法。
AuroraTTS-100K 是一个英文文本转语音模型，参数量不到 100K 即可生成基本可理解的语音。INT8 量化后仅占 127KB，在 CPU 上达 72 倍实时速度、GPU 上达 1120 倍；但遇到难词或长数字时可能含糊不清。
开源工具 LokalBot 在 macOS 之外发布了 Linux 和 Windows alpha 版，支持会议转写、本地模型笔记、听写、跨应用自动补全和工作上下文的智能体访问。工具默认本地运行，也可接入自有推理设施或其他服务商；移植版用 Rust + GPUI 构建，作者称用智能体集群三天完成。Linux/Windows 默认模型栈为 Qwen3-ASR-0.6B（转写）、Qwen3.5 4B（笔记与聊天）、LFM2.5 1.2B（自动补全）、EmbeddingGemma 2（语义搜索）、pyannote + TitaNet（说话人分离），模型可在设置中更换。
在 17 分 29 秒的 AMI 四人会议音频上，MOSS-Transcribe-Diarize 0.9B 在 M5 Pro MacBook（64 GB、mps）上以 fp32 单次完成转写、说话人标注和时间戳，耗时 714 秒，约 0.68x 实时。四个说话人全部识别，0.25 s collar 下说话人混淆率 0.08%，整体 DER 15.4%；317 段中 87 段为重叠语音且均标注了不同说话人。
Sierra 发布 𝜏-Entity 基准，测量语音智能体能否正确采集姓名、电话号码、地址和邮箱等细节，并识别与修复错误。该基准包含 10 种实体类型共 200 个任务，与 𝜏-i18n 一样覆盖六种语言。
MemoFlow 是一套面向 Codex 的交互式语音转写与自学习纪要生成 Skill，调用阿里云百炼的 Qwen-Audio-3.1-ASR-Flash-Filetrans 模型完成长音频非实时转写，当前仅支持 Windows 10/11 x64，采用 Apache-2.0 许可证。其中 asr-transcription Skill 已完成，可生成区分说话人、带时间戳的 Word、Excel、Markdown 三种格式校对稿；个性化纪要生成仍在开发中，从 v0.1.2 起支持自动更新。
geonom 在 GitHub 发布 ai-serve Alpha 版：一个本地 AI 网关，把语言模型（llama.cpp）、语音合成、语音识别、图像生成和文档读取统一到 OpenAI 兼容 API（/v1/...）加一个仪表盘后面，模型按需加载、内存紧张时卸载。安装器提供 Gemma 4 E4B/E2B、Chatterbox 多语言 TTS、Whisper（WhisperX small）和 Iris-3B Turbo 图像生成等可选服务，下载经 sha256 校验。项目除 llama.cpp 外均以插件扩展，AGPL-3.0 授权，支持 Linux（NVIDIA、AMD、Vulkan、CPU）与 macOS（Apple Silicon），Windows 稍后支持。
作者发布 WhisprFlow，一个在本地运行的 Windows 和 macOS 语音听写工具，按热键说话后自动清理填充词、加标点并粘贴到光标处。默认用 Phonon-2 在设备上转写、Ollama qwen3:4b-instruct 本地润色，无需账号和订阅；11 秒听写端到端约 1.7 秒（i5-13500HX + RTX 4050 实测），支持 Qwen3-ASR 处理多语言，词典从用户听写中学习术语拼写，代码 MIT 许可，macOS 代码路径保留但未测试。
推荐理由：原文给出实测延迟、模型选型对比和架构细节，读者可以据此评估这套本地语音听写方案是否适合自己复现。
一个新的 GitHub 仓库 cs-tts-steering 正在设计基于 CAA（对比激活添加）方法，利用 MaSaC 印地语-英语混杂语料训练转向向量，让 LLM 骨干的 TTS 模型生成自然的语码转换语音。TTS 模型尚未选定，计划用 OrpheusTTS 或 Kokoro-82M 合成中性样本，并首次尝试将 BiPO 应用于 TTS 激活转向。实验将在配备 2× L40 48GB 的 Columbia CS 语音实验室机器上进行，目前处于初步研究设计阶段。
一项 arXiv 研究表明，在 VoxCPM2 连续潜变量 TTS 中，高线性可解码性不等于因果可控性：RALM L7 层探测准确率达 0.970，但对齐编辑在 60 组配对中 0 组成功；而在 L0 层编辑可将目标相似度提升 0.326，60 组全部实现目标主导。双盲听测确认声音被识别为目标说话人，研究指出免训练说话人控制需要几何特异性和通向声学合成的计算通路。