自监督语音表征中口音-语言混淆问题的缓解方法助力语言识别
一项 arXiv 研究针对自监督语音表征微调的语言识别(LID)模型常将带口音的非母语(L2)语音误判为说话人母语(L1)的问题,提出一种几何投影方法,仅用母语语音估计 L1 偏置方向并在冻结 LID 头之前予以移除。在五个 MMS-LID 模型与非母语语料上,该方法显著提升 L2 口音语音的目标语言识别准确率,同时不影响母语语音的预测,且无需 L2 训练数据或模型适配。
新闻、仓库与研究,按时间排列。
一项 arXiv 研究针对自监督语音表征微调的语言识别(LID)模型常将带口音的非母语(L2)语音误判为说话人母语(L1)的问题,提出一种几何投影方法,仅用母语语音估计 L1 偏置方向并在冻结 LID 头之前予以移除。在五个 MMS-LID 模型与非母语语料上,该方法显著提升 L2 口音语音的目标语言识别准确率,同时不影响母语语音的预测,且无需 L2 训练数据或模型适配。
Itgan 团队参加 NADI 2026 三个阿拉伯语 ASR 子任务,统一采用 LoRA 在消费级 GPU 上微调 Whisper。子任务 1.1 提交系统达到 57.1% 国家平均 WER;子任务 1.2 达到 46.7% WER;子任务 1.3 以 14.49% WER 获得第二名,并在领先系统中取得最低 CER 5.38%,最后 0.60 个 WER 点来自多个独立训练运行的精确权重空间平均与 ROVER 投票。
开源项目 call-with-ai-agent 基于 Next.js 和 ElevenLabs,支持用户与 AI 智能体进行实时语音对话,提供交互式响应式体验。该项目托管在 GitHub 上,目前有 3 个 stars。
Polished Recognition 是一款 Android 语音键盘,录音可交给你选择的 STT 提供商(如 GROQ 上的 Whisper、OpenAI)转写,再由你选的 LLM 按自定义提示词润色或翻译,Raw 模式则跳过 LLM 直接插入原始转写。它支持 19 个预设提供商(OpenAI、GROQ、DeepSeek、xAI、Mistral、本地 Ollama/LM Studio 等),无账号、无中心服务器;Gboard 麦克风硬编码于 Google 语音输入,需搭配 HeliBoard、Fossify/OpenBoard 或 AOSP 键盘使用。目前正于 Google Play 封闭测试并招募 Alpha 测试者。
开源语音听写应用 Audian 1.0.0 发布,支持在 Windows 任意应用中按快捷键口述,本地生成整理后的文本。它用 whisper.cpp 做语音识别、本地 Qwen 3.5 2B 做改写,全部在 CPU 上运行,音频不离开电脑,无需账号和订阅;默认模型约 1.5 GB,识别支持 99 种语言,从说完到上屏通常 0.5 到 2 秒。项目受 Wispr Flow 启发但独立开发,MIT 许可,要求 Windows 10/11 64 位和支持 AVX2 的 CPU,建议 8 GB 内存。
推荐理由:原文给出了本地运行链路、模型选型和资源占用实测数据,读者可以据此评估纯 CPU 语音听写在自己机器上的可行性。
开源桌面 AI Agent 应用 Personal Jarvis 在 GitHub 发布,支持在 Agentic IDE 中并排运行 Claude Code、Codex、Cursor CLI 等多个编码智能体,并提供带唤醒词的语音助手、桌面与浏览器操控、常驻记忆的 Jarvis Agents、40 多个插件的插件市场和定时例程。应用免费开源,本地运行,无需账号,支持 OpenAI、Anthropic、Gemini、Ollama 等模型,可装在 Windows、macOS 和 Linux 上,也可通过 pip install personal-jarvis 以无界面服务器方式部署。每个操作经 safe、monitor、ask、block 四级风险检查,可能更改系统的操作需用户批准且全程留有记录。
推荐理由:README 完整介绍了这款开源桌面 Agent 应用的功能构成、安装方式和权限控制设计,想同时跑多个编码智能体的读者可以了解其具体做法。
开源桌面应用 Gemini Flow 发布,作为 Wispr Flow 的免费替代,通过用户自己的 Google AI Studio API key 连接 Gemini 3.5 Transcribe 与 Gemini 3.6 Flash 模型,在 Windows 任意应用中实现语音输入。它支持单次连续听写 20 分钟音频、3 种 AI 润色模式、Hinglish 惯用语优化、85 Hz 高通滤波降噪,以及在 HTTP 503/429 时跨 8 个候选模型自动故障转移;断网时可回退到本地 Windows Speech Recognition。工具采用 Windows DPAPI 加密,无第三方服务器,可存储最多 5,000 条历史听写记录。
桌面语音输入助手 Open Voice Input 开发版支持 Windows/macOS,新增实时会议转录流程,默认使用 Alibaba qwen-audio-3.0-asr-flash-streaming,Alibaba 不可用时可回退到 mimo-v2.5-asr。会议结束后可生成分层思维导图和连贯文章,并可选 MiMo 全音频复核作为补充证据。文本供应商支持 Chat Completions 或 Responses 协议,未知模型默认 128k context/8192 output,可配置。
开源项目 Directive 47(d47)是一款面向 Elite Dangerous 的 Windows 11 语音助手,基于 .NET 10,读取游戏日志并语音回答,可同时渲染到桌面窗口和 SteamVR 覆盖层。它内置 45 项文档化能力,涵盖飞船、模块、工程师、蓝图和航线问答,并可在玩家指令下操作游戏。代码采用 MIT 协议,发布为 win-x64 自包含单文件 d47.exe,另提供免提权的按用户安装器。
TII 在阿布扎比推出 1.6B 参数语音识别模型 Falcon-ASR,重点支持阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。模型在六个阿拉伯语测试集上平均 WER 为 20.92%,优于所对照榜单最佳已发布结果 23.17%;内部阿联酋评测中 WER 22.73%、CER 10.19%,为对比系统中最低。模型支持词级时间戳,现已可在 Hugging Face Demo 试用,API 与原生应用已列入计划。
frustratedbox 是一个可在家搭建的完全离线万圣节语音互动道具,以 Raspberry Pi 5 为核心,配合麦克风和扬声器,无需联网或订阅即可听懂来访者的话并回以幽灵语调。它使用 faster-whisper 做语音转文字、Llama 3 生成本地回复、Kokoro 做语音合成,并基于 Pipecat 实现低延迟对话。官方 release 支持 Windows 10/11(64 位)下载即用,语音可在 config.json 中调节,还支持 LiFePO4 电池户外供电。
rsperko 在 GitHub 发布开源工具 KeyScribe(GPLv3),为 macOS 提供本地优先的语音听写,按住 Fn(Globe)键说话即可把文字插入当前应用,纯听写模式完全在设备上运行、无遥测。可选 BYOK 改写模式通过自配的 OpenAI 兼容 provider 润色文本,支持按触发键、应用或口头后缀路由模式,语音模型覆盖 Parakeet、Whisper、Apple Speech 和 Qwen3-ASR,要求 macOS 15+ 与 Apple silicon。
推荐理由:一款语音输入全程留在本地的 macOS 工具,隐私边界写得很细,适合关注本地语音转写方案的人参考。
开源项目 MeetScribe 是一个多引擎会议助理,采用 Scribe v2 与 Whisper 共识转写,并用 LLM 做填空式润色,生成有证据支撑的会议纪要、决议和行动项,不会凭空编造负责人或截止时间。
/u/r-chop14 在 r/LocalLLaMA 分享了一个受 Jev 启发的本地实时转写工作流:用 TEN-VAD 分段、Whisper 兼容后端(parakeet.cpp 加载 Parakeet 0.6B 医疗微调模型)转写,CAM++ 声纹做说话人分离,再用小型 LLM 对每句话分类为 NOTE、ACT 或 SKIP,其中 SKIP 缓存延迟送入主模型(主模型为 Qwen3.8-Flash-Next,副模型为 Qwen3.5 4B,经 llama.cpp server)。作者发现仅靠单步解码的概率质量分类约 81% 准确率且 Qwen3.5-4B 几乎不判 SKIP,加入 P(SKIP)≥0.05 且短句改判 SKIP 的启发式后,0 漏判,SKIP 召回率从 0-50% 提升到 75-100%。
开发者 stevyhacker 在 GitHub 开源了 macOS 应用 LokalBot,可在 Apple Silicon Mac(macOS 15+)本地录制麦克风和会议应用音频,无需会议机器人加入,提供转录、摘要、日程回顾、听写与自动补全,默认无账号、无遥测。内置 llama.cpp 运行时,默认模型含 Qwen3-ASR 1.7B、Qwen3.5 4B 等,约 6.8 GB 模型文件,支持 Ollama、OpenAI 兼容服务器和 Apple Intelligence,屏幕文字与截图默认 opt-in 且 14 天过期, GPLv3 协议,可通过 Homebrew 安装。
推荐理由:README 附带了与 Granola、Otter、Screenpipe 等产品的逐项对比表和隐私架构说明,方便读者判断本地会议记录方案的差异。
bilibili Index LLM Team 发布 Index-Translate 多语言翻译模型家族,基于 Qwen3.5,文本模型覆盖 150 种语言,提供 2B、9B 和 35B-A3B(preview)权重,已在 Hugging Face 和 ModelScope 开放。
推荐理由:原文给出了各尺寸模型的评测数字、量化版本和免费API入口,读者可以直接对比选型并上手部署。
Stimm 发布了一个构建在 livekit-agents 之上的乐观 VUI 运行时,核心思路是先快速确认并尽早开口,同时让更深的推理在后台并行。它采用双智能体架构:VoiceAgent 处理实时语音轮次,经 VAD、STT、快速 LLM、TTS 的低延迟链路生成回复;Supervisor 异步监听转录并做推理、工具与规划,通过 LiveKit 数据通道上的 StimmProtocol 类型化协议下发引导指令。运行模式有 autonomous、relay 和默认的 hybrid,Pre-TTS 缓冲提供 NONE 到 HIGH 四档延迟与流畅度取舍。
meetscribe 是一款完全本地运行的会议转录与摘要工具,可将 MP3、WAV、M4A 录音转为带说话人标识的文字稿,并用 AI 生成要点摘要,支持导出为 PDF。安装后无需联网,数据不出本机;1 小时会议通常 5 到 10 分钟完成转录。该工具面向 Windows 10 及以上系统,要求 4 GB 内存和 500 MB 磁盘空间,可从 GitHub 下载。
believening 开源 tmall-genie-llm 项目,将天猫精灵的语音问答代理到 OpenAI 兼容的大模型 API,默认使用 OpenCode Zen 免费模型(如 deepseek-v4-flash-free)。部署在 Claw Cloud Run 日本区节点,同时解决 Zen 免费模型不对大陆 IP 开放和阿里技能云需公网 HTTPS 回调两个问题;联网搜索采用三段式设计,搜过的问题总延迟约 3-6 秒,月成本约 $2-3 在免费额度内。
推荐理由:原文给出了从镜像构建到天猫精灵技能配置的完整部署步骤和免费额度成本,方法可直接照做复现。
SuperdeMan 在 GitHub 开源 cockpit-agent,一个云边协同的智能座舱 AI Agent 系统,当前为 Phase 1 工程化 PoC(Apache License 2.0)。系统以「小舟小舟」语音入口覆盖毫秒级车控、行程规划与异步深度调研,采用 T0/T1/T2 三层运行模型与 14 个领域 Agent;架构上 LLM 只负责理解与规划,所有车控指令经 VAL 抽象层确定性下发并强制危险动作二次确认,座舱 HMI 与 Android 陪伴端「小舟随行」共用同一后端与记忆。VAL 目前为 Python 模拟,停车 Provider 仍为 mock,Jev Decide、量产多车身份/ACL 等尚未实现。
推荐理由:原文详述了LLM只规划、确定性系统执行车控的架构与分层验证体系,读者可借鉴其快慢双系统与安全门禁的落地方法。
slng-ai 在 GitHub 发布开源工具 Unmute,这是一个语音智能体命令行编译器,MIT 协议,用户用 YAML 和 Markdown 编写智能体包,声明模型、工具、状态和步骤后编译为完整的 Python 项目。它支持 LiveKit、Pipecat、SLNG 托管和 Twilio 电话四个目标,生成物带固定依赖、Dockerfile 和运行手册且运行时不依赖 Unmute;unmute validate 可离线在通话前指出配置错误。
推荐理由:用 YAML 和 Markdown 描述语音智能体再编译成可托管的 Python 项目,运行时不依赖编译器,方法思路可直接迁移到自己的智能体工程。
Wixely 在 GitHub 发布 Banter,一套纯 C# 的多 AI 智能体管理套件,支持多个智能体在 IRC 风格房间服务器中对话,桌面、Android 和 Web 端带有一等的语音(TTS/STT)能力。项目包含 Banter.Protocol 线协议、TCP 与 CupriNet/WebRTC 传输、房间引擎与鉴权、Banter.Agents.Sdk 四个联动发包,语音覆盖 OpenAI 兼容 STT/TTS、本地 Whisper 与 Wyoming 适配;服务器默认绑定 tcp://127.0.0.1:7770,tcp:// 无 TLS,跨机部署需改绑 0.0.0.0 并设置管理员密码,项目以 MIT 许可开源。
推荐理由:原文给出了多智能体 IRC 式房间服务器的完整架构、传输方案与部署细节,读者可以按图索骥地搭建或评估这套 C# 方案。
开源项目 WhisperTeX 支持用标准英语口述数学公式,由 LLM 转成精确的 LaTeX 代码,自动粘贴到光标处,支持 Overleaf、Notion、VS Code、Obsidian 等编辑器。项目提供 macOS 菜单栏应用(⌘+Shift+L 触发)、Windows 便携包(Ctrl+Alt+L 触发)和 Python CLI,用户需填入免费的 Groq 或 OpenAI API key,采用 MIT 许可证。
开发者 Hiburger 发布了 Wearstral,一个用于在 Wear OS 手表上通过 Mistral API 与 Mistral 模型聊天的开源原生客户端,采用 Kotlin 和 Compose 构建、专为圆形屏幕设计。它支持键盘与本地语音输入(Vosk 模型约 30-50 MB、完全在设备端转写)、聊天历史持久化和加密存储 API key,用户需自行在 console.mistral.ai 创建并填入 API key。项目处于早期开发阶段,采用 GPL-3.0 许可证,路线图包括 SSE 流式响应、模型选择器及接入 Anthropic、Google、OpenAI 等其他服务商。
GitHub 项目 n1dlee/friday-mobile 发布了 Android 语音助手 Friday,模仿钢铁侠中的 F.R.I.D.A.Y.,说出唤醒词后可语音完成闹钟、通话、短信、音乐、日历等操作。项目采用 Vosk 离线关键词唤醒和 ResNet34 本地声纹验证,只响应主人声音;约 40 个日常命令在手机本地毫秒级执行,其余交给 Groq 上的 gpt-oss-120b/20b LLM Agent(24 个工具),学会的短语下次可跳过模型。需要免费 Groq API key、Android 8.0+ 64 位手机,界面和语音支持俄语和英语,项目处于 preview 阶段,MIT 协议开源。
推荐理由:原文完整给出了架构、隐私设计和命令路由机制,读者可以照此搭建一个只认主人声音的本地手机语音助手。
OpenCode 集成把 OpenCode Zen —— 一个提供快速、免费、OpenAI 兼容模型的 AI 网关 —— 变成 Home Assistant 的对话代理,支持 DeepSeek、MiniMax、GLM、Kimi、Big Pickle 及免费模型。用户可从 Assist、语音管线或对话 UI 与家中设备对话,模型能调用工具控制设备实体,支持发送图片/PDF 附件、实时 token 流式输出,并可通过 `ai_task.generate_data` 服务生成结构化数据。该集成可经 HACS 安装,只需在 opencode.ai/auth 获取免费 API key 即可配置,采用 MIT 许可证。
GenVoice Studio 是一个开源的语音克隆与文本转语音工具,基于 Breeze TTS 2 模型,通过 Kaggle 免费 T4 GPU 运行生成,无需本地 GPU。用户可上传 WAV/MP3 克隆声音或用文字描述设计新声音,内含 AI 故事生成功能,调用 DeepSeek R1、Gemini 3、GPT、Claude 等 20+ LLM。前端免费部署于 Vercel,每周最多 30 GPU 小时,采用 MIT 许可证。
开发者开源了本地优先语音助手 Jarvis,语音识别、合成、唤醒词与说话人识别全部本地运行,推理与工具调用走 Claude API,默认使用 Claude Haiku。系统支持多用户信任分级、沙盒代码工作区、两级记忆系统,并有 Android 伴侣应用 Friday 共享同一大脑与记忆。
Movemate-AI 是一个开源的语音 AI 搬运预订助手原型,用户通过自然对话说出取货地、目的地、物品、日期时间和车型即可生成预订摘要,无需表单。项目采用 Next.js 15 + TypeScript,LLM 使用 Groq(groq/compound,回退 qwen/qwen3.8-27b),语音转录用 ElevenLabs Scribe v2、语音合成用 ElevenLabs Flash v2.5,状态由客户端持有并经 Zod 校验,部署于 Vercel。
Chorus 是一个开源项目,用于替换 Home Assistant 的 Assist pipeline,为 ESP32 语音卫星(如 FutureProofHomes Satellite1、HA Voice Preview Edition)提供全双工语音对话,支持随时打断和多人插话时的说话人重归属。它基于 Go 编排器和 append-only 事件日志,配合 Python sidecar(Parakeet STT、Qwen3/vLLM LLM、Kokoro TTS、ECAPA speaker-ID),面向 2–10 个卫星设备的单家庭场景。目前处于 Phase 1,设备桥、会话引擎和事件日志在建设中,尚无可运行的 orchestrator daemon。
reynold-hu 在 GitHub 开源 video2text 工具,粘贴链接即可提取 B站 / 小红书 / YouTube 视频文字,全程本地运行,无需付费 API。核心是先便宜后昂贵的流水线,有字幕轨(B站、YouTube)直接抓取秒出,没有才用 yt-dlp 下音频并本地转写;转写引擎可选 mlx-whisper 和 FunASR Paraformer,后者中文错字率约为 Whisper 的一半。项目还说明了 B站 AI 字幕需登录、小红书链接带 xsec_token 且易失效触发风控等注意事项,支持纯文本、带时间戳、SRT 等五种输出格式。
推荐理由:工具采用先抓字幕后转写的流水线并说明各引擎速度与准确率取舍,读者可据此选择中文转写方案。
研究提出 InterCorrect,一种用于公平 ASR 的人口统计感知模型合并方法:基于 SLAM-ASR 模型仅微调 connector,并将针对特定人群适配的 connector 合并为全局模型,再施加交叉群体特定校正向量。在 Fair-Speech 上,TIES 结合基于 WER 的校正取得最佳整体 WER,从 7.38% 降至 5.13%,但平均 WER 降低并不总意味着子群体差异缩小。
两个 PersonaPlex-7B 实例在共享时钟下进行无脚本语音对话,轮次交替时机相互耦合,但换手明显偏晚:中位间隙为 400-560 ms,远高于人类的 137 ms。人类约十分之一的转移发生在对方话轮最后 120 ms 内,而模型仅占 1%,行为更像是感知到话轮结束后的被动等待,而非人类所需的话轮结束预测。
WorldSonus 是一个面向世界模型的交互式视频转音频框架,实现实时空间立体声合成。其采用流式因果自回归扩散架构,以 0.41 的低实时因子(RTF)合成音频块,并支持生成过程中动态操控声音事件,空间对齐监督来自立体声与 ambisonic 数据。实验显示其在开放域视频转音频基准上匹配或超越 SOTA 双向模型的声学质量与空间对齐。
OvertChat 发布,这是一个自托管的本地 AI 聊天界面,可连接 vLLM、llama.cpp 或 SGLang 等推理服务,也可接入托管提供商。安装器可捆绑 SearXNG 搜索、Kokoro TTS 和 Parakeet STT,配合本地模型无需任何 provider API key;支持家庭多账号共享本地模型、浏览器双向语音对话,搜索在主 provider 失败时可回退到 Firecrawl、Exa、DuckDuckGo 等免 key 方案。另有 Android、iOS 应用和 macOS、Linux 桌面端,并可通过 Host Connector 连接 Codex、Claude Code 等编码智能体,采用 MIT 许可证。
同一新闻,精选展示《OvertChat 开源:自托管的本地模型聊天与编码客户端》
AI-Meeting-Companion-STT 是一款会议语音转写与摘要应用,可实时转写会议音频并在会后生成摘要,支持多语言、自动标点排版,数据默认保留在本地设备。它支持 Windows 10+ 和 macOS Sierra+,要求 4 GB 内存、500 MB 硬盘空间,可从 GitHub Releases 页面下载安装。
一个 4 人训练营结业项目:3-7 岁儿童与吉祥物对话,共同创作一本纸质人偶剧绘本,家长报告只呈现孩子原话与次数、不打分。技术栈为 Kotlin + Compose 应用、FastAPI 代理与 LLM 安全过滤,语音录音留在手机本地、真名在端上脱敏、转写副本即删;背景图用自托管 GPU 生成,单张 3.74 秒,与语音识别同跑时识别慢 3.6 倍。图像模型目前仅测过 SDXL,语音转写用自建基础设施还是外部 API 尚未决定。
brittain9 的 Obsidian 插件 Local Dictation 更名为 Speech Kit,原有安装、设置和快捷键自动迁移。插件在编辑器内集成实时听写、本地音视频文件转写、导入 YouTube 字幕、本地翻译和朗读,可选 LLM 预设对转写结果润色。支持 macOS、Windows 和 Linux,含 Apple silicon Metal 加速与可选 NVIDIA CUDA;听写、转写、翻译和朗读无需账号或 API key,模型装好后可离线使用,媒体不上传。插件开源,可从 Obsidian Community Plugins 安装。
一项 arXiv 研究评估了声学导向与内容导向的攻击 ASV 系统在多语言匿名化语音上的表现,并构建多语言语音转换数据集以提升跨语言泛化。结果显示攻击效果取决于匿名化语音的语言效用,声学导向攻击总体更强;当语言信息保留较好时,两类攻击的性能差距缩小。多语言数据集提升了攻击性能并部分缩小跨语言差距。
开源工具 Pandrator 发布 0.11.0,在浏览器界面中整合有声书生成、字幕校正翻译、配音和录音剪辑,Qt 桌面界面退役,改由 Pandrator Manager 打开,支持 Windows 10/11 与 Linux x86-64。新版按模型提供 745 条语言条目,自动转写优先 Parakeet,字幕编辑支持口播文本与显示文本分离,并新增被动 MCP 工作流,可让 Codex、Claude Code 等现有宿主模型直接完成校正与翻译。本地语音支持 audio.cpp 及 Qwen3 TTS、Kokoro-82M、XTTS v2 等引擎,转写支持 CrispASR 中的 Whisper large-v3 与 Parakeet TDT 0.6B v3,源代码以 MIT License 发布。
推荐理由:这条仓库主页完整列出了 Pandrator 0.11.0 的本地语音引擎、MCP 被动工作流和新版变更,方便评估它是否适合自建有声书与字幕流程。