新闻、仓库与研究，按时间排列。
Kizuna AI Lab 在 GitHub 发布开源实时双向语音翻译应用 Sokuji，提供桌面端与浏览器扩展两种形态，可接入 Zoom、Teams、Meet、Discord 等应用。工具支持 Local Inference 模式，基于 WASM 与 WebGPU 在设备端完成 ASR、翻译和 TTS，无需 API key、不依赖独立 GPU，完全离线；内置 44 个 ASR 模型、75 个翻译模型、137 个 TTS 模型，覆盖 99+ 识别语言、55+ 翻译语言和 53 种语音合成语言。
推荐理由：开源实时双向语音翻译工具，本地推理与多家云服务商可切换，需要跨语言会议又在意隐私的读者可以关注。
这是一个为小公寓打造的数据完全留在本地的语音助手：说"Hey Jarvis"提问，由房间内 Mac 上运行的本地语言模型作答，需要时通过自托管的 SearXNG 搜索网络，还可播放 Spotify 和报天气，音频、转写与模型均不出内网。项目处于 Phase 2 概念验证，Benchmark 第 5 轮中 Gemma 4 26B-A4B preview 得 232/280、Qwen 3.6 35B-A3B preview 得 208，指向在 32 GB 机器上用 26B 或 35B 的 MoE 模型。
toroc07 在 GitHub 发布 ai-jarvis-assistant，一个全本地运行的 Windows 西班牙语语音助手，用 Ollama 跑 qwen3:8b，语音识别、合成和声纹验证都在本地完成，唯一可选外连是用户自配的 Claude API。项目重点在安全设计：所有操作经 guard.py 按 policy.yaml 白名单校验，删除进回收目录，支持 Ctrl+Alt+J 紧急停机且重启后仍保持停止；声纹用 ECAPA-TDNN 支持最多三名用户，两阶段验证。作者还给出实测笔记，如 Qwen3 4B 虽达 14.4 tok/s 但会倾倒内部独白，8B 为 10.7 tok/s，首次工具调用约 9 秒预热，常规件对话约 5 秒首词、带工具 12-16 秒，含 286 项测试。
推荐理由：原文详细公开了权限守卫、策略白名单和紧急停机的设计与实测数据，可迁移到其他本地 Agent 的安全与工程决策。
Cactus Compute 发布面向手机、可穿戴、机器人、智能家居和微控制器的端侧基础模型 Needle 3，整个模型是单个 8-29 MB 二进制文件，权重和各平台引擎已在 Hugging Face 开放。模型基于 Laddered Simple Attention Network，2 到 20 层每档深度都是可部署模型，在移动端工具调用上以牺牲通用对话能力换取超过 10 倍体积模型的表现，并支持结构化抽取、文本嵌入和同容器的语音转写模型 Whistle（16.9 MB，支持 7 种语言）。提供 needle finetune 本地 LoRA 微调与平台微调两种方式，DroidCall 微调使 4 层以上的子网络在 29M 参数起通过 DeepSeek V4 Flash。
推荐理由：Cactus 官方开源了面向微型设备的 Needle 3，并给出与 Whisper、DeepSeek 等模型的基准对比和完整微调部署路径，适合本地部署场景参考。
一项 arXiv 研究通过配对源重建评估音频编码器中保留的信息：用共享的 Stable Audio Open 潜在扩散解码器，从 VGGish、ConvNeXt、CLAP、EnCodec 的冻结表示中重建 5 秒 44.1kHz 立体声音乐。在 Million Song Dataset 上的评测显示不同编码器族可重建性差异明显，接口暴露的时间与频谱结构越细，恢复效果越好；即使是压缩的任务导向嵌入，重建结果仍保留可测的源特异性和高层音乐内容。
论文提出 SimIF-Bench 基准，评测对话模型能否在规定场景内按顺序完成多个目标，发现现有开源全双工语音模型难以遵循此类约束。作者基于 GDPO 训练方法让全双工模型在持续对话中遵循文本指令并保持轮次切换能力，构建出 SteerablePlex。连接异步后端语言模型监控对话后，其作为用户模拟器在多阶段约束上的可靠性超过现有开源模型和 GPT-Realtime。
DiffuPlex 是一个滚动掩码扩散框架，可在单次 backbone 调用中预测多帧未来用户与助手语音，从而减少全双工语音对话模型的逐帧自回归计算。其 DiffuPlex-LISTEN 与 DiffuPlex-SPEAK 分别实现 1.46× 和 1.59× 部署路径实际加速，Core LM 加速达 1.61× 和 1.80×，且所有 backbone 调用均在 80ms 交互间隔内完成。人类评测显示 LISTEN 保持语音自然度与对话质量，SPEAK 对话质量保留但语音自然度有所下降。
研究者提出 EgoVoice，一个用于训练和评估主动式第一人称语音助手的框架，让模型从连续视频与音频流中自主决定何时开口、说什么。该工作基于 HoloAssist 视频构建音频流数据，微调全模态 LLM 并用 DPO 优化主动干预行为。实验显示现有开源与闭源模型很少产生时机恰当的主动干预，而 EgoVoice 在干预时机、内容相关性上均优于零样本基线。
一项 arXiv 研究提出 Speech-Rewarded Style Planning（SRSP），用冻结的下游 TTS 模型训练文本风格规划器，并以目标语音 token 的 teacher-forced likelihood 作为奖励，通过 GRPO 优化。在 ISCSLP 2026 CoT-TTS 语料英语子集上，SRSP 相比 Base LLM 与目标音频描述基线获得更高的语音风格和情感相似度、更低的 mel-cepstral distortion，在上下文恰当性与参考一致性评测上也优于所有基线。
研究人员在端到端语音句法分析中检验中间神经网络单元的作用，提出移除这些单元的更简架构，参数减少 12%，同时在 ASR 和解析任务上达到与先前方法相当或更好的性能。实验发现中间 NN 单元有助于在冻结预训练编码器时缩小表示差距，并在法语以及中低资源语言斯洛文尼亚语和 Naija 上进行了全面评估，还考察了训练数据规模与预训练语音编码器中间层的影响。论文将发表于 Findings of EMNLP 2026。
一项 arXiv 研究首次探索 prosody-to-text 任务，对 Whisper 进行微调，仅使用最低 12 个 Mel bins（约 450Hz 截止的低通滤波）恢复原句，WER 达 36%，其中 10% 的语句被完美还原，40% 的语句 WER 低于或等于 25%。给定正确前缀时，下一个 token 的预测准确率为 79%。结果表明低频语音特征与词汇内容的关联远强于以往认知，未来或可用韵律引导 LLM 的文本生成。
该研究在 Omnilingual ASR wav2vec 2.0 骨干上以 CTC 微调，比较多语言字符、BPE 和基于 Pythen 音节划分的音系感知三类分词器，共进行 40 次微调，在三个德语测试集（域内朗读、方言自发、标准德语自发语音）上评估。域内各分词器在 WER 和 CER 上表现相当；小词表下音节感知分词在方言和自发语音上占优。音素混淆分析显示各分词器错误模式相同，表明错误拓扑主要由声学编码器而非分词器决定。
bio-colab 在 GitHub 开源了面向原版 GTA San Andreas v1.0 US 的具身 AI NPC 同伴系统，可招募任意行人并通过按住 T 的语音或 F6 文本栏实时交互。系统提供程序化人口身份、SQLite 情景记忆、Hitman/Medic/Heavy/Driver/Girlfriend 等动态人格，95% 以上战斗与驾驶反射由 CLEO Redux 本地 opcode 执行（0 API 成本），Groq Cloud 仅用于对话。项目在 i5-8350U 集成显卡笔记本上实测 60 FPS、Python 后端内存约 85-115 MB、CPU 占用低于 2%，采用 MIT 许可证。
推荐理由：项目把95%以上战斗与驾驶反射放在本地opcode执行，云LLM只处理对话，读者可借鉴这套低成本的混合自主架构思路。
开源项目 Talk-To-AI 发布，这是一款 macOS 桌面语音助手，通过全局快捷键（默认 cmd+option+space）即可录音并向 Claude、ChatGPT 或 Gemini 提问，AI 回答以语音朗读。语音转写由本地离线 Whisper 完成（默认模型约 500 MB），Google 作为备份；支持可打断语音、会话历史和菜单栏集成。应用支持 Apple Silicon、macOS 12+，提供 .dmg 下载或源码运行（Python 3.13+），API key 本地存储，Gemini 提供每天 1M tokens 的免费额度。
Artemis 是一个运行在 Windows 上的土耳其语语音桌面助手开源项目，可通过语音命令执行打开文件、创建文件夹、网页搜索、截屏等操作。它采用混合模式，llm_provider 默认 auto 时在 OpenRouter 云端模型与本地 Ollama 间自动选择，语音识别用 faster-whisper，TTS 用免 API 密钥的 Microsoft Edge TTS 并备有本地 Piper。项目内置 39 个工具，每个工具声明 DangerLevel，破坏性操作需 dispatcher 明确确认，另含基于 Playwright 的 MCP 浏览器自动化（默认关闭）和 840 个自动化测试。
开源项目 Urfael 发布，这是一个在用户自己机器上运行的个人 AI 助手，通过已登录的 Claude Code CLI 作为默认模型后端，提供本地语音（whisper.cpp 转写、espeak-ng 或 macOS say 朗读）、桌面控制台、TUI、可选 Web 仪表盘和 OpenAI 兼容 API。记忆基于 Obsidian vault 和本地 git 仓库，用 BM25 搜索与可选本地嵌入实现跨会话检索；urfael code 提供按项目上下文和工作树检查点，urfael rewind 可恢复。
推荐理由：原文详细列出了安全边界、已测与未测范围和成本结构，读者可据此评估这个本地个人 AI 助手是否适合自己部署。
GitHub 上的 EMILY 是一款语音优先的桌面 AI 智能体，用户无需鼠标键盘即可用语音浏览网页、管理文件、设置提醒并描述屏幕内容。软件在本地运行，语音数据不上传外部服务器，核心语音识别和 AI 任务可离线使用，内置超过 20 个语音触发工具。它支持 Windows 10/11，需 8 GB 内存（推荐 16 GB）和 2 GB 存储空间，可通过 GitHub Releases 页面下载 .exe 安装包。
学士论文项目 VEMO 开源，这是一款基于 Flutter 与 FastAPI 的 AI 语音日记应用，可识别语音和文本中的愤怒、快乐、悲伤、中性四种情绪并生成共情回复。系统使用 Whisper Large V3 做语音转文字（WER 为 34.28%），语音情绪模型结合 Wav2Vec2 与逻辑回归达到 74% 准确率，文本情绪模型达到 88% 准确率，训练约使用 10,000 条语音和 8,000 条文本样本，并按日、周、月分析情绪变化趋势。
kick-tts 是一个面向 anildev Kick 直播的土耳其语文本转语音项目，将 Kick 礼物、频道奖励兑换和 !tts 聊天命令转为语音，在 OBS 浏览器源叠加层播放并显示 "🔊 TTS · user: caption" 标签。整条流水线运行在单个 FastAPI 进程中：RSA 校验的 Kick webhook 进入内存优先队列，Reader 用 LLM（可回退规则）后由 CPU 上的 EMA Lightning 引擎合成。项目提供 /speak、/skip、/pause 等 REST 端点、Prometheus 指标，并内置 fake 引擎与 fake reader，无需 GPU、模型权重或 API key 即可本地运行（Python 3.11+）。
FynnXland 在 GitHub 发布开源本地语音听写工具 Fleech，按住 F9 说话后由 Whisper 和 Ollama 上的 gemma3:4b 在本地完成转写与文本清理，音频不出本机。工具支持德语和英语听写、语音指令、按应用配置的档案、口述公式转 LaTeX 和历史记录，MIT 协议开源，界面目前为德语、英文界面在计划中。
推荐理由：原文讲清了本地语音听写的完整链路与质量控制机制，读者可以据此评估是否在自己电脑上复用这套方案。
GitHub 开源项目 Audio_tracker 完成 AI 会议助手的 Stage 1 语音转文字，基于 faster-whisper==1.1.1 与 ctranslate2==4.4.0，默认使用 large-v3 模型、beam_size=5 并开启 VAD。STT 包返回含 text、segments 等固定六个键的结构化结果，同时写出原始转录文件，并通过 backend/transcribe.py 适配现有 FastAPI 后端的 Stage 2 流程。项目提供 CLI 与 Python API，包含单元、GPU 冒烟及慢速集成测试。
GitHub 上的 J.A.R.V.I.S. 是一个进行中的研究工程项目，目标是构建可通过语音、文本、文件、应用和外部服务交互的持久化跨设备 AI 智能体计算平台。其 V1.0 用 Google 语音识别转录输入，发送至本地 Ollama 模型（llama3.2:3b），经 Microsoft Edge TTS 以英式语音回复，并支持会话内滚动记忆和 "exit"、"shutdown"、"forget everything" 等语音命令。
该仓库实现了一套多模态口语语法自动评分引擎，融合声学特征、Whisper Int8 逐字转写与 Gemini LLM Judge（J-Eval）评分，通过 5-Fold Ridge + LightGBM 集成预测 0.0–5.0 的 MOS 语法分。训练 RMSE 为 0.6367，5 折交叉验证 Pearson r 为 0.7572，Kaggle 公开榜单得分 0.6077，最终输出 216 条测试预测的 submission.csv。
/u/Delicious-Farmer-234 在 r/LocalLLaMA 开源了一个 OpenAI 兼容 API 的 TTS 服务器 open-omnivoice-tts，在 RTX 3080 上生成一句话约 0.3 秒，支持用短参考音频克隆声音。服务器针对快速启动做了优化，可按段落顺序处理长文本，默认参数已调优，CFG 等设置可自行修改；作者用它把课本转成自己的声音朗读的有声书。仓库地址 https://github.com/hypersniper05/open-omnivoice-tts，试听页面 https://hypersniper05.github.io/open-omnivoice-tts/
GitHub 上的 motionstory 仓库是一个叙事健身系统的 toy v0 原型，核心机制是"身体驱动故事"：GPS 跟踪行走距离，在 0 m、333 m、666 m、1000 m 里程碑触发四段场景音频。Toy v1 "Glimt Live" 加入名为 Vega 的角色，其声音清晰度取决于接触度——移动提升接触、静止降低，完全静止时声音变得沉闷遥远。引擎基于 Web Audio 与 open-meteo、Overpass/OSM 数据，附带 node 脚本模拟测试与 Playwright 浏览器测试。
Earheart 是一款开源本地听写工具，按全局快捷键（默认 Ctrl/Cmd+Shift+Space）说话即可把清理后的文本粘贴到当前聚焦的应用，无需集成即可用于 Claude Code、Codex、Cursor 等。语音用 NVIDIA Parakeet TDT 0.6B v3 在本机转写，Qwen3 4B Instruct 2507 在本机去除口头填充词和false starts，默认完全本地、无遥测和账号，也支持指向任意 OpenAI 兼容的转写或清理端点。支持 Windows、macOS（Apple Silicon）和 Linux，提供实时转写悬浮条、技术名词词典、暂停续录、本地历史和自动更新，MIT 协议开源。
推荐理由：这是一个开源语音听写工具，语音识别和文本清理都默认在本机运行，适合关心隐私又想用语音给编码智能体写长提示词的人。
GitHub 开源项目 interview-assistant 基于 interview-coder-cn 二次开发，面向口语面试与在线考试场景，通过百炼 ASR 实时转录系统音频，并自动生成流式口语回答。它内置 ELLT 口语和技术面试两套可配置阶段预设，支持截图内容识别、自动语音模式和命令模式，窗口对屏幕分享软件隐身。语音转录使用 Fun-ASR 模型，约 0.02 元/分钟，新用户有 10 小时免费额度，项目采用 CC BY-NC 4.0 协议，禁止商用。
开发者 Ahmed69450 在 GitHub 发布完全本地化、100% Kotlin 编写的车载语音助手 v1.0.0 APK，专为 BYD DiLink 车机（Android 10+）设计。它采用 Vosk 离线两阶段唤醒词引擎，支持控制空调、车窗、天窗和音量，并内置兼容 MCP 标准的 JSON-RPC 2.0 客户端，提供 WebSearchTool 联网搜索和 ScreenAwarenessTool 屏幕感知等工具，以及基于 Room Database 的轻量 RAG 长期记忆。项目还支持从车机存储中直接选择 .gguf 模型文件，并可搭配 Piper TTS 朗读。
GitHub 用户 Rishabh775 开源了 Optimus（jarvis），一个本地优先的个人 AI 助手，在 Ollama（本地）与云端模型间混合路由，默认云端为 longcat-2.5-preview-free，代码任务路由到 Kimi K2.7 Code，失败时回退到 mimo-v2.6-flash（$0.14/$0.28 per 1M tokens）。语音链路为 faster-whisper STT、openWakeWord 唤醒词（误触发率约 0.1%）和 edge-tts，内置 23 个工具覆盖记忆、shell、文件、网页、邮件、日历和 Home Assistant，每轮工具调用上限 12 次，并提供破坏性命令黑名单与确认门等安全防护。项目采用 MIT 许可证。
推荐理由：仓库完整给出了语音管线、混合路由、唤醒词训练和安全防护的具体实现，想自建本地语音助手可以直接复用这套做法。
GitHub 开源项目 lore 是一个语音驱动的 D&D 城主（Dungeon Master）系统，玩家通过 Deepgram 的语音转文字和文字转语音与其交互，由 LLM 运行游戏。游戏状态存于 PostgreSQL 18，世界背景知识存于 Qdrant 1.19 向量数据库，嵌入由 Ollama 运行的 nomic-embed-text 生成（768 维）。项目通过 Helm chart 部署到 Kubernetes 的 lore 命名空间，镜像支持 amd64/arm64，可跑在小节点（如 Raspberry Pis）上，目前尚无备份方案且未暴露 ingress。
一位 Reddit / LocalLLaMA 用户想在 RTX 3060 12GB 显卡上本地转写通过 Discord 进行的意大利语 D&D 游戏语音，且已有说话人分离的音频。他在 Whisper 和 Gemma e4b 之间犹豫，询问当前最佳转写模型选择。
audio.cpp 项目方宣布一系列运行时优化：Higgs Audio TTS 峰值显存降低 48%，约 6GB 即可运行；HTDemucs 在 CUDA 上提速 2.21 倍，PocketTTS 在 CPU 上提速 2.23 倍。其余优化包括 ACE-Step、MOSS-TTS v1.5、Qwen3-TTS、IndexTTS2/2.5 等模型的显存与速度改进，并称未损失一致性。WebUI 新增实验性生成历史功能，项目现已支持 110+ 音频模型家族和 190+ 变体，覆盖 CUDA、Vulkan、Metal、AMD/HIP 和 CPU，同时公开招募前端贡献者。
jason-zzx 在 GitHub 发布 Hikaru Sub，一款将视频获取、本地日语语音转录、LLM 翻译、字幕校对与成片输出串成一条工作流的桌面应用，当前仅提供 Windows 版 NSIS 安装包和 portable zip。转录通过独立 Native worker 在 CPU 或 CUDA 上运行 Faster-Whisper 系列、Kotoba Whisper v2.0、Qwen3-ASR 1.7B + ForcedAligner 0.6B、日语 Parakeet 或 ReazonSpeech NeMo v2 生成 ASS 字幕；翻译调用用户配置的 AI 提供商接口，支持上下文窗口、自定义提示词和术语表；输出硬字幕 MP4 或软字幕 MKV。
推荐理由：原文完整交代了从下载、本地日语转录到双语字幕压制的工作流与模型选项，读者可以据此评估是否适合自建日语字幕流水线。
Neuphonic 团队以 Apache 2.0 协议开源 NeuDecide，该模型直接从音频和工具定义生成工具调用及参数，无需中间转写步骤，模型文件共 43 MB，可在单 CPU 线程推理。在 SLURP 工具任务（10 个工具）上达到 72.4% 工具准确率，约为 Nvidia Parakeet + Google FunctionGemma（24.4%）的 3 倍和 Cactus（Whistle + Needle，20.7%）的 3.5 倍；MacBook Pro M3 上 time to call 46 ms，Raspberry Pi 5 上 206 ms。
这是一个开源的 outbound-voice-agent 外呼语音智能体仓库，包含 voice_agent 源码目录、patients 数据目录、docs 文档、scripts 脚本与 tests 测试，并提供 .env.example 环境变量模板，基于 Python 项目配置（pyproject.toml）管理。
GitHub 开源项目 LocalVoiceStudio 是一款在 Windows 本地运行的文字转语音（TTS）配音工具，免费且无需联网和 API key，文本与音频不会离开本机。它支持多语言、多神经语音、风格预设及音调、语速、音量调节，可浏览器内即时预览并自动保存本地历史。配音可导出为 MP3、WAV、AAC 格式，推荐配置为 Windows 10/11、4 GB 以上内存和 500 MB 磁盘空间。
MadonnaRivers 在 GitHub 上开源了语音机器人项目 collection_voicebot，包含 STT、TTS、LLM 编排、呼叫处理、降噪和分类器等模块，配有 install.sh 安装脚本、nginx 配置示例及多组测试用例，其中含印地语意图测试。
akirilyuk 在 GitHub 开源 node-webrtc-rust，一套用于构建实时语音 Agent 的原生 WebRTC 栈，支持电话机器人、浏览器语音助手和多租户 worker pod。Node 负责业务逻辑与 LLM 调用，Rust 处理音频时序、VAD、barge-in 和 TTS 播放，无需单独的 SFU 集群；SDK 经 npm 安装，预置 Deepgram、OpenAI、ElevenLabs 等厂商适配及免 API key 的本地 Sherpa STT/TTS，支持 48 kHz 16-bit PCM 20 ms 帧、会话中途切换 STT/TTS、Sherpa 语言识别和 OpenTelemetry 延迟指标。
推荐理由：为 Node.js 实时语音智能体提供一套自带的 WebRTC 与 Rust 媒体时序方案，读者可对比独立 SFU 架构评估进程内部署思路。
开发者 e2sy 在 GitHub 发布开源语音助手 NOVA，支持唤醒词、离线 Whisper 语音识别与 TTS，可通过 Ollama + Qwen 2.5 本地 LLM 对话并执行打开应用、截图、音量、文件等 70 多种内置技能。日常命令走正则快路径零 LLM 延迟，破坏性操作需确认并有硬性黑名单，提供 Windows、macOS、Linux 二进制与 5 行代码扩展技能的教程。
开源项目 Fish_Audio_Combine_LLM 将 Gemini LLM 流式输出与 Fish Audio 云端 TTS 串成语音流水线，实时测量 LLM TTFT、TTS TTFA、E2E Latency、音频时长和 RTF。项目提供 Web 界面，支持越南语和英语输入、预设情感语音测试（兴奋、悲伤、愤怒、耳语、戏剧化）及 gemini-2.5-flash、gemini-1.5-flash、gemini-1.5-pro 等模型切换，并保存历史运行结果供对比。