跳到正文
10月16日周五
  1. GitHub · 3D 生成新仓库21

    BMO:专有 AI 聊天应用与智能体工作区开源仓库发布

    BMO 是一个专有 AI 聊天应用与智能体工作区,通过 Server-Sent Events 逐 token 流式输出,支持 Markdown、代码块、KaTeX 数学公式渲染、图像生成、文档解析与语音交互。模型路由可在 Mistral AI 驱动的 Stanza 2.5、Nexos 3.0 深度推理和 Iris 1.0 图像生成间切换;后端为 Flask 网关,验证 Supabase JWT 并将推理路由至 NVIDIA 端点,前端使用无构建工具的原生 ES modules。

  2. Reddit · r/CharacterAI12

    现在有类似 Character.AI 语音功能的应用吗?

    一位 Character.AI 用户发帖询问,是否有其他应用提供类似 Character.AI 的角色语音功能。该用户喜欢在对话中收听虚构角色的语音以增强沉浸感,希望找到可指定语音的替代产品,并质疑 Character.AI 在这方面是否独一无二。帖子未给出任何答案或产品推荐。

10月15日周四
  1. Reddit · r/LocalLLaMA61

    TYGER 开放权重:单一模型同时做 ASR 与全双工轮次控制

    nineninesix 开放 TYGER 权重,单一模型同时处理 ASR 与全双工轮次控制,能识别说完、被打断和附和的 mm-hm。中位端点延迟 250 ms、80 ms 帧、无 lookahead;配套语音 Agent tyger-s2s 由 TYGER + Gemma 4 E4B + VoxCPM2 组成,单张 32 GB GPU 最多支持 4 路对话,目前仅支持英语。权重在 https://huggingface.co/nineninesix/tyger,代码在 https://github.com/nineninesix-ai/tyger-s2s。

    推荐理由:作者给出端点延迟、帧长和单卡并发数等具体指标,可据此评估这套语音方案在本地部署的可行性。

  2. GitHub · 灵魂体仓库57

    TVIC 1.2.0 发布:面向实时语音 Agent 的 provider 无关 TypeScript 运行时

    TVIC 1.2.0 在 GitHub 开源,是一个 provider 无关的 TypeScript 实时语音 Agent 运行时,npm 包为 voice-runtime。它负责级联语音管线(媒体、流式 STT、对话策略、LLM/工具、流式 TTS),将转写终结与端点检测、生成取消与队列清空、音频已发送与被听到等语义区分开,支持打断、增量 TTS、工具校验与重试,适配 Twilio、Deepgram、Groq、OpenAI、Cartesia、ElevenLabs、Sarvam 等厂商,并提供浏览器 voice-mode 示例与 Claude Code/Codex 技能安装。当前唯一可执行拓扑为级联,原生 realtime 与外呼仍在产品规划中,许可证为 Apache-2.0。

  3. GitHub · 3D 生成新仓库57

    ComfyUI-RH-Drama-3 插件发布:本地运行 Fish Audio Drama 3 语音生成

    RH-RunningHub 发布 ComfyUI-RH-Drama-3 插件,在 ComfyUI 内本地运行 Fish Audio Drama 3 语音生成,非官方 Fish Audio 版本。插件内置 Fish Speech 推理模块,不启动 SGLang 或调用 HTTP API;在 24 GB RTX 4090 D 上用官方权重完成基础工作流,生成 5.67 秒单声道音频,冷请求约 133 秒。模型权重约 41.5 GB,官方 FP8 全量部署需至少 48 GB 显存,插件提供有界专家缓存以支持更小显存的 GPU;推理仅支持 NVIDIA CUDA,需 Python 3.12 与 PyTorch 2.8 以上。

  4. arXiv · cs.CL57

    MultiPartyTurnBench:评测多方语音对话中话轮控制的基准发布

    作者发布 MultiPartyTurnBench(MPTB),包含 240 段合成、信道分离的 2 至 5 人对话和六种交互类型,评测话轮结束(EOT)检测与打断(INT)检测两项任务。基线模型 EOT 召回率达 82.5-92.6%,但五个全双工智能体在选择性打断处理上接近随机水平(46.9-54.7%),Gemini-3.8-Live 对 97.7% 的附和信号让出话轮,MiniCPM-o-4.5 仅响应 1.4% 的真实打断。论文指出选择性话轮控制仍是多方语音交互的未解难题。

    推荐理由:基准把真实话轮转换与易混淆的非事件分开评测,并给出五个全双工智能体在选择性打断上的具体短板数据。

  5. arXiv · cs.CL33

    AFFIRM:修复文本更新后语音模型知识访问的冻结仿射场方法

    论文提出 AFFIRM(Affine Fields for Interface Repair across Modalities),在知识检查点冻结的前提下,通过先学习并冻结基础修正、再叠加查询级修正的可拆卸算子,单次前向修复语音访问。在 PopQA 平衡合成语音上与 SALSA、低秩 ReFT 相比未显出明确优势;在 SLUE-SQA-5 录音问题上,PopQA 拟合的 AFFIRM 算子免重训迁移,ROUGE-L 较 No Repair 基线提升 0.0941。

  6. arXiv · cs.CL34

    Anuvani-Diarization:跨 22 种语言的零样本说话人日志与标注规范研究

    Anuvani-Diarization 在 IndicDiarBench 上覆盖印度 22 种官方语言的零样本说话人日志任务,通过不确定性感知的 silver 监督适配自监督端到端分割模型。在 1,164 条录音上 duration weighted DER 达 16.78%,为所测系统最低,仅次于已发表最佳结果 16.0%,并在 22 种语言中的 14 种领先三个最强对手。研究还发现 utterance 级标注规范这一隐藏变量影响 1.9 至 4.1 个 DER 点。

  7. GitHub · 3D 生成新仓库19

    HMCTS 开源 transcribe-api:合并两套转写后端服务

    HMCTS 在 GitHub 发布 transcribe-api,将 batch-audio-transcription 与 courtstranscribe 两个上游服务合并为单一转写后端,上游代码按指定 commit 导入且不就地修改。API 保留原有接口:/api/v1/* 提供 13 条录音路径,/api/* 与 /api/admin/* 分别提供 32 条和 14 条听写路径。模块按 domain、capabilities 分层并保持单向依赖,后台 poller 需以 RUN_WORKERS=true 或独立 worker 进程运行;两套 Alembic 迁移历史与 settings 模块尚未合并。

  8. Reddit · r/LocalLLaMA31

    Qwen3.8-Flash-Next 能否打破 ESP32 语音助手“8B 太笨、70B 太慢”的困局?

    Reddit r/LocalLLaMA 用户讨论用 Qwen3.8-Flash-Next(125B 总参数、每 token 激活 6B、128k 上下文)经 Strata 跑在 12GB VRAM + 64GB RAM 上,作为 ESP32 语音助手本地大脑,实测 44-65 tok/s,提供 OpenAI 兼容端点。该模型为预览版、刻意欠训练,基准分数来自 FP8 而非适配 12GB 的 Q2/IQ3 量化,且需 64GB 系统内存。发帖者询问是否有人实测过 125B 级 MoE 语音助手的端到端延迟。

  9. Reddit · r/LocalLLaMA40

    开源配音工具 OmniVoice + Whisper:保留演员原声、全本地运行,需 6 GB+ NVIDIA 显卡

    Reddit 用户 _swax_ 发布了一个开源配音项目,可为未翻译成英语的影视内容配音并保留每位演员的原声。工具链完全本地运行,包括 OmniVoice、IndexTTS、Chatterbox 和 Whisper,需 6 GB 以上 NVIDIA 显卡;克隆仓库后可让本地或非本地模型指挥配音流程,仓库内含全部脚本与指引,且模型会被指示改进自身脚本,作者欢迎社区提交改进。

10月14日周三
  1. GitHub · 去对齐工具与仓库50

    ReisJuliano 开源 Android 语音助手 Nexo:动画表情、语音唤醒与 webhook 控制

    ReisJuliano 开源的 Android 语音助手(默认名 Nexo)以实时弹簧物理绘制的动画脸(60 fps、10 种情绪)为核心,支持离线语音唤醒、web 搜索、天气、记忆与提醒。大脑兼容任意 OpenAI 端点,默认走 CLIProxyAPI(ChatGPT OAuth 登录,也可用 Gemini 和 Claude),TTS 支持系统语音、gpt-4o-mini-tts、Kokoro 或 ElevenLabs。所有功能可通过本地 REST + SSE API(端口 8765)配置,webhook 可将自定义操作接入 Home Assistant、Node-RED、n8n 等工具。

  2. arXiv · cs.CL28

    语音基础模型中基于语言选择性维度的语码转换检测方法

    一项提交至 ICASSP 2027 的研究提出直接从语音中检测语码转换(CS)的轻量方法:利用单语录音识别预训练语音编码器中的语言选择性隐层维度,并聚合其帧级激活做出预测。在 CS-FLEURS 的 14 个语言对上,Whisper-small 编码器平均 F1 达 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751,可用于筛选多语训练语料。

  3. arXiv · cs.AI33

    熟知声音克隆与人格迁移在虚拟角色设计中的局限

    一项发表于 arXiv 的研究通过两项实验检验熟悉声音的克隆语音是否会将人格印象迁移到虚拟角色上:实验 1 在真实大学场景使用学生熟悉的讲师克隆声音,实验 2 在线上使用社交媒体创作者的声音。结果显示人格迁移证据有限,效应具有选择性且不跨特质或情境泛化,线上实验中声音线索仅激活对说话者的预期而未重建整体人格印象,缓和了克隆声音会直接操纵用户将虚拟角色视为社会行动者的担忧。

  4. GitHub · 3D 生成新仓库38

    Zundanen:本地运行的芬兰语 TTS 与 RVC 语音转换工具发布

    Zundanen 是一款在 Windows 本地运行的芬兰语语音应用,无需联网和订阅即可完成文本转语音(TTS)与 RVC v2 语音转换。支持批量生成、音高/语速/重音等口音编辑,用 5-15 分钟音频样本即可训练自定义声音模型,训练约需 15-30 分钟。软件完全免费,音频数据不出本机,需 Windows 10/11 64 位、8 GB 内存和 2 GB VRAM 的 GPU。

  5. arXiv · cs.CL31

    PACT:面向表达力与音色保留的语音到语音翻译实用提示词框架

    arXiv 论文提出 PACT,一种面向目标空间的提示词框架,用于保留语音者身份与情感、语调、节奏等语用信息的语音到语音翻译。该框架从源语音提取语用线索,投影到目标语言表达空间并校准后,转化为连续提示词驱动冻结的语音生成器。在双向西班牙语-英语 TOPI 评测中,PACT 在内容保真、音色保留与表达保留指标上综合表现最佳。

  6. arXiv · cs.CL18

    如何从语音信号直接估计 surprisal:一种基于重要性采样的方法

    一项 arXiv cs.CL 研究提出用语音 LM 直接从语音信号估计 surprisal,摆脱依赖文本转录的瓶颈。该工作引入重要性采样估计器,通过 TTS 模型对抽象语言单元的多种声学实现边缘化,在瞳孔测量听感实验中,发现该方法比逐实现估计更准确预测瞳孔扩张,亚词汇单元的 surprisal 也有预测力;但整体上 surprisal 对瞳孔变化的预测力不强。

  7. GitHub · 去对齐工具与仓库66

    RunAnywhere 开源跨平台端侧 AI SDK,单核心覆盖 LLM、语音与图像生成

    RunAnywhereAI 开源 runanywhere-sdks,一套 C++ 核心加八个 SDK(Swift、Kotlin、Flutter、React Native、Web、Electron、Python、wally CLI),在手机、浏览器、桌面和服务器上本地运行 LLM、VLM、语音、RAG、嵌入和 Stable Diffusion 图像生成,默认离线。

    推荐理由:用一套 C++ 核心和八种语言 SDK 把 LLM、语音、视觉与图像生成统一到本地推理,还给出 Snapdragon NPU 上的实测吞吐数据。

10月13日周二
  1. Reddit · r/LocalLLaMA42

    Lipwise:内置 LLM 处理的智能语音听写应用发布

    开发者发布语音听写应用 Lipwise,覆盖 Windows、macOS 和 Linux,语音识别通过 transcribe.cpp (ggml) 完全本地运行,并提供 Parakeet、Whisper 等 69 个模型可选。转写文本会经本地 Qwen3.5 4B 或 9B 模型处理,支持纠错、口语标点、改写指令,也可对接 Claude、OpenAI 或 Ollama 等兼容 API。应用基于 Rust 和 Tauri,安装包约 5 MB,MIT 许可、无账号无遥测。

  2. GitHub · 3D 生成新仓库50

    SemBridge 开源:语义 token 锚定的连续潜变量自回归语音生成模型

    ASLP-lab 发布 SemBridge,通过共享语义 tokenizer 同时锚定声学潜变量与自回归语言模型状态,统一支持 TTS、按音符条件的歌声合成及语音与歌唱混合生成。2026 年 10 月已公开推理代码与模型检查点,代码采用 Apache-2.0 许可,输出为 44.1 kHz 单声道 WAV,默认 --max-patches 500 限制生成约 40 秒。

  3. GitHub · 去对齐工具与仓库42

    VidLens-YouTube-Summarizer:用 Qwen / Paraformer 生成中文 YouTube 视频总结的开源工具

    开源工具 VidLens-YouTube-Summarizer 支持粘贴 YouTube 链接后自动提取字幕、音频与画面,并调用阿里云百炼的 qwen-plus、qwen-vl-max 和 paraformer-realtime-v2 生成结构化中文总结。工具采用字幕优先的降级链、按文本密度(阈值 1.2 字/秒)自动触发视觉识别,长音频切段并发识别可将 38 分钟音频的处理从约 10 分钟压到约 2 分钟。提供 Gradio 网页界面与 CLI,结果可一键打包下载,仅在 Windows + 国内网络环境完整验证。

  4. GitHub · 去对齐工具与仓库31

    CI130X SDK LLM AIOT V3.0.13 发布(启英泰伦 chipintelli)

    启英泰伦(chipintelli)发布 CI130X_SDK_LLM_AIOT_V3.0.13,这是面向 CI130X 系列芯片的 SDK,包含 driver、libs、projects 示例工程及固件构建升级工具。官方预编译算法库由 Nuclei GCC 9.2.0 生成,若使用 GCC 10.2.0 链接 LTO 算法库会报错,需换用同版本工具链后在 PowerShell 执行 make 构建示例工程 offline_asr_llm_aiot_iis_sample。版权归 chipintelli 所有。

  5. GitHub · 去对齐工具与仓库56

    DictAI:macOS 本地语音听写工具发布,Whisper 转写加自动粘贴

    开发者 AK 在 XD.AI 发布 DictAI,一款 macOS 菜单栏语音听写工具,按住热键说话后由本地 Whisper 转写并自动粘贴到光标处,音频不出设备。支持 Metal 加速、剪贴板历史、Zoom/Teams/Meet 通话实时转写并输出 Markdown,可用 Ollama(默认 qwen2.5:3b)或 Claude/OpenAI API key 做文本清理。需 macOS 26.1 及以上、Apple Silicon,DMG 已签名公证,源码与构建脚本在 GitHub 开放。

  6. GitHub · 3D 生成新仓库21

    awesome-audio-generation:AI 音频生成工具资源合集仓库

    GitHub 仓库 awesome-audio-generation 汇总了各类 AI 音频生成工具与服务,涵盖文字转语音(TTS)、语音克隆、音乐生成、声音设计和语音合成 API 等,包含商业服务与开源工具,多数工具无需编程基础即可使用。仓库还提供 Windows 10 及以上系统下的下载安装步骤与常见问题排查指引。

  7. Reddit · r/LocalLLaMA18

    构建阿尔及利亚语音 Agent:如何微调适配阿尔及利亚 Darija 方言的语音模型

    一位开发者计划为阿尔及利亚构建电话语音 Agent,因现有模型对阿尔及利亚 Darija 支持不佳,想用真实通话录音微调自己的语音转文字和文字转语音模型。其寻求四方面指导:选择可商用许可的模型、微调 vs LoRA 及所需硬件、数据量与格式要求,以及如何处理东西部、首都和南部不同口音及法语、柏柏尔语混杂,是否需要按地区均衡数据。

  8. GitHub · 3D 生成新仓库35

    SANZO 音乐创作网站开源仓库发布,集成 ACE-Step、MiniMax Music 与 YUE2

    SANZO 是一个开源的音乐创作、语音生成和歌曲再创作网站,通过 DeepSeek 辅助创作,经 RunningHub 调用音频与封面工作流。已接入 Songs 功能的 ACE-Step-V15-XL、MiniMax Music 和 YUE2,支持 AI 写词、ABC 乐谱生成、Qwen 音色克隆、Studio 翻唱及 SeedVC 零样本变声,本地运行需 Node.js 22 及以上并配置 DeepSeek 与 RunningHub API 密钥。

  9. GitHub · 灵魂体仓库44

    Dashie for Home Assistant:语音助手与家庭仪表盘项目在 GitHub 发布

    GitHub 上的 Dashie 是面向 Home Assistant 的家庭语音助手与墙面仪表盘项目:语音插件支持 HA Voice PE、ESPHome 卫星等 Assist 设备,可理解"关掉楼下所有的灯、除了门廊灯"这类指令,且无屏幕、无需账号也能使用。插件为 AGPL-3.0,可完全自托管,本地模式下数据不出网络、免费;可选云端按用量计费。仪表盘需另行安装 Android/Fire TV 应用,提供日历、照片、天气和摄像头画面,支持 hey_dashie 等 microWakeWord 唤醒词。

  10. Reddit · r/LocalLLaMA42

    用 DeepMind 的 AlphaGenome 和浏览器内 WebGPU 运行的 MedGemma 1.5 4B 探索 DNA

    教育工具 AskCyph Health Explorer 通过双模型架构解析单字母 DNA 突变如何致病、改变 3D 解剖与遗传概率:调用 Google DeepMind 的 AlphaGenome API 预测调控变异效应和剪接破坏,MedGemma 1.5 4B 经 WebGPU 与 ONNX Runtime Web 100% 在本地浏览器内运行做隐私解释器。变异细节、OMIM ID 与药物审批来自 NCBI ClinVar、openFDA 和 ClinicalTrials.gov 注入提示词;权重约 2.8 GB 压缩存储、本地缓存,无需登录、免费。

  11. GitHub · 去对齐工具与仓库42

    SprachAnker:自托管语言学习工具,围绕真实课程提供 AI 练习与间隔复习

    GitHub 上的开源项目 SprachAnker 是一个自托管语言学习工具,可下载 Deutsche Welle 的 Nicos Weg(德语 A1–B1)、BAMF 的 Leben in Deutschland、Goethe-Zertifikat A1 等真实课程,在本地统一学习:课程练习即时批改、基于 FSRS 的间隔复习卡片、whisper.cpp 语音识别检查口语,并可接入 LM Studio、OpenRouter、OpenAI、Anthropic、Google Gemini 等模型生成读写说练习。数据全部保存在本地,无账号无遥测,手机可通过 Tailscale 访问。

  12. GitHub · 去对齐工具与仓库62

    nab 发布:单二进制网页抓取、本地语音识别与 URL 监控 MCP 工具

    MikkoParkkola 发布 nab,一个单 Rust 二进制的 MCP 服务器,提供三类功能:将任意 URL 抓取为面向 LLM 上下文窗口的干净 markdown、本地多语言 ASR 转写与说话人分离、URL 变更订阅推送。ASR 默认用 FluidAudio 的 Parakeet TDT v3 跑在 Apple Neural Engine 上,2 小时音频实现 131 倍实时,支持 25 种欧盟语言,可选 Qwen3-ASR 处理 zh/ja/ko/vi;默认无 API key、全部本地运行。

10月12日周一
  1. GitHub · 3D 生成新仓库65

    Tether 开源 QVAC 本地 AI SDK 与模型服务工具

    Tether 在 GitHub 发布 QVAC,一套本地优先 AI 开发工具,支持在 Linux、macOS、Windows、Android 和 iOS 上运行 LLM、语音、视觉和图像/视频生成等负载。提供 JavaScript/TypeScript 与 Python SDK,内置 HTTP 服务器以 OpenAI 兼容 API 供 OpenCode、OpenClaw 等工具调用,快速示例使用 LLAMA_3_2_1B_INST_Q4_0 模型;能力表覆盖 RAG、LoRA 微调、Whisper 转写、TTS、OCR、VLA 等,并支持 P2P 模型分发和 NAT 穿透中继。

    推荐理由:Tether 官方仓库文档,覆盖 JS/TS 与 Python SDK 和 OpenAI 兼容本地服务的完整接入方式,适合评估本地优先 AI 应用方案。

  2. GitHub · 去对齐工具与仓库42

    minimax-skills:将 MiniMax 开放平台的语音、图片、视频、音乐功能封装为 4 个 Claude Code / OpenClaw 技能

    justl9169 在 GitHub 开源 minimax-skills,将 MiniMax 开放平台能力封装为 4 个技能:minimax-speech(语音合成、克隆、设计)、minimax-image(文生图、图生图)、minimax-video(视频生成,默认 5 秒 720P MP4)和 minimax-music(音乐与歌词生成)。技能支持配置 MINIMAX_API_KEY 与国内/国际区域,可复制到 ~/.claude/skills/ 或 ~/.openclaw/skills/ 后通过 /minimax-speech 等命令调用。

  3. GitHub · 灵魂体仓库39

    Welfog 定制 AI 语音呼叫代理:基于 Gemini Live 与 FastAPI 的实时电话呼叫系统

    Welfog Internet 开源了一套生产级实时 AI 语音呼叫服务器,通过 TeleCMI/PIOPIY 接通真实电话,并以 WebSocket 双向流式对接 Google Gemini Multimodal Live API(默认模型 gemini-2.0-flash-exp,语音 Aoede)。系统支持客户鉴权后的订单追踪、退款查询,并接入 Qdrant RAG 知识库检索退货政策与 FAQ,附带 20 项自动化单元与集成测试。

  4. GitHub · 3D 生成新仓库33

    MuseBot 开源:一分钟把 Telegram、飞书、微信等聊天应用接入 LLM

    开源项目 MuseBot 将 Telegram、Discord、Slack、飞书、钉钉、企业微信、QQ、微信等聊天平台接入 LLM API,支持 Gemini、ChatGPT、Doubao、Qwen、DeepSeek、302.AI、OpenRouter、OrcaRouter 等模型。功能包括流式输出、图片识别、语音交互、把 MCP 协议转为 function call、Skills 加载、RAG、Cron 定时触发和 Metrics 监控,可通过本地运行或 Docker 部署。