开源语音应用平台 Vocode:基于 LLM 快速构建语音应用
Vocode 是一个开源平台,帮助开发者基于大语言模型(LLM)快速构建和部署语音应用,支持 API 集成、可定制化和语音输入输出的实时处理,后端主要使用 Python,采用 MIT License,可用于个人和商业项目。典型应用包括语音助手、语音交互游戏和无障碍辅助工具,开发者可通过 GitHub 仓库安装,并加入 Discord 社区获取支持。
新闻、仓库与研究,按时间排列。
Vocode 是一个开源平台,帮助开发者基于大语言模型(LLM)快速构建和部署语音应用,支持 API 集成、可定制化和语音输入输出的实时处理,后端主要使用 Python,采用 MIT License,可用于个人和商业项目。典型应用包括语音助手、语音交互游戏和无障碍辅助工具,开发者可通过 GitHub 仓库安装,并加入 Discord 社区获取支持。
开源项目 Llama 提供一个直接在浏览器中运行的 AI 聊天机器人,无需安装,打开浏览器即可对话。项目基于 JavaScript 和 WebAssembly 构建,支持多种自定义角色,仓库涉及 gguf、llama 等模型相关主题。软件采用 MIT License 开源,最新版本可在 GitHub Releases 下载。
GitHub 上的开源项目 superiorlu/AITreasureBox 自动收集 AI 相关的仓库、工具、网站、论文与教程,定位为“实用AI百宝箱”。项目采用 GPL-3.0 许可证,目前有 870 stars、125 forks 和 20 watchers,并提供中英文双语 README。
开源工具 llmtui 提供键盘优先的终端界面,用于与本地 LLM 聊天,支持 Ollama、LM Studio、vLLM、llama.cpp 及任何 OpenAI 兼容服务器,还可通过 llama.cpp 在进程内直接运行 GGUF 模型。它强调本地优先:无遥测、API 密钥不记录,推理内容仅存内存、不写入历史;可选 /agent 模式默认关闭,执行有边界、可验证的循环,工具调用需经审批。支持 darwin、linux、windows(amd64/arm64),需 Go 1.27+ 或直接下载 GitHub Releases。
GitHub 项目 IPIP 发布 v1.5.0,是一个面向网络运维的一体化资产管理与监控平台,覆盖数据中心、机柜、设备、IP/VLAN、运营商线路、拓扑、监控告警与客户管理。新版本内置 AI 助手,支持告警解读、自然语言查询、基于 chromadb 与 bge 系列模型的 RAG 本地知识库和 Agentic 巡检诊断,数据不出机。技术栈为 Flask + MySQL 8.4 + React 19 + TypeScript,推荐以 systemd 托管部署,Ubuntu 24.04 LTS 为全流程实测的推荐路径。
anthonyproctor 发布 Project Coldfall,一个 macOS 13+ 开源终端(Swift,MIT 许可),可并排运行 Claude Code、Codex、Antigravity、Copilot、Grok CLI 或 Ollama 本地模型等多个长驻 AI 智能体。底部状态条读取各家真实剩余配额并统一显示,Claude 和 Codex 已支持实时额度,Copilot 只显示 token 和 premium requests,Antigravity 尚无数据。
推荐理由:原文详述了以桌面为单位管理多个长驻 AI 智能体的设计与跨厂商配额计量思路,读者可以借鉴其工具取舍和隐私边界做法。
作者开源了 LLM Wiki Toolkit,一个用于在 Obsidian 上构建和维护 LLM 驱动知识 wiki 的可复用 Python CLI 工具包,灵感来自 Andrej Karpathy 的 LLM Wiki 概念。其思路是用 LLM 增量编译并维护相互链接的 markdown wiki,而非每次查询时用 RAG 检索原始文档块;工具提供 ingest(提取、综合、交叉引用三阶段流水线)、query(--file-back 保存答案)、lint(结构审计加 ChromaDB 语义审计与自动修复)等命令。信任机制包括每条事实强制内联引用、置信度阈值(3 个以上来源才算 high)、raw/ 目录不可修改、git 全程提交审计和 differ.py 人审 diff。
推荐理由:仓库文档讲清了把 RAG 换成增量编译 wiki 的完整流水线和信任机制,做个人知识库 Agent 的读者可以借鉴其工程做法。
知几排盘(QMDJ)是一个基于 Next.js 的命理三盘排盘工作台,输入日期时间和时区即可排盘,左侧展示九宫盘,右侧输出供 LLM 使用的严格结构化文本。它可通过服务端代理调用 OpenAI 兼容接口(如 gpt-4.1-mini、gemini-2.5-flash),支持星盘、人类图与塔罗牌切换,采用 GPL v3.0 许可证。测试在 PGlite 上运行真实迁移与 repository 代码,并发测试需真实数据库。
GitHub 开源项目 SonghaiFan/frankie-poker 提供一个无限注德州扑克试验场,可通过 OpenRouter 与 JEV、Gemini、Claude、GPT、Grok、DeepSeek、Kimi 等模型对局,为每个对手指定模型、风格和提示词。支持在 preflop、flop、turn、river 样例场景中预览提示词与请求,通过插件注册自定义扑克变量,本地部署需 Node.js 22+ 和 OpenRouter API key(当前 Vite 配置会把 key 嵌入浏览器 JavaScript,须保持本地运行),源码采用 MIT 许可。
推荐理由:项目支持为每个对手指定不同模型和提示词策略,并能在四种牌局阶段预览实际请求,便于实验模型的决策方式。
Jan 是一个开源的 ChatGPT 替代品,可在本地下载并运行 Llama、Gemma、Qwen、GPT-oss 等模型,支持通过 OpenAI、Anthropic、Mistral、Groq、MiniMax 等接入云端模型。它提供自定义助手、OpenAI 兼容本地 API(localhost:1337)和 MCP 集成,数据可完全本地运行以保护隐私。项目采用 Apache 2.0 许可证,支持 Windows、macOS 13.6+ 和多数 Linux 发行版。
Soenneker 发布 soenneker.context7.openapiclientutil,一个提供懒加载、可复用的 Context7 Kiota 客户端的 .NET 库,通过 `dotnet add package Soenneker.Context7.OpenApiClientUtil` 安装。它基于配置的 Context7 HTTP provider,默认使用 Authorization: Bearer 认证,并支持 Context7:ClientBaseUrl、Context7:AuthHeaderName、Context7:AuthHeaderValueTemplate 配置以兼容网关或代理,提供 Singleton 和 Scoped 两种注册方式。
GitHub 的 ai-daily-hub 项目每天把一个 AI 热点做成可运行的开源框架。已发布多个项目,包括对标 NVIDIA Kumo Tabular 的 tabularforge 表格基础模型框架、对应 Google DeepMind EmbeddingGemma 2(740M 多模态嵌入)的 embedforge、复现 Mistral Large 4「Le Chonk」(1T 参数 MoE、1M 上下文)的 chonkforge,以及 beamforge、olmoforge、kolibriforge 等框架。各框架均为 Python 3.9+ 零依赖内核,提供五后端、OpenAI 兼容 HTTP 服务和 CLI/Docker/K8s/Helm/CI 支持。
CUELO 是一个开源的 AI 编程智能体工作区与 harness,为 omp (oh-my-pi) 提供终端与浏览器共用同一 ~/.omp/agent 会话、凭证和模型配置的能力,内置 OMP 核心 18.8.6。Web 工作区支持会话管理、分支/fork、技能、worktree、用量视图和 PWA 访问,公共 harness 提供多智能体编排与模型路由规则,部分集成需另行配置服务。用户需自备 Node.js、Bun 及模型提供方账号。
科大讯飞开源企业级 Agentic Workflow 开发平台 Astron Agent,集成 AI 工作流编排、模型管理、AI 与 MCP 工具集成、智能 RPA 自动化及团队协作功能,支持高可用部署。项目采用 Apache 2.0 License,可免费商用,支持 Docker Compose 一键部署,并已在 CNCF Landscape 收录。
Agent Cloud Harness 是一个单进程、零外部依赖的多 Agent 协作控制平面,提供会话任务管理、Worker 自动路由、暂停/恢复/移交时的续跑上下文生成及本地持久化。当前版本为 0.1.0-SNAPSHOT,首个正式版 0.1.0 已于 2026-07-27 发布,需 Java 21 与 Maven 3.9+ 构建,数据存于 SQLite。内置 Web Console 和 Dialogue 前端,可配置 OpenAI 兼容 LLM(如 gpt-4o-mini)实现基于 LLM 的执行/完成判断,未配置时降级为规则判断。
Gyemoim 是一个本地 OpenAI Responses API 网关,单可执行文件内置 WebUI,无需配置文件或安装器,默认监听 127.0.0.1:9092,支持通过 Sign in with ChatGPT 连接 OpenAI 账号做推理。它在 WebUI 中管理 provider 连接、模型别名路由、服务账号密钥与请求历史,可生成 Pi agent 1.0.0 的配置片段;目前仅支持 OpenAI OAuth 方式,未实现 API-key 认证和其他 provider,且完整的账号登录、推理流程尚未经真实账号验证。请求历史以 NDJSON 完整记录请求与响应,不加密、不脱敏,需注意保护数据目录。
honua-io 发布 geospatial-mcp,一个厂商中立的地理空间 MCP 标准,当前状态为 Draft、SPEC_VERSION 1.0。该标准定义了工具与资源的统一词汇、JSON Schema(draft 2020-12)、资源 URI 与生命周期契约,以及可机器检查的符合性模型,覆盖 Analyze、Publish、Data、Build App 四个 v1 工作流族。符合性检查为纯标准库 Python 3 静态校验,无需实时服务器或 API token,标准采用 Apache-2.0 许可。
GitHub 仓库 see-ai 是一套面向非专业大学生的 AI 入门课,共 10 条轨道、76 节课,覆盖大学场景应用、AI 智能体、AI 编程(22 节)等内容。它提供三个不依赖 API Key 的离线功能:含 20 条探测器的提示词练习场、45 条提示词库和 68 个术语的名词表,并配有每周热词爬虫,抓取 Hugging Face、arXiv、Hacker News、微博热搜、知乎热榜五个数据源。项目基于 Next.js 16 + React 19 构建,采用 MIT License,可部署到 Vercel 或用 Docker 运行。
ai-repo-radar 是一个每日自动刷新的 AI/LLM GitHub 趋势仓库仪表盘,通过 GitHub Actions 每日运行 Python 脚本抓取趋势项目。它提供专有的 Velocity Score 增长动量评分(0-100 分,90-100 为爆发式增长)、按 LLM、Agents、Vision、Multimodal 等分类筛选、每仓库自动生成 AI 摘要,并支持历史趋势回溯。前端为零依赖的原生 HTML/CSS/JS,托管在 Cloudflare Pages。
GitHub 开源项目 Prism 是一个领域无关的欺诈检测与文档智能平台,领域由 YAML 配置参数定义,自动检测输入类型、经人工确认后运行多智能体流水线。任何 CSV、PDF 或 DOCX 上传都会同时获得欺诈/异常判定和可对话的 RAG 摄入。banking、insurance、payroll_hr、financial_services 四个领域已端到端跑通,共 9 个欺诈层级、15 个模型 artifact(约 30 MB)、351 个测试,部署在 AWS EC2 t3.micro 免费层上的单个 Dockerized Streamlit 服务。
PromptShield AI 是一个学生研究原型,定位为反向代理与内联安全网关,在模型推理前后检查提示词、RAG 检索内容、Agent 工具调用和输出,防御 prompt injection、越狱、数据泄露等威胁,并执行 ALLOW/WARN/BLOCK 策略。技术栈采用 FastAPI、React 18 与 gemini-2.5-flash 混合启发式检测,API key 以 SHA-256 零知识哈希存于 SQLite。项目明确声明非生产级安全设备,不提供绝对安全保证。
开发者在 GitHub 发布 llmdash,一个零依赖、自托管的 AI 编程用量仪表盘,可经 Tailscale 在手机或电脑上查看,并排追踪 Claude Code(Max)和 Codex 的 5 小时与每周限制窗口、重置倒计时、消耗速率预测及本地日志活动统计。Claude 限额读数来自 statusline,并可在 Claude 活跃时通过短生命周期的 /usage 探针会话自动刷新;Codex 限额来自 codex app-server;面板还提供成本分析、多主机聚合、设备健康监控和可选的 SwiftBar 菜单栏徽章。要求 Node 24+,默认仅 tailnet 可访问,支持 LLMDASH_ALLOW_LAN=1 或 LLMDASH_HOST=127.0.0.1 调整边界。
这是一个为小公寓打造的数据完全留在本地的语音助手:说"Hey Jarvis"提问,由房间内 Mac 上运行的本地语言模型作答,需要时通过自托管的 SearXNG 搜索网络,还可播放 Spotify 和报天气,音频、转写与模型均不出内网。项目处于 Phase 2 概念验证,Benchmark 第 5 轮中 Gemma 4 26B-A4B preview 得 232/280、Qwen 3.6 35B-A3B preview 得 208,指向在 32 GB 机器上用 26B 或 35B 的 MoE 模型。
作者在 GitHub 发布 autoclaim-adjudicator,一个车险物理损失理赔的确定性多智能体工作流,由代码控制流程和金额、LLM 负责判断与文案,独立校验并只用免费额度模型(Groq、Google AI Studio、Ollama 本地模型)。锁定测试 300 条理赔中 55.3% 自动决定、其中 97.6% 正确;欺诈两段式筛查以 10% 审查率拦截 78.3% 真实欺诈(ROC-AUC 0.860/0.955);用 Qwen3-4B QLoRA 微调本地 judge 后捕获率 30% 升至 95%。作者提醒多数理赔为模拟数据,judge 和微调结果来自合成测试用例,详见 limitations.md。
推荐理由:作者给出了车险理赔 harness 的完整实测数据与消融结果,可看到确定性代码与 LLM 分工在具体业务里的落地方式。
Cactus Compute 发布面向手机、可穿戴、机器人、智能家居和微控制器的端侧基础模型 Needle 3,整个模型是单个 8-29 MB 二进制文件,权重和各平台引擎已在 Hugging Face 开放。模型基于 Laddered Simple Attention Network,2 到 20 层每档深度都是可部署模型,在移动端工具调用上以牺牲通用对话能力换取超过 10 倍体积模型的表现,并支持结构化抽取、文本嵌入和同容器的语音转写模型 Whistle(16.9 MB,支持 7 种语言)。提供 needle finetune 本地 LoRA 微调与平台微调两种方式,DroidCall 微调使 4 层以上的子网络在 29M 参数起通过 DeepSeek V4 Flash。
推荐理由:Cactus 官方开源了面向微型设备的 Needle 3,并给出与 Whisper、DeepSeek 等模型的基准对比和完整微调部署路径,适合本地部署场景参考。
DreamLoops 是一套面向持久化 AI Agent 的开放规范、运行时与入门生态,包含 DreamLoops(有版本约束的运行契约)、Capsules(可移植能力包)、Receipts(执行证据)和 Lineage(溯源)四类原语。其 v0.1.0 版本于 2026 年 7 月 14 日发布,涵盖规范、哈希、有界执行、7 个通用持久化 Agent Capsules 和 18 个稳定 DreamLoops。项目提供无依赖运行时、CLI 和持久化 Agent 入门套件,独立 Farcaster Agent ZOL 已合并持久化支持及 Bonfire 适配器等贡献。
作者在 GitHub 发布开源工具 Artifactize(Apache 2.0,支持 Linux 和 WSL 2),把项目拆分为带各自 evals 的 Artifact,包括运行命令、调用 OpenAI 或 Anthropic 的 Agent 评审和人工签核。指纹不变时 verify 复用 GREEN/RED 结果,并通过一个 artifactize 服务器在队友 checkout 和 CI 间共享评审,status 可预测将执行或复用哪些评审。
推荐理由:原文讲清了按 Artifact 拆分评审并用指纹复用结果的做法,做多人机协作开发时可以借鉴这套降低重复评审成本的机制。
开源本地 AI 编程智能体 RxyCode 发布 v1.4.2,新增模型写入的 Todo ledger、OpenUI Todo dock、增量上下文重摘要与超大工具输出落盘文件。该智能体运行在本地硬件,支持接入 DeepSeek、Qwen、Kimi、Claude、GPT 等任意 OpenAI 兼容 API,采用多智能体架构与确定性 SOP 状态机,通过 READ/WRITE/DANGER 三级策略门控工具调用,MIT 协议开源。
ashwinvijayakumar24 在 GitHub 开源 llm_serving_layer,一个从零构建的 LLM 服务系统,在单请求 Llama 3.2 1B 推理引擎之上实现 paged KV cache、continuous batching、内存压力下的 preemption、radix prefix cache 与跨 GPU 副本的 prefix-aware routing。
推荐理由:项目公开了五项声明的完整实测数据,包括未达成项的失败测量与七个失效案例诊断,方法与结果都可复现追溯。
GitHub 上的 GeoSense 项目用一张覆盖 Telangana、Andhra Pradesh 和 Tamil Nadu 约 3000 个警察局的参考表,把申请表上的自由文本地址双向匹配到正确的区划与警察局。它采用成本分层的匹配流水线:标准化、模糊匹配和本地地名扫描免费完成,仅在必要时才调用 1 次 geocoding API 或 LLM 推断,且参考表是唯一事实来源,杜绝编造值。相比人工查找,geocoding 调用减少 95–99%,每个查询均记录置信度并可审计。
PocketLLM 项目通过 JNI/NDK 调用 llama.cpp 并支持 Vulkan GPU 卸载,在 Android 上本地运行 GGUF 模型,暴露 OpenAI 兼容 API 供本机和局域网客户端使用。v0.3.0 新增基于 GBNF 语法约束的 Agent 工具调用,保证小模型输出的工具调用格式合法,并提供共享同一核心引擎的桌面 JVM CLI(chat/serve/agent)。项目还内置 Hugging Face 模型下载、断点续传、聊天界面与 API key 管理;已知限制包括单模型串行推理、当前仅打包 arm64-v8a,且小于 500M 的模型参数内容质量较差。
推荐理由:开源项目直接在 Android 上用 llama.cpp 跑 GGUF 并提供 OpenAI 兼容 API,还给出采样时 GBNF 约束小模型工具调用格式的做法。
GitHub 仓库 enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的微调方法,用于提升 LLM 在领域特定任务上的表现。其技术在 GLUE 上达 92.5%(基线 84.2%,+8.3%),SuperGLUE 达 89.3%(基线 76.8%,+12.5%)。仓库含源码、实验配置与结果,基于 MIT License 开源。
作者在 GitHub 开源了用 Python 编写的游戏 AI 中间层框架 aigc-game-framework,核心约束是 AI 不能侵入游戏主循环,只能经 MainController 提议并由确定性规则层裁决,指令需过 AST 校验、白名单和 mini-CEL 规则。框架包含 30 个核心模块、33 个工具规格,附带 24 个测试文件共 223 个用例可复现;模型推理依赖 Ollama / vLLM 等本地服务,仓库按 Windows 环境编写且无端到端真实游戏测试。
推荐理由:README 交代了 AI 不侵入游戏主循环的架构约束、mini-CEL 规则裁决和 223 个可复现测试,读者可按文档自行验证这套受控接法。
shenlinyou222-ux 在 GitHub 公开了 2026-09 至 2026-10 的技术研究笔记库,含 28 篇技术调研、8 篇论文精读笔记与 LaTeX 合集、AIGC 2D 游戏 Demo 的 28 份设计文档、权重驱动 Roguelike 生成设计及太空战斗 Demo devlog v0.1–v0.5。本地实测 27.1 万高斯点在 RTX 5060 8GB 上满帧 60FPS,配套代码 aigc_demo_framework 单测当前实测 223 通过;仓库采用 MIT 许可,代码与文档在 Claude Code / DeepSeek Harness 等 AI 辅助下完成,人工定方向并逐项核对。
NutritiScan AI 是一个教育性个人健康伴侣应用,公共健康聊天已在 nutritiscan.com 上线,并提供同款设计的 Android APK。/health 工作区支持账户级报告、经确认的化验趋势、健康历史、医生摘要和隐私控制,需单独部署的 FastAPI 服务配合 PostgreSQL、加密 S3 存储及 LangGraph supervisor。项目为 18 岁以上成人的教育原型,非诊断工具,临床评估与监管审查仍是后续工作。
hyeonbin123 在 GitHub 开源了 rag-doc-qa,一个针对 FastAPI 官方文档(英文原文 154 篇、韩文翻译 123 篇、1,535 个分块)的 RAG API 服务,用英文或韩文提问会在对应语言文档中检索并返回带引用的答案。技术栈为 FastAPI + PostgreSQL 16 + pgvector,提供 dense / hybrid / rerank 三种检索模式,本地运行 BAAI/bge-small-en-v1.5、Granite R2 311M 嵌入模型与 4-bit GGUF 的 A.X-4.0-Light 生成模型(RTX 2080 Ti 上生成中位数约 9 秒),也可切换 Claude API。
Arynwood MCP 在 GitHub 发布 v0.4.6 桌面 alpha,提供 Linux AppImage/.deb 和 Windows x64 安装包,是一个本地优先的个人 AI 与创作工作台,基于 Ollama 实现多人格聊天、文档知识库、设计画布和 MCP 工具集成(含 Kdenlive)。0.4.6 修复了 0.4.5 的两个安全漏洞,即网页可读取本地 API 以及链接可启动工具安装,并将 Hermes 3 8B 设为默认模型;实验性的 headless gateway 支持通过本地 API 或自有 IRC 服务器远程控制工作区,默认关闭。模型、Qdrant、Stable Diffusion 等依赖需单独安装,LoRA 训练和部分 GPU 工具需源码检出。
GitHub 仓库 mahashemi/llm-training-masterclass 提供免费的 LLM 训练课程,分为深度学习基础和 LLM 工程与训练两门独立课程,覆盖从感知机、Transformer 到 SFT、LoRA、QLoRA、偏好优化与蒸馏等 24 章 LLM 内容。课程采用开源权重实操路径,从 CPU tiny GPT、免费 Colab 上的 Qwen3-0.6B 一路进阶到 7B/8B 单卡 H100 及 Qwen3.8-27B 适配与多 GPU 训练,面向高中生到工程师、研究者和机构。
作者 Chien-Hsin Lin 在 GitHub 开源 HeliosLM,一个从零实现的 PyTorch 参考实现,涵盖 MLA 注意力、sigmoid 门控 MoE、混合线性注意力、FP8 训练、DualPipe、投机解码与 vLLM 风格推理引擎,全部可在 CPU 上运行并有 115+ 单元测试和位级等价校验。仓库同时是 RLCD 决策层范式的开源参考,在 8.5M/360M/Qwen3-0.6B 三个规模上测量错误答案上的过度自信(0.94 到约 1.0),在 7,193 条实例的 RLCDAlignBench 上开源读出器达到 0.726 中位 AUROC,并在 11/41 项基准上超过商业 Jev 检测器的零样本成绩,配套论文草稿与版本化基准数据。
推荐理由:这是一个可读可改的 DeepSeek-V3 级架构 CPU 参考实现,并附带 RLCD 决策层的开源校准审计数据,适合想拆解模型内部结构的人。
call518 在 GitHub 开源了 MCP-PostgreSQL-Ops,一个用于 PostgreSQL 运维、监控和管理的 MCP Server,支持 PostgreSQL 12-18 自动版本检测,通过自然语言查询实现慢查询分析、表膨胀检测、VACUUM/Autovacuum 监控和复制状态查看。所有工具均为只读操作,兼容 RDS/Aurora 普通用户权限;高级查询分析可选安装 pg_stat_statements 和 pg_stat_monitor 扩展,并提供 OpenWebUI、Claude Desktop 集成与 Bearer Token 认证配置。