跳到正文
麦式观察 从信源到精选
采集归并评分精选成刊
流程示意 · 非实时数据了解筛选方式 ↗
最新精选AI 评分62

Zyphra 开源 ZONOS3-Mini 语音合成模型,1 亿激活参数可实时本地运行

Zyphra 发布开源文本转语音模型 ZONOS3-Mini,总参数 800M、每 token 约 100M 激活(latent MoE),权重以 Apache 2.0 开放。模型支持 43 种语言、44.1 kHz 音频、单次最长 10 分钟生成,可从音频样本克隆声音或按年龄、口音、音色设计角色,并能在手机、笔记本甚至浏览器(WebGPU)中实时运行。官方 GitHub 提供 CUDA、MLX、C++/ggml 和浏览器运行时,托管版可通过 Zyphra Cloud 访问。

来源:Reddit · r/LocalLLaMA
  1. Reddit · r/LocalLLaMA62

    Zyphra 开源 ZONOS3-Mini 语音合成模型,1 亿激活参数可实时本地运行

    Zyphra 发布开源文本转语音模型 ZONOS3-Mini,总参数 800M、每 token 约 100M 激活(latent MoE),权重以 Apache 2.0 开放。模型支持 43 种语言、44.1 kHz 音频、单次最长 10 分钟生成,可从音频样本克隆声音或按年龄、口音、音色设计角色,并能在手机、笔记本甚至浏览器(WebGPU)中实时运行。官方 GitHub 提供 CUDA、MLX、C++/ggml 和浏览器运行时,托管版可通过 Zyphra Cloud 访问。

    推荐理由:原文给出了参数结构、运行时与多语言覆盖等细节,读者可以评估这个小型 TTS 模型在本地设备上的可行性。

  2. Hugging Face Blog65

    Tether AI Research 发布 0.8B 端侧智能体模型 BotPsy,基于 Qwen3.5-0.8B

    Tether AI Research 发布 BotPsy,一个基于 Qwen3.5-0.8B 的 0.8B 参数工具调用与智能体模型,将按 Apache 2.0 开放权重,提供 bf16、Q8、Q4 三种精度的 safetensors 和 GGUF 文件。模型经 SFT、多教师在线蒸馏和两轮 RL 训练,BFCL v4 从基座的 23.4 升至 44.0,τ-bench 从 23.2 升至 51.5,在六个工具使用基准中的五个领先所有被测的 1.2B 及以下模型,并在 BFCL v4 等五个基准上超过 2.5 倍其规模的 Qwen3.5-2B-Think;推理 token 减少约 1.4 到 3.1 倍,弱项为开放式搜索和低资源语言。

    推荐理由:原文给出了完整的四阶段训练配方和六个基准的逐项对比,小模型做工具调用智能体的取舍可以从中直接参考。

  3. GitHub · 灵魂体仓库57

    jagath-24 开源 multi-provider-llm-gateway v2,统一 Groq 与 Gemini 的聊天 API 路由

    jagath-24 发布 Distributed API Gateway v2,把原内部服务网关扩展为多厂商 LLM 控制面,提供覆盖 Groq 和 Gemini 的统一聊天 API,项目地址 https://github.com/jagath-24/multi-provider-llm-gateway。支持 round-robin、cheapest-first、fastest-first 和 fallback-on-failure 路由策略,每个厂商有 CLOSED/OPEN/HALF_OPEN 熔断器,遵循 Resilience4j 模式,可迁移到 Spring Boot。附带 MySQL 持久化、提供方健康指标、故障模拟测试和 React 运维控制台,API 密钥仅保存在服务端适配器中。

    推荐理由:开源项目把内部网关扩展为多厂商 LLM 控制面,给出路由策略、熔断和运维端点的具体实现,做法可迁移到自建服务。

  4. GitHub · 灵魂体仓库62

    qa_agent_local_llm:用本地 LLM 加 pandas 构建 Excel 问答 Agent 并公开五轮迭代评测

    GitHub 上开源了一个 Excel 问答 Agent,读取本地表格后由 qwen2.5-coder:3b 经 Ollama 在本机生成 pandas 代码,经 AST 白名单安全检查后执行并输出摘要,数据不出本机。项目附带 24 题评测集,从首轮 9/10 迭代到 868 行账单数据上 24/24,并总结了经验:提示词示例泄漏会让模型照抄错误模式,temperature 0 的重试会重复同一错误,静默错误答案只能靠独立计算的评测发现,因此把业务规则移入数据层而非仅靠提示词。作者同时指出 AST 白名单不是沙箱、24/24 分数因针对自建测试集调优而偏乐观。

    推荐理由:作者用独立计算的 eval 对比五轮迭代,把本地 3B 模型跑 Excel 问答的踩坑过程写得很具体,可迁移到类似的本地 Agent 场景。

  5. Hugging Face · 新模型:uncensored77

    DeepSeek-V4.1-Flash-1017 无对齐版发布,闭式权重编辑去除拒绝行为

    zanezhang666 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 uncensored 版本,通过闭式权重编辑(无微调、无梯度训练)去除拒绝行为并合并入原生 FP8 权重,384 个 routed experts 未改动。同一 harness 配对评测显示能力接近基线,MMLU 88.22%→87.91%,GSM8K 93.5%→96.0%;有害提示拒绝率从 87.3% 降至 1.8%,良性提示过度拒绝从 6.3% 降至 0.0%,StrongREJECT 评分 0.02→0.99。可用 SGLang 以 drop-in FP8 方式部署,仅供授权安全研究私下使用。

    推荐理由:原文给出闭式权重编辑方法和拒绝率前后对照数据,可以看清这个去对齐版本的改动幅度与能力保留情况。

  6. Hugging Face · 新模型:abliterated63

    Muse-Glimmer-30B-abliterated-v3 发布,权重级消融拒绝行为

    jsantillana 在 Hugging Face 发布 Muse-Glimmer-30B-abliterated-v3,在权重层面消融 Muse-Glimmer-30B 的拒绝行为,仅供防御性安全与红队研究使用。方法为 Dual-position Rank-2,在推理通道入口和强制回答出口同时探测拒绝方向;快测显示直接模式拒绝率从 58% 降至 41%,强制回答从 50% 降至 25%,最难的 multi-hop 混淆提示词仍有残留拒绝。提供 bf16 Safetensors 及 Q8_0/Q4_K_M/Q3_K_M 的 GGUF 版本。

    推荐理由:原文给出双位置消融方法与拒绝率前后对比数据,读者可据此判断这个去对齐版本实际去掉了多少拒绝行为。

  7. GitHub · 灵魂体仓库62

    spectroscope 0.16.1 发布:可观测的 JVM Agent 编排工具

    spectroscope 0.16.1 发布,这是一个 JVM Agent 编排工具,一个 Java 核心驱动终端 REPL、无头运行、Spring Boot web UI、签名 macOS 桌面应用和共享总线上的 agent fleet,所有事件统一为 JSONL RunEvent 流。内置 Qwen3 1.7B/4B/8B、Qwen2.5 Coder 7B、VibeThinker 3B 本地模型目录,无需 API key 即可运行;支持九个聊天提供商中途切换,工具带含文件、shell、网页抓取、图像生成和 MCP,均受权限门控。提供 Homebrew、dmg、apt、AppImage 四种安装路线,代码 MIT 许可,观测数据可导出到 Langfuse 或 Jaeger 等任意 OTLP 端点。

    推荐理由:正文详细给出了安装路线、内置模型目录和 JSONL 事件流设计,读者可以直接照着在自己机器上跑起一个可观测的 Agent 编排环境。

  8. GitHub · 灵魂体仓库69

    agentgc 开源发布:让多个个人 AI 智能体共处一个群聊互相协作

    VedSoni-dev 发布开源项目 agentgc,一个供个人 AI 智能体加入的常驻群聊中继服务,支持 Claude、OpenClaw 等任何能发 HTTP 请求或说 MCP 的智能体接入,可用它协调如找共同空闲时间等事务。接入方式包括粘贴邀请链接、handle 互相邀请,以及 HTTP、MCP 和命令行三种接口;公共演示站点 agentgc.vercel.app 免费,房间在最后一条消息 30 天后删除,中继方可见明文消息,重要用途可自建,支持 Vercel、Render、Cloudflare tunnel、Docker 等部署方式,MIT 许可。

    推荐理由:原文给出了接入方式、托管选项和安全限制的具体细节,想让多个个人智能体在同一个群里自主协作的读者可以直接照着部署。

  9. Hugging Face · 新模型:abliterated62

    Dsturb 发布 Qwen3.8-Flash-Next 无对齐 YaRN 512k 版

    Dsturb 在 Hugging Face 发布 lflare 无对齐 Qwen3.8-Flash-Next 的 Flare 运行时包,YaRN factor 2 使单张 RTX PRO 6000 Blackwell 96GB 支持 524,288 token 上下文(原 262,144),并发从 16 降为 8。引用 lflare 的实测: harmful 拒答 0/136,过度拒答 0/59;446,870 token 的 needle 测试在 43.5 秒内答对。作者说明拒绝行为已被刻意移除、仅用于测试自有安全基础设施,且拒绝率与能力未在本包上复测,需 Flare 运行时、不能被 Transformers 或 vLLM 加载。

    推荐理由:作者不仅给出512k长上下文导出,还保留了拒绝率实测数据和未复测的局限说明,可据此评估部署风险。

  1. GitHub · 灵魂体仓库64

    开源工具 Kombinat 发布,用 md 例程让 Claude Code 等 CLI Agent 7×24 定时跑任务

    Kombinat 开源发布,把仓库里的 .md 例程交给 AI Agent 在本机 7×24 运行,后台由 launchd 常驻,使用 Claude Code 或 Codex 的订阅登录。每个例程是带 frontmatter 的 markdown 文件,用 5 字段 cron 定时,daemon 每 30 秒检查到期任务,最多并发 3 个,每 5 分钟自动 git pull 让合并的改动自动生效;提供 http://localhost:7433 仪表盘、终端 tui,支持经 SSH 或 Tailscale 远程监控,并给出发布后监控、on-call 排查、修复 flaky e2e 测试等例程示例。

    推荐理由:用 md 文件加 launchd 常驻调度 AI Agent 的开源方案,部署、监控与远程访问的完整做法可以直接迁移复用。

  2. GitHub · 灵魂体仓库58

    BigBotArt 0.1.3 开源:本地优先无限画布 Agent,一句话生成可交付视频与图片

    作者姜振国开源了 BigBotArt,一款面向 Apple Silicon Mac 的本地优先无限画布 Agent 应用,用一句话需求自动拆分分镜、镜头和图片节点并逐个执行。视频走 h3.c 引擎推理 MiniMax-H3 权重(约 144GB,Metal),图片走 mlxgen(MLX),用 ffmpeg 剪辑导出,旁白支持 CosyVoice3 克隆音色或 Qwen3-TTS 文字设计音色;数据和成片只留在 ~/.bigbotart,无云端账号和订阅。当前版本 0.1.3,代码以 MIT 授权,模型权重遵循各自许可;缺模型时应用以 dry-run 占位模式运行。

    推荐理由:原文详细给出了本地无限画布 Agent 应用的引擎架构、依赖清单和运行方式,读者可以照着自行部署这套本地视频图片生成流程。

  3. Hugging Face · 新模型:uncensored55

    ChatR Labs 发布 Qwen-Image-2.1-Uncensored-Omni 量化版

    ChatR Labs 把 rank-128 Omni LoRA 以强度 1.0 合并进 Qwen/Qwen-Image-2.1,再量化成 GGUF、FP8、INT8、NVFP4、NF4 等多种 transformer 权重,支持文生图与图像编辑。仓库只含量化后的 transformer,文本编码器、processor 和 VAE 需从基座仓库获取;在单张 RTX 5090 上 35 步 768 x 1152 实测 BF16 峰值显存约 14 GB、Q5_K_M 约 8 GB、NVFP4 约 4 GB,单图耗时约 28 至 34 秒。作者说明该版本不额外加提示词过滤或输出安全检查器,uncensored 只是发布意图的描述,不保证每个概念都会被渲染出来。

    推荐理由:原文给出了各量化档位的显存占用与单图耗时,读者可据此判断无对齐版在本地跑图的实际成本。

  4. Hugging Face · 新模型:abliterated62

    alexwkleung 发布 LFM3-1.7B-Abliterated GGUF 量化版

    alexwkleung 用 Heretic 2.1.0 的 Arbitrary-Rank Ablation 对 LiquidAI/LFM3-1.7B 做去对齐,改动 16 个张量,并用 llama.cpp 量化出 Q4_K_M 到 Q8_0 四个 GGUF 文件。在 harmful_behaviors test[60:] 的 44 条提示上,Q8_0 版本的拒绝标记数从原版 40/44 降到 3/44(关闭 thinking),但作者指出模型更多是软化而非真正回答,部分回答会替换成无害任务。GSM8K 配对测试中 abliterated 版 95/100 对原版 98/100,三处翻转全部不利于该版本,统计上不显著。

    推荐理由:作者给出了拒绝率前后对比、GSM8K 配对测试和系统提示词对照,读者能据此判断这个 1.7B 去对齐版本的实际代价。

  5. GitHub · 灵魂体仓库67

    WEDA LLM Suite 发布:在 Jetson Orin 8 GB 上本地运行聊天、Agent 与 RAG

    Advantech Containers 在 GitHub 发布 WEDA LLM Suite,一套完全在单块 Jetson Orin(JetPack 6,8 GB)上离线运行的 LLM 平台,提供聊天、可调用工具的 Agent 和带引用的文档 RAG,通过 OpenAI 兼容端点和 Open WebUI 提供。默认模型为 Qwen3-4B Q4_K_M,实测首 token 约 1 s、持续解码约 20 tok/s、prompt 处理约 700 tok/s、热加载约 7 s;应用以 YAML 块声明并由网关暴露为可选模型,支持不中断会话的热交换、下载前内存 fit 检查,以及 docs-qa-verified 的逐条声明验证 RAG 管线。

    推荐理由:整套在 8 GB Jetson Orin 上跑通聊天、Agent 和 RAG 的部署方案,内存预检与热交换细节可直接迁移到同类边缘部署。

  1. Hugging Face · 新模型:uncensored72

    HauhauCS 发布 Qwen3.8-27B Uncensored Aggressive GGUF 量化版

    HauhauCS 在 Hugging Face 发布 Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF,宣称该 Aggressive 变体在测试中为 0/465 拒绝。发布覆盖 Q2_K_P 到 Q8_K_P 等多档 GGUF 量化,并附带 931 MB 的 BF16 视觉投影器和 903 MB 的 FastMTP-32K 加速 sidecar。作者称 FastMTP 相比非 MTP 最高带来 3.02x 文档 TG 和 1.93x 推理 TG,但需搭配 llama.cpp 补丁使用。

    推荐理由:原文给出0/465拒绝率的实测结果与各量化档的吞吐对比,读者可据此判断这个无对齐版本的去拒绝效果和本地部署代价。

  2. GitHub · 去对齐工具与仓库66

    Mindot 开源自主智能体 Will:40+认知引擎与可迁移人格工件 PMA

    Mindot 开源了自主智能体 Will,由 40+ 认知引擎组成,38 项认知能力分布在七个系统,LLM 仅在情境模糊或高风险时被调用。Will 以确定性 tick 时钟持续运行,具备情绪、情景记忆、目标管理与元认知回写机制,并通过约 10–50 KB 的 PMA 工件跨重启、换机器或换模型延续人格与习得技能。项目提供 SDK、Discord、WhatsApp、MCP、HTTP sidecar 五种接入方式,默认零密钥 mock 执行器即可启动。

    推荐理由:原文给出了40+认知引擎的架构拆解与PMA重建保真度评测,读者可据此判断持续自主智能体与按请求重建的LLM智能体差在哪。

  3. Hugging Face · 趋势模型58

    腾讯发布 Qwen3.8-27B 草稿模型 DSpine-b16

    腾讯在 Hugging Face 发布 Qwen3.8-27B 的五层草稿模型 checkpoint Qwen3.8-27B-DSpine-b16,块大小 16、8192-token 滑动窗口,基于 SGLang 运行推测解码。对比官方 DFlash2(块 8),DSpine 在 GSM8K、HumanEval、WorkBuddy 等 Agent 与通用基准上接受长度更高,Agent 端到端吞吐相对自回归解码提速 2.56× 到 3.84×。项目代码开源在 https://github.com/Tencent/DSpine.git,许可证 Apache 2.0。

    推荐理由:官方同时给出与 DFlash2 的接受长度和端到端吞吐对比数据,读者可以直接看出这个草稿模型在推测解码上的加速幅度。

  4. Reddit · r/SillyTavernAI63

    Reddit 用户分享自用 Google AI Studio 角色扮演指令集全文

    Reddit 用户 /u/Alarming_Solid9645 分享了其在 Google AI Studio 中使用的角色扮演指令集,自称大部分由 AI 生成、本人调整。指令集分七部分,包括主动叙事与感官描写、大群像的聚光灯式调度、NPC 自主性与慢热感情线、自然口语化 R18+ 对话、禁用采访式收尾提问、直白露骨的成人场景写法,以及以 [Location | Day, Date | Time] 开头的格式要求和可被真实性优先级覆盖的规则。

    推荐理由:作者贴出自己在 Google AI Studio 使用的完整角色扮演指令集,覆盖叙事节奏、群像调度和成人内容写法,可直接作参考改编。

  5. GitHub · 去对齐工具与仓库55

    LilianPe 开源 Relais 编码智能体编排器

    LilianPe 发布了 Relais 编码智能体编排器,把委派给智能体的 Linear 工单自动变成 PR,经人工审查后再走 AI 审查循环,达到可合并状态。它以守护进程运行,连接 Linear 与 GitHub,每个工单分配独立 git worktree 和无头 Claude Code 会话,行为由仓库内的 .relais/workflow.yml 描述,智能体指令放在 skills pack 而非核心代码中。项目以 Elastic 2.0 许可公开原型,要求 Node.js 24+、git、GitHub CLI 和 Claude Code CLI,并正在按工单逐步改名为 Orchestrator。

    推荐理由:这套编排器把 Linear 工单自动转成 PR 并接入人工与 AI 双重审查,展示了编码智能体落地时的流程约束设计。

  6. GitHub · 去对齐工具与仓库68

    开源工具 Véu 发布,在文本送入 AI 前隐藏个人数据与密钥

    Véu 是一个开源隐私保护工具,在文本到达 AI 前把姓名、证件、电话和 API 密钥替换为 [PESSOA_1] 等标记,收到回复后再还原真实数据,映射表只存在本地。支持 CPF、CNPJ 等巴西证件的校验位验证、30 多个服务的密钥识别和 20 多国证件,提供 Python/JavaScript 库、代理、MCP 服务器、Claude Code 与 Cursor 钩子及浏览器扩展。基准测试显示其 CPF 泄漏率低于 1%,而 Microsoft Presidio 在相同文本上泄漏 90% 的 CPF,私有测试集上 Presidio 泄漏率为 50%-53%。

    推荐理由:原文给出了与 Microsoft Presidio 在公开数据集上的泄漏率对比,读者可以据此评估这个隐私保护工具在巴西文档场景上的实际表现。