跳到正文
  1. GitHub · 去对齐工具与仓库68

    Local Agent Lab:在单台 Mac 上评测本地 LLM 并演示多智能体场景

    LinTzuTang 在 GitHub 发布 Local Agent Lab,一个基于 Ollama、LangChain 1.x / LangGraph、自建模型网关和 PostgreSQL 的 Streamlit 工作台,可对 107 个本地模型做能力标注、一键下载和最多六模型同题对比,并内置九个 LangGraph 多智能体工作流与本地语音助手。近期更新包括级联、轮次、全双工三种语音对话模式,本地神经 TTS(Kokoro-82M、Qwen3-TTS 0.6B 等)与 TTS 基准,前端模型定为 Gemma 4 12B(7.7 GB,十模型七对话测试全对且无编造)。

    推荐理由:作者在单台 Mac 上跑通本地 LLM 评测与多智能体演示,并给出各环节在 M5 Pro 上的实测延迟与吞吐数据。

  1. GitHub · 3D 生成新仓库62

    MaiBot 照片生成插件 maitu-photo-studio 开源

    tsuiraku9 发布 maitu-photo-studio 插件,为 MaiBot 提供可配置的照片生成、参考图库与异步投递能力,图片由使用者自行配置的 OpenAI 兼容服务生成,插件不提供模型或额度。支持人物写真与无人物环境照两类工具,参考图分人物、服装、场景三类管理并支持 VLM 自动打标、待审核与自动补库;任务通过 SQLite 后台队列异步执行,可用 task_id 查询。运行要求 MaiBot >=1.3.6、Python >=3.12,通过 /maitu 管理命令和 WebUI 配置。

    推荐理由:README 完整说明了参考图库、异步任务和提示词配置的构造方式,想给 MaiBot 加照片能力的部署者可以直接对照实施。

  2. GitHub · 去对齐工具与仓库60

    readvideo 开源:纯前端把视频读成文章

    SurvivorNo1 在 GitHub 发布 readvideo,一个纯前端工具,粘贴 YouTube 或 Bilibili 链接后优先读取字幕,无字幕时经用户授权标签页音频,由浏览器内 Whisper 转写,再用 DeepSeek、Gemini 等自有 API 整理成短篇到详细四种篇幅的文章。无需 Python、yt-dlp、扩展或本地模型服务,音频不上传 ASR 服务,Transformers.js 3.8.1 与 Whisper tiny 量化模型在 Worker 内运行并优先尝试 WebGPU、失败回退 CPU;B站原页取音轨需手动运行脚本,实测 996,214 字节 M4A 在 CPU 上约 31.8 秒转写出 25 条字幕。

    推荐理由:纯前端把视频转成文章的开源工具,README 明确标注了已验证与未验证的路径,读者可据此评估适用范围。

  1. GitHub · 3D 生成新仓库58

    comfyui-grok-prompt-forge 发布 调用 Grok API 自动生成适配各模型风格的英文提示词

    Slartibart23 在 GitHub 发布 ComfyUI 自定义节点包 comfyui-grok-prompt-forge,通过 xAI Grok 官方 API(https://api.x.ai/v1)把任意语言的短点子或已有描述改写成适配目标模型的英文提示词,默认模型为 grok-4.20-0309-reasoning,MIT 许可。

    推荐理由:为每个目标模型整理了官方来源的提示词规范和采样参数对照,可直接复用到其他提示词生成场景。

  1. GitHub · 灵魂体仓库64

    千问杯多模态大赛第3名方案开源:Qwen3.5-0.8B 蒸馏 SFT + GRPO 小剂量 RL 全流水线

    参赛队「广州智行科技」开源千问杯多模态推理大赛最终第3名(获2万元奖金)的完整方案:在 Qwen3.5-0.8B 上先蒸馏 Qwen3.6-27B 的 113K 样本做 SFT(初赛 41.8 分压线晋级),再用 GRPO 30 步小剂量 RL(决赛榜 20.2 分,第 9/20),答辩后终评第 3。仓库公开训练/导出脚本、真实日志与技术报告,权重托管于 Hugging Face;核心发现包括 RL 剂量轴在 30 步达峰、同权重 ZIP CRC 消融证明采样解码白送约 3 分、0.8B 模型 RL 池内学习量与平台分强反相关。

    推荐理由:作者用同权重 CRC 消融和剂量轴实验分离出每个增量的因果证据,0.8B 小模型 RL 剂量与遗忘的权衡刻画对类似场景可迁移。

  1. Reddit · r/LocalLLaMA58

    Cosmos3-Edge 经 INT4 量化在 Orin Nano 8GB 上运行

    /u/No-Dragonfly6246 发布了优化版 Cosmos3-Edge,用 INT4 量化让 BF16 装不下的 8GB Orin Nano 也能运行。Orin Nano Super 8GB 解码速度 152.5 tok/s,VLM 峰值内存低至 3.3GB;五个 VLM 基准分数从 65.56 降至 65.20,当前已发布 VLM 部分,扩散模型与 robot policy 部分即将添加。试用地址 https://embedl.com/nvidia/cosmos3-edge/orin-nano-super

    推荐理由:作者给出了量化后各设备的解码速度、峰值内存和五个 VLM 基准的前后分数,部署收益可直接对照验证。

  1. Hugging Face · 趋势模型58

    FastVideo 发布 FastH3 Omni 的 ComfyUI 版 BF16 与 INT8 ConvRot 模型

    FastVideo 在 Hugging Face 发布 FastH3 Omni 最终版的 ComfyUI 就绪权重,提供 BF16 和 INT8 ConvRot 两种扩散模型,可从提示词与有序图像、视频、音频参考生成视频及同步音频。部署需搭配 qwen3vl_32b 文本编码器和视频、音频 VAE,采样 8 步、guidance 1.0、视频 shift 12.0、音频 shift 3.0,参考输入用 <Picture 1> 等标签;NVFP4 文本编码加速需 Blackwell 硬件。模型由 FastVideo 与 Nuva Lab 合作开发,权重遵循 MiniMax-H3 Community License Agreement。

    推荐理由:原文给出完整文件清单、采样参数和不同硬件的部署路径,想本地跑 ComfyUI 视频加音频生成可以直接照做。

  1. GitHub · 3D 生成新仓库58

    SwiftVinetas 开源:在 Apple Silicon 上用 FLUX.2 本地生成漫画分镜

    intrusive-memory 开源 SwiftVinetas,可在 Apple Silicon 上完全本地运行,通过 MLX 上的 FLUX.2 Klein 4B 和 PixArt-Sigma XL 从文本提示生成连续漫画分格,并提供 Swift 库和 vinetas CLI。Klein 4B 约每格 26 秒、需 16 GB 内存,PixArt-Sigma XL 约 10 秒、需 8 GB;支持 LoRA 风格、最多 3 张参考图保持角色一致性、YAML 批量提示词和从剧本解析 GLOSA <shot> 生成 storyboard。v0.23.0 加入九个按用户自己 API key 计费的云端模型,与本地引擎通过 EngineRouter 并存;所有生成的 PNG 都内嵌元数据。

    推荐理由:这个仓库给出了在 Apple Silicon 上纯本地生成连续漫画分格的完整方案,含内存占用与每格生成耗时,方法可迁移。

  2. GitHub · 去对齐工具与仓库66

    react-native-litert-lm 发布:React Native 端用 LiteRT-LM 跑 Gemma 4

    hung-yueh 发布 react-native-litert-lm,让 React Native 应用在 iPhone 和 Android 上通过 LiteRT-LM 与 Nitro Modules 端侧推理 Gemma 4 等模型。核心卖点是内存安全:loadModel() 预检权重加 KV cache 开销、运行时追踪 RSS、上下文溢出预警和确定性 unload(),避免 1–4 GB 模型被 iOS Jetsam 或 Android LMK 杀掉。支持 GPU(Metal/OpenCL)与 Android NPU、投机解码、JSON Schema/正则约束输出、typed 流式事件、工具调用、EmbeddingGemma 2 端侧嵌入,以及单引擎多会话。

    推荐理由:README 给出了与 react-native-executorch 和 llama.cpp 的逐项对比表,读者可据此判断手机端跑 Gemma 4 该选哪条路线。

  1. GitHub · 3D 生成新仓库65

    gguf2mlx 新增 Qwen3-VL-8B 文本条件编码器转换,支持 GGUF 转 MLX

    开源工具 gguf2mlx 新增 Qwen3VLTextEncoderConverter,可将 Qwen3-VL-8B 的文本条件组件转换为 BF16 safetensors,保留多模态 RoPE 分段和视觉 token ID,默认 BF16 输出,FP32 解码避免 FP16 溢出。工具面向 Apple Silicon Mac,把 GGUF 模型转成 MLX-LM 兼容的 HF 风格目录,支持 LLaVA、Qwen2-VL 和 MiniCPM-V 4.7 的 VLM 适配器、显式 direct-quant 4-bit 量化及 .mlx 打包与 SHA-256 校验。仓库明确声明文本转换未经真实推理的隐藏状态或画质验证,不支持安静降级精度,未知架构直接失败而非回退。

    推荐理由:README明确区分已验证与未验证的转换边界,并把Qwen3-VL文本编码器的精度和mRoPE保留写清楚,适合想在Mac上做GGUF转MLX的读者。

  2. GitHub · 灵魂体仓库55

    minicpm-webapp:基于本地 MiniCPM-V 4.7 的图像分析与网站健康监控工具

    shank15217 在 GitHub 发布 minicpm-webapp,一个用本地 llama.cpp 运行 MiniCPM-V-4.7-1B 多模态模型的 FastAPI 应用,可描述分类图像并通过与基线截图比对检测网页篡改。判定由确定性的 dHash64+MAE 像素比对拥有,VLM 只对被标记的波段做单图旁白;支持 detail(f16,640×480 约 832 token)和 fast(-4x 下采样,约 223 token)双视觉模式,附 U1–U6 测试计划和 W1–W11 已知弱点清单(如亚 1% 面积改动可过阈值、存在 SSRF 缺陷建议仅限局域网部署)。

    推荐理由:用确定性像素比对拥有判定权、VLM 仅做旁白的架构做网站篡改检测,还公布了已知弱点清单和实测 token 数,部署细节可迁移。

  1. GitHub · 3D 生成新仓库62

    开源仓库 minimax-h3-studio:MiniMax-H3 全模态模型本地全自动短剧生产线

    GitHub 仓库 minimax-h3-studio 公开了一套本地全自动视频生产管线,用 MiniMax-H3 全模态模型生成画面与声音,Remotion 程序化合成包装,ffmpeg/Python 负责超分、混音与质量门禁,全部跑在一台 RTX 5090 工作站上。架构分编排(Claude Code)、AI 生成(ComfyUI + MiniMax-H3)、合成渲染(Remotion 4.0.529)、数据(timeline_v2.json zod 契约)、后期与质量六层,含四个生产项目示例;附关键约定如 H3 帧长必须 17k+5、音频母带走 WAV 中转(−14 LUFS)、渲染定稿参数 x264 crf18 + bt709。

    推荐理由:仓库公开了从生成到成片的全链路配置与关键参数约定,读者可以对照搭建自己的本地短剧生产线。

  2. GitHub · 3D 生成新仓库71

    nightmare-mobile 开源:在安卓手机 Hexagon NPU 上以节点图运行图像与视频生成

    GitHub 仓库 AbrahamPaulJ/nightmare-mobile 发布,一个安卓节点图应用,在 Qualcomm Hexagon NPU 上离线运行文生图、图生图、inpaint、放大、图像编辑与文生视频,无需服务器或账号。

    推荐理由:README 详细列出了各芯片档位支持的模型、显存与授权条件,安卓用户可以直接判断自己的手机能跑哪些本地生成流程。

  3. GitHub · 去对齐工具与仓库66

    RunAnywhere 开源跨平台端侧 AI SDK,单核心覆盖 LLM、语音与图像生成

    RunAnywhereAI 开源 runanywhere-sdks,一套 C++ 核心加八个 SDK(Swift、Kotlin、Flutter、React Native、Web、Electron、Python、wally CLI),在手机、浏览器、桌面和服务器上本地运行 LLM、VLM、语音、RAG、嵌入和 Stable Diffusion 图像生成,默认离线。

    推荐理由:用一套 C++ 核心和八种语言 SDK 把 LLM、语音、视觉与图像生成统一到本地推理,还给出 Snapdragon NPU 上的实测吞吐数据。

  1. Reddit · r/LocalLLaMA62

    Basalt:针对 Blackwell 优化的 Qwen 3.8 Flash Next 推理引擎,支持动态视觉加载

    作者发布 Basalt,一个面向 Qwen 3.8 Flash Next 的推理引擎,从 Strata fork 并针对 Blackwell 深度调优,仓库在 github.com/jesdga95/basalt。新增 --vision dynamic 模式让图像编码器平时驻留 RAM、空闲时几乎不占显存,图像到达时借用 expert cache 槽位上传编码器(约 30 ms)编码后再回填(约 60 ms),不发图即零开销且不影响文本性能;编码器用 Basalt 自带 kernel,速度最高达 llama.cpp 的 3 倍,并给出移植用的 commit(9bfb90a、a704c65、efd23d9)。

    推荐理由:作者给出动态视觉编码器的具体显存与耗时数字,其他引擎可按提供的 commit 直接移植这套做法。

  1. GitHub · 3D 生成新仓库65

    Tether 开源 QVAC 本地 AI SDK 与模型服务工具

    Tether 在 GitHub 发布 QVAC,一套本地优先 AI 开发工具,支持在 Linux、macOS、Windows、Android 和 iOS 上运行 LLM、语音、视觉和图像/视频生成等负载。提供 JavaScript/TypeScript 与 Python SDK,内置 HTTP 服务器以 OpenAI 兼容 API 供 OpenCode、OpenClaw 等工具调用,快速示例使用 LLAMA_3_2_1B_INST_Q4_0 模型;能力表覆盖 RAG、LoRA 微调、Whisper 转写、TTS、OCR、VLA 等,并支持 P2P 模型分发和 NAT 穿透中继。

    推荐理由:Tether 官方仓库文档,覆盖 JS/TS 与 Python SDK 和 OpenAI 兼容本地服务的完整接入方式,适合评估本地优先 AI 应用方案。

  2. Reddit · r/LocalLLaMA61

    Gewell v0.2 发布:26B-A4B prefill 最高快 74%,EmbeddingGemma 2 全精度压进 1.13 GiB 显存

    作者发布推理引擎 Gewell v0.2,新增 Gemma 4 26A4 支持,prefill 比 vLLM 全面快 10-74%,上下文越长优势越大;还提到上下文仅需 0.625x 显存。同版将全精度 EmbeddingGemma 2 的文本+图像总占用(含 8k 上下文)压到 1.13 GiB 显存和 0.93 GB 主机内存,图像嵌入与 sentence-transformers 参考实现的 cosine 达 0.99970(均值),优于 llama.cpp 和 vLLM。31B 模型也获小幅改进:极短上下文大批量 mtp-on 场景 tg 提升 20-24%,多数 kernel 达理论峰值 80-85%。

    推荐理由:作者给出了与 llama.cpp、vLLM 的逐项 cosine 对比和 prefill 吞吐数字,可以据此评估这个推理引擎的实际表现。

  3. GitHub · 去对齐工具与仓库70

    FumetoReaderPlus 开源:Android 漫画阅读器可端侧识别并翻译对话框

    fumetodev 在 GitHub 开源 FumetoReaderPlus,一款 Android 漫画翻译阅读器,GPL-3.0 协议,免费无广告无账号。它检测语音气泡并用 PP-OCR 加针对漫画微调的 Hy-MT2 1.8B 模型(ONNX Runtime + llama.cpp)在设备本地完成识别与翻译,旗舰机约每页 6–16 秒,也可接 OpenRouter 或本地 OpenAI 兼容端点;译文由确定性排版引擎回填气泡内,支持连体气泡切分、编辑持久化、整卷批量翻译、翻译后 CBZ 导出,支持 CBZ/CBR/PDF/EPUB 及 Komga/Kavita 服务器,可通过 Obtainium 跟踪更新。

    推荐理由:这是一个功能完整的开源漫画翻译阅读器,给出端侧 OCR 加专用翻译模型的具体方案和速度数据,方案可参考。

  4. GitHub · 3D 生成新仓库65

    Nedese Studio 发布:Windows 本地多模态 AI 媒体工作室仓库

    mustafa-ozen95 在 GitHub 发布 Nedese Studio,一个 Windows 本地 AI 媒体工作室,覆盖图像、视频、语音、音乐、3D 模型、单片短片生成、口型同步、模型训练与数据采集,全部在本机运行、不外发数据。

    推荐理由:原文完整列出了各子系统的模型选型、12 GB 显存实测环境和部署细节,可作为在本地搭全套媒体生成流水线的可复用参考。

  1. GitHub · 3D 生成新仓库58

    sisyphus-academica 开源:20+ 智能体协作生成研究论文的仓库

    GitHub 仓库 argahv/sisyphus-academica 发布,用 20+ 专业化智能体、6 个新颖性引擎和 10 个对抗性审稿角色生成 LaTeX 论文,并通过 5 道代码强制的质量门(引用验证、统计审计、AI 痕迹检测、风格审计、全票通过审稿)。引用需在 Semantic Scholar、CrossRef、OpenAlex 和 arXiv 中至少 2 个来源匹配才能通过,示例 SIREN 论文经 4 轮修订后审稿均分从 4.6/10 升到 8/10。Python CLI 可脱离 agent 平台独立运行,17 个技能也可通过 npx 安装到 Claude Code、Cursor 等 agent。

    推荐理由:仓库给出了五道由代码强制执行的质量门和示例管线数据,想复用多智能体写论文流程的读者可以对照其门禁设计。