新闻、仓库与研究，按时间排列。
GitHub 开源项目 ClaimSight 是一个保险理赔初审 MVP，通过 Gemini 多模态视觉检测车辆损伤区域，并结合 Tavily/Google Search 市场可比数据估算车辆价值，生成结构化理赔摘要。内置 LLM-as-judge 评估器按 0-100 分评分（accept/needs_review/reject），弱评分阶段自动重跑一次（MAX_ASSESSMENT_RETRIES 默认 1）。后端 FastAPI 部署于 Hugging Face Spaces（Docker，端口 7860），前端部署于 Vercel，接入 Firebase 认证与限流，可选 MobileSAM（ONNX）掩码优化，默认关闭。
FastVideo 在 Hugging Face 发布 FastH3 Omni 最终版的 ComfyUI 就绪权重，提供 BF16 和 INT8 ConvRot 两种扩散模型，可从提示词与有序图像、视频、音频参考生成视频及同步音频。部署需搭配 qwen3vl_32b 文本编码器和视频、音频 VAE，采样 8 步、guidance 1.0、视频 shift 12.0、音频 shift 3.0，参考输入用 <Picture 1> 等标签；NVFP4 文本编码加速需 Blackwell 硬件。模型由 FastVideo 与 Nuva Lab 合作开发，权重遵循 MiniMax-H3 Community License Agreement。
推荐理由：原文给出完整文件清单、采样参数和不同硬件的部署路径，想本地跑 ComfyUI 视频加音频生成可以直接照做。
ashokraminedi 在 GitHub 发布 multimodal-llm-platform 初始项目脚手架，这是一个用多模态大语言模型提取、比对和审查图像与 PDF 事故报告证据的平台。计划功能包括带来源引用的结构化观察提取、视觉证据与报告信息的矛盾标记，以及通过 API 和审查界面支持人工复核。技术栈为 Python、FastAPI、Streamlit、SQLite 与多模态 LLM API，模型集成将逐步添加。
GLM-Edge 系列端侧模型发布，包含 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat 两款对话模型和 GLM-Edge-V-2B、GLM-Edge-V-5B 两款多模态模型，1.5B/2B 面向手机、车机，4B/5B 面向 PC。在高通骁龙 8 Elite 平台上，1.5B 对话与 2B 多模态模型借助 NPU 和混合量化实现每秒 60 tokens 以上解码，配合投机采样峰值超每秒 100 tokens。模型已在 HuggingFace、ModelScope 等平台提供下载，支持 Transformers、vLLM、OpenVINO 推理。
论文提出视觉可归因的同策略自蒸馏强化学习范式，解决特权教师 token 级纠错中“特权纠错污染”问题。其核心组件 Visual-Attribution Gating（VAG）以 verifier 优势为优化锚点，仅保留能被视觉证据对比方向性支持的纠错。在六项视觉推理 benchmark 上，VAG 平均性能超越 GRPO 和 OPSD 方法，创下新的 SOTA 平均成绩。
论文提出 OpenVLHarness，一个围绕能力层与持久多模态记忆组织的多模态推理框架，统一调用异构工具并把输出转为模型可读证据。在 22 个基准、8 个开源与专有骨干上评测，平均比无工具基线提升 9.7-12.6 分，如 Qwen3-VL-8B +11.2、Kimi K3 +9.7、GPT-6 Astra +9.9；用 GPT-6 Luna 中等推理强度时以最多 37% 的模型 token 成本超过最大推理强度下的基线模型、Codex 和 Visual Sketchpad 7.7-8.5 分。
推荐理由：论文在 22 个基准上用八个骨干实测工具调用加多模态记忆的增益与 token 成本，方法和数字都可对照复核。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来，以 Apache 2.0 协议开源，支持文本、JSON 与图像输入，可一次读取输入并同时对所有问题的答案打分，兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index，在 Jev benchmark 套件多数项目上超过 Jev，例如 BFCL case exact 98.47 对 95.75；43 个评测的延迟中位数为 209.3ms（Clef-flash 为 38.8ms）。
推荐理由：官方发布了多模态决策模型 Clef 的完整基准与延迟数据，读者可以直接对比它和 Jev 等模型在各场景的实际表现。
开源项目 FishStudio 发布于 GitHub，是一个基于 FastAPI + LangGraph 的对话式多模态内容生成平台，通过自然语言对话即可生成和管理图片、视频、3D 模型（OBJ/GLB）等内容，采用 MIT 协议。项目集成 Qwen3-Omni 多模态理解与 Qwen-TTS 语音合成，支持 Skill 系统、Workspace 记忆、无限画板、智能播客生成和虚拟人口型同步视频，图片、视频、3D 生成 API 均可替换为任意服务商。
ricca200xx 在 GitHub 开源了一个针对视觉语言模型小票结构化抽取的严格评测框架，基于 CORD-v2 数据集，通过 LiteLLM 切换模型后端，所有指标附 95% 置信区间并与 always-null 基线对比。在 50 张小票、8 个字段的提交结果中，54% 的字段单元无值，全答 null 即得 54.0% 宏平均准确率；本地 qwen2.5vl:3b 用朴素提示词仅 49.5%、幻觉率 88%，更严格的 v2 提示词将其提升到 86.0%（配对 +36.5 点）并把幻觉率降到 23.1%；对已达 97% 的 gemma4:31b-cloud 仅 +0.5 点且不显著。框架含不奖励猜测的评分器、不编造值的 JSON 修复层和配对 McNemar 加 Holm 校正的统计方法。
推荐理由：原文给出带置信区间和 always-null 基线的完整评测设计，读者可以照着复现小票抽取模型的幻觉测量。
曾在 OpenRouter 榜首停留 10 天、10 月 5 日消失的匿名模型 Space Bunny 确认为 MiniMax M3.1 Flash，API 已上线，权重定于 10 月 23 日放出。参数为 428B 总量 / 23B 激活，1M 上下文，支持文本、图像和视频输入，API 价格 $0.15 输入 / $0.60 输出；官方称在 automation-bench 上超过 Opus 5，在 deepswe 上与 DeepSeek V4.1 Flash 大致持平，terminal bench 上则明显落后（38.1 对 51.8），这些均为 MiniMax 自测数据。作者估算 Q4 量化约 230-250GB，适合 256GB Mac Studio 本地部署。
推荐理由：作者把匿名模型与正式发布对上号，并提醒榜单数字全部来自 MiniMax 自测，读者可据此校准预期。
Cohere 的 Nick 宣布，团队已将 North Micro Vision Instruct 的视觉编码器合并进 llama.cpp，至此其最新模型架构全部兼容 llama.cpp，其 LLM 部分与 North Mini Code 和 Command A+ 架构相同。North Micro Vision 将作为多个新版本的基础。此外，Cohere Transcribe 现已在 Unsloth 和 Unsloth Studio 中开放微调。
ScreenKit 是一个 Windows 桌面工具（ScreenKit.exe），当前版本 1.0.26，集截图识别与标注、屏幕/GIF 录制、语音识别与合成、翻译、词典、人脸检测于一体。它还支持通过 Android 配套应用进行文件同步与投屏，本机提供 HTTP API 和浏览器工具页面。
inclusionAI 发布原生音频语言模型 Ming-3.0-audio-flash，为 MoE 架构，总参数 126B、每次推理激活 6.5B，采用 MIT 许可。模型接受音频加文本指令输入，支持语音识别、口语问答、音频理解与音频推理，可输出文本或可选合成语音，覆盖中英文及方言口音，另有 Flash 和 Tiny 两个版本。
inclusionAI 在 Hugging Face 发布紧凑型原生音频语言模型 Ming-3.0-audio-tiny，采用 MoE 架构，总参数 9.3B、每次推理激活 2.7B。模型接受音频与文本指令输入，支持中英文语音识别、口语问答、音频理解与音频推理，可选合成语音回复，支持长音频、多说话人和嘈杂环境，采用 MIT 许可证开源。
inclusionAI 在 Hugging Face 上发布 Ming-3.0-audio-flash，总参数 126B、激活 6.5B 的 MoE 模型，可接收音频加文本指令并返回文本或语音回复，MIT 协议。模型卡列出转写、口语问答、长录音理解及对语音、环境声和音乐的推理能力，中英文为主并声称支持口音、方言和嘈杂录音；语音输出依赖可选的 Talker，可用内置音色或参考音频。本地部署文档给出 Transformers、SGLang 和 vLLM-Omni 路径，其中 SGLang 文本输出验证配置用四张 GPU，vLLM-Omni 128K 参考配置用八张 80GB H800，均为参考配置而非最低要求。
GitHub 开源项目 SayGuard 用一台 ASUS UGen300（Hailo-10H）分析工地或仓库所有摄像头流，支持用中文或英文语音添加安全规则，全部模型本地运行、视频不出场。原型中安全帽检测达 0.939 mAP50，10 路摄像头单检测器达 100 frames/s；CLIP 双检模型每条警报 15 ms、准确率 95.3%，优于生成式 VLM 的 91.7% 和 283 ms。系统用 YOLOv8s 检测、Whisper 语音识别和 Qwen2.5-1.5B 生成规则与日报，UGen300 零售价 NT$6,380、功耗 2.5 W，最多覆盖 12 路摄像头。
GitHub 开源仓库 BSAI_ComfyUI_Nodes 提供一套 28 个 ComfyUI 自定义节点，覆盖视频处理、图像处理、音频处理、LLM 推理和 AI 生成，提供中英双语文档。其中 LLM 节点支持通过 llama-cpp-python 本地推理 Qwen3.8-VL、Gemma4 等 GGUF 模型，并支持 5 张图片加 3 个视频的多模态推理；生成类节点集成 Krea 2 生图和 LingBot-Video Dense 1.3B 文生视频。可通过 ComfyUI Manager 安装，代码采用 Apache-2.0 许可证。
GitHub 上的 real-time-video-subs（rtsubs）是一套近实时越南语配音与字幕系统，由 Chromium 浏览器扩展加本地 FastAPI 管线组成，支持 Douyin、TikTok、YouTube、Bilibili、Coursera 等网站。管线用 silero-vad 做 8–16 秒分句、faster-whisper（large-v3-turbo）转写、经 OpenRouter/OpenAI 兼容 API（如 google/gemma-4-31b-it）做带 Story Bible 记忆的翻译、Demucs（htdemucs）分离人声保留 BGM，并用 VieNeu-TTS v3-Turbo（ONNX int8 量化）合成语音，另提供 CLI 离线批量处理本地视频。
Reddit r/LocalLLaMA 用户以《Anno 1602》游戏规则等冷门知识（禁用联网搜索）对比 6 个模型，Nemotron 3.5 Super VL 120B-A12B 错误最少，仅出现少量幻觉，其余模型（Gemma 4 31B IT QAT、DeepSeek v4 Flash Vision Exp、Qwen3.5-122B-A12B、Qwen3.8-flash-next、GPT-OSS 120B）均幻觉出错误升级条件或游戏版本。该模型 NVFP4 量化版在双 RTX 5060 Ti 16GB + 双 48GB DDR5-6000MHz 上以 llama.cpp 运行，生成约 8-10 t/s、处理约 150-170 t/s。
intrusive-memory 开源 SwiftVinetas，可在 Apple Silicon 上完全本地运行，通过 MLX 上的 FLUX.2 Klein 4B 和 PixArt-Sigma XL 从文本提示生成连续漫画分格，并提供 Swift 库和 vinetas CLI。Klein 4B 约每格 26 秒、需 16 GB 内存，PixArt-Sigma XL 约 10 秒、需 8 GB；支持 LoRA 风格、最多 3 张参考图保持角色一致性、YAML 批量提示词和从剧本解析 GLOSA <shot> 生成 storyboard。v0.23.0 加入九个按用户自己 API key 计费的云端模型，与本地引擎通过 EngineRouter 并存；所有生成的 PNG 都内嵌元数据。
推荐理由：这个仓库给出了在 Apple Silicon 上纯本地生成连续漫画分格的完整方案，含内存占用与每格生成耗时，方法可迁移。
hung-yueh 发布 react-native-litert-lm，让 React Native 应用在 iPhone 和 Android 上通过 LiteRT-LM 与 Nitro Modules 端侧推理 Gemma 4 等模型。核心卖点是内存安全：loadModel() 预检权重加 KV cache 开销、运行时追踪 RSS、上下文溢出预警和确定性 unload()，避免 1–4 GB 模型被 iOS Jetsam 或 Android LMK 杀掉。支持 GPU（Metal/OpenCL）与 Android NPU、投机解码、JSON Schema/正则约束输出、typed 流式事件、工具调用、EmbeddingGemma 2 端侧嵌入，以及单引擎多会话。
推荐理由：README 给出了与 react-native-executorch 和 llama.cpp 的逐项对比表，读者可据此判断手机端跑 Gemma 4 该选哪条路线。
Reddit 用户测试发现，EmbeddingGemma 2 嵌入模型（Q8 约 330MB、768 嵌入维度）可用于在图片内检索文本。测试覆盖 22448 张英/韩/日截图，查询余弦相似度最高达 0.76813；该模型能一定程度跨语言理解词义，但对措辞敏感，且文本特征常主导相似度、视觉特征作用较弱。
GitHub 上的 SURVEILLANT-system 是一个多摄像头 AI 监控智能系统（Alexandria University 毕业设计），可跨摄像头追踪行人并统一身份。系统采用 YOLOv8 分割加 ByteTrack 追踪、OSNet 加 FAISS 跨摄像头重识别、InsightFace 人脸搜索，并用 Ollama 上运行的 Qwen2.5-VL 生成人物描述，配合 all-MiniLM-L6-v2 实现语义搜索。还包含暴力检测告警、音频分析、基于 FastAPI 和 React + TypeScript 的 Web 指挥中心。
GitHub 开源项目 Chef Llama 上线，它借助 Google Gemini 3.6 Flash 实现拍照识别食材并生成菜谱的 AI 烹饪助手。系统通过 LangChain 编排 LLM 引擎与多模态视觉引擎，支持 2/4/8 人份实时配比换算、营养素估算、4 种创意菜谱变体、免提语音指导，并能拦截笔记本等不可食用物品以避免幻觉菜谱。前端采用 React 19 + Vite，后端为 FastAPI，预配置 Vercel 无服务器部署，遵循 MIT License。
J.A.R.V.I.S 是一个开源的模块化 OSINT 与 AI 助手平台，整合自动化网络侦察、Agent 模式多轮对话、llama3.2-vision 多模态视觉分析、DeepFace 跨平台人脸比对、实时目标监控与 PDF/JSON 档案导出。搜索时它并行抓取 15+ 社交媒体平台、开发者生态、企业注册与数据泄露库，生成交织验证的结构化情报档案。所有 AI 分析基于 Ollama 本地运行，使用 qwen3.5:9b 处理文本、llama3.2-vision 处理多模态，数据存入本地 SQLite/PostgreSQL，不出本地网络。
GitHub 上的 Verriffy 是一个 AI 辅助保险理赔分析原型，读取理赔文档与图像并交叉核对，输出 0-100 的审查优先级评分、理由及对应证据，最终由人工决定。项目基于 LangGraph、LangChain、NVIDIA NIM 和 Pinecone 构建，嵌入模型为 nvidia/llama-nemotron-embed-vl-1b-v2，文本与图像分析节点并行运行。目前尚未用真实模型或真实理赔数据运行，intro 节点未完成。
GitHub 仓库 Multi-Modal-105 提供一套生产级多模态生成 Agent，支持 Text-to-Image（512×512 至 1024×1024）与 Text-to-Video（16/32/64 帧）合成，以及基于 DDIM inversion 的图生图编辑。项目从零实现 VAE、StyleGAN2、VQ-VAE、U-Net、DiT 与 Video DiT 等架构，支持 BF16/FP16 混合精度与 1–512 GPU 分布式训练，并通过 FID、IS、CLIP Score 等指标评测。
GitHub 仓库 ETQWFD/HNN-CN-ET 提供 MNN Chat Android 应用，通用 APK 同时包含 armeabi-v7a 与 arm64-v8a 原生库。修改点包括 32 位语音识别（sherpa-mnn，基于 alibaba/MNN 3.6.0 源码编译）、应用内自更新、日志页与模型下载健壮性增强。MNN-LLM 在 Android CPU 上 prefill 速度较 llama.cpp 快 8.6 倍、较 fastllm 快 20.5 倍，完全本地运行不上传数据，已在 OnePlus 13 和 Xiaomi 14 Ultra 上测试。
开源仓库 Fpengz/video-generation 提供 video world models 研究工具，覆盖语言到场景控制的机制可解释性与长时程视频生成，含 43 篇参考文献的研究综述与路线图。其 video_probe 模块在 Wan2.1-T2V-1.3B 上复现物体-动作绑定失败，使用 112 条绑定提示加 48 条控制提示、3 个 seeds 共 480 段视频，验证器支持 SAM 3 Video 和 Grounding DINO + SAM 2 两种后端。单张 H200 上每段约 80 秒，首个 swap pair 实验已复现失败：红车开错方向后变蓝，且在 layer 15 做早期步 patch 可复现源片段行为。
arXiv 论文提出面向流式 ASR 的在线错误定位框架 \sysname，用 pair-HMM 对齐噪声与干净解码获得软监督，训练反事实增益打分器定位可疑 span，再由说话人复述、LLM 仅修订所选片段。在 70% 精度下比最强基线多识别 52% 的错误 token，定向复述带来最高 24% 的相对 WER 降低。
研究者提出 Evidence Field，一种可训练的空间程序架构，联合输出类别分数、所选覆盖程序与带符号证据，使医学影像分类器的空间决策计算可被独立复现。论文给出精确单重覆盖、注册文法内最优性及符号分数守恒等理论保证，并定义了 2D 与 3D 网格上的算术与存储扩展。在另行报告的病理组织学应用中，跨 held-out 中心的按患者分离训练评估为该架构提供了实证支持。
BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准，捕捉孟加拉国语境下的刻板印象，保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示：语境模糊时所有模型都倾向刻板印象，且英语结果无法预测孟加拉语中的表现。
研究者提出 CorrFlow，一种自校正流匹配框架，通过轻量级 refiner 复用模型中间表征，对基础模型的速度预测进行残差校正。该方法每步仅需一次轻量 refiner 评估，无需额外基础模型评估。在类条件图像生成、文生视频和图生视频任务上均优于对应基础模型，提升视觉质量与物理一致性。
一项 arXiv 研究指出，VLM 视觉 token 剪枝的现有评估存在缺陷：聚合准确率可能掩盖剪枝方法是否真正识别关键视觉 token，而保留 token 数量也不能可靠反映端到端效率。作者提出 PAA-Bench 评估框架，并用 Random-Pass@k 和 Preservation-Constrained Speedup（PCS）分别衡量随机剪枝下的鲁棒性与共享保留目标下的最大端到端加速。在 8 种方法、3 个 VLM 骨干、9 个 benchmark 上的实验表明，更强的 token 压缩未必带来更高加速，效率排名随保留目标而变化。
GitHub 新仓库 XREPORT 是一款本地优先的研究应用，可从 X 光影像生成可编辑的放射报告草稿，支持数据集准备、本地模型训练与评估，并提供四个精选公开报告生成模型（前三个专注胸部 X 光，第四个为更广医学影像选项且需接受提供商条款下载）。应用还支持 MIMIC-CXR 数据集和本地训练的 Custom XReport 模型，生成结果须经合格专业人员独立审阅，定位为研究评估工具而非诊断设备。
GitHub 上线 Windows 离线 AI 视频配音翻译工具 Offline-AI-Video-Dubber-Translator，支持本地语音转写、SRT/VTT 字幕导出、离线翻译、本地 TTS 配音、逐段时间对齐、原声闪避与多语言导出。项目采用离线优先设计，不强制上传云端，支持批量处理和可复用配置文件，推荐 16GB+ 内存与支持 GPU 加速的现代显卡。
论文介绍 Muse Glimmer，一个面向消费级硬件上自主智能体任务的开源 30B 因果语言模型，集多步推理、工具调用与失败恢复于一体，支持文本与图像输入，训练数据覆盖一百多种语言，量化至约 4-bit 可单 GPU 本地推理。作者称其在工具调用、多步规划和智能体任务完成上优于同尺寸的 Gemma4-31B 与 Qwen3.6-27B，模型以 Apache 2.0 许可发布。
推荐理由：论文给出30B级端侧Agent模型在同尺寸模型上的基准对比，对关注本地部署智能体的人有参考价值。
研究者在 TikTok 气候话语数据集上通过聚类构建话语画像（discourse profiles），并以 late-fusion 架构融入细粒度气候错误信息分类器。在 video-disjoint 评测下，bag-of-words、TF-IDF 和 MPNet 表示的 macro-F1 显著优于纯文本基线，RoBERTa-large 提升为正但方差大、不具统计显著性。话语画像还能刻画错误信息的接受与传播模式。
开源工具 gguf2mlx 新增 Qwen3VLTextEncoderConverter，可将 Qwen3-VL-8B 的文本条件组件转换为 BF16 safetensors，保留多模态 RoPE 分段和视觉 token ID，默认 BF16 输出，FP32 解码避免 FP16 溢出。工具面向 Apple Silicon Mac，把 GGUF 模型转成 MLX-LM 兼容的 HF 风格目录，支持 LLaVA、Qwen2-VL 和 MiniCPM-V 4.7 的 VLM 适配器、显式 direct-quant 4-bit 量化及 .mlx 打包与 SHA-256 校验。仓库明确声明文本转换未经真实推理的隐藏状态或画质验证，不支持安静降级精度，未知架构直接失败而非回退。
推荐理由：README明确区分已验证与未验证的转换边界，并把Qwen3-VL文本编码器的精度和mRoPE保留写清楚，适合想在Mac上做GGUF转MLX的读者。
arXiv 论文提出一种源对比诊断方法，用于检验多语言推理评测中翻译前提是否忠实：反转英文前提极性后分别翻译，统计目标语言输出是否完全相同。在 71 组配对题目、五种目标语言、三个翻译 checkpoint 的测试中，Swahili 在每个 checkpoint 的 710 对样本中分别出现 63、113、67 次精确碰撞；在以人类参照校准的阈值下，round-trip NLI 仅通过 NLLB-3.3B 113 次碰撞中的 3 次，LaBSE 则通过 78 次。每次碰撞都证明至少存在一处不忠实翻译，但无法定位具体在哪一侧。