RC-BCJ-Dataset:钢筋混凝土梁柱节点破坏基准图像数据集
新发布的 RC-BCJ-Dataset 包含 572 张经专家标注的钢筋混凝土梁柱节点破坏图像,覆盖节点类型、破坏机制、损伤类型与 DS0–DS4 严重程度等多属性标注。数据集提供 1,716 对图文诊断描述、全部图像的分割掩码以及预设训练-测试划分与 baseline 结果,可用于失效模式分类、图文生成与多模态建模等研究。
新闻、仓库与研究,按时间排列。
新发布的 RC-BCJ-Dataset 包含 572 张经专家标注的钢筋混凝土梁柱节点破坏图像,覆盖节点类型、破坏机制、损伤类型与 DS0–DS4 严重程度等多属性标注。数据集提供 1,716 对图文诊断描述、全部图像的分割掩码以及预设训练-测试划分与 baseline 结果,可用于失效模式分类、图文生成与多模态建模等研究。
腾讯混元发布实时同传模型 Hy-SimulMT-30B-A3B,支持中英双向语音到语音翻译,在说话人讲话时持续接收音频并同步输出译文文本和语音,并通过实时声音克隆保留说话人音色。在 RealSI 长音频评测中其 StreamLAAL 约 3 秒,为对比系统中最低,GEMBA 分数超过所对比的开源模型和五个商业 API 中的四个。GitHub 提供 SimulInfer 推理服务与 SimulTrain 训练工具,Hugging Face 开放了 GGUF 权重,语音输出和声音克隆需配置 TTS 服务,也可在 Hy Translate App 中试用。
sysofwan 在 GitHub 发布 HifzGuide 仓库,为 iOS 实时古兰经跟读校验应用 Muraja 提供数据与工具,采用 AGPL v3.0 许可。预构建资源以 GitHub Releases 分发,包含 6 段 Wav2Vec2-BERT CoreML 模型(6-bit 调色板量化,约 443 MB)、604 个 QCF2 页面字体、约 48 MB 的 quran.db 等。工具链含基于 Muaalem 音素头的 LoRA 微调与 Tadabur 质量过滤流水线,训练环境为 Linux + CUDA,CoreML 导出在 macOS/Apple Silicon 完成。
Kling 4.0 发布首日即上线 Runware API,可生成最长 30 秒的 1080p 原生音频视频。功能支持多关键帧(首、中、尾帧)、单请求最多 15 个输入,以及基于提示词的已有片段编辑,价格自 $0.133 每秒起,未来 7 天常规定价享 15% 折扣。Runware API 目前已有 19 个 Kling 模型,覆盖视频、图像、虚拟人和对口型。
开发者 Recall T. Mabika 在 GitHub 开源 Ruzivo,一个专为绍纳语(ChiShona)打造的端到端多模态对话 AI 系统,采用 MIT 协议。系统在 4-bit 量化的 1.5B 基座模型上用 QLoRA(r=16, α=32)微调,下一 token 预测准确率从 32.1% 提升至 72.1%;RAG 子系统基于 14,201 句课程教材语料实现零幻觉检索。语音方面 WER 从 78.4% 降至 47.9%,并提供 Android App 与响应式 Web 客户端。
Xmax-AI 发布 XmaxSDK-Unity,一套面向 Xmax 模型实时交互式视频生成的 Unity SDK,覆盖媒体采集、视频流、实时生成与端侧渲染的端到端管线。SDK 支持 RealtimeModel.X2_1_1_Preview_CN / X2_1_1_Preview_US 区域预览模型(不再支持 X2_0 和 X2_0_Pro),外部输入在 200,000–2,100,000 像素范围内保持宽高比,按 1024×1920 或 1920×1024 画布生成,上下行质量默认自适应并支持 L1–L5 手动调节。
AccessCast 是为 AMD Developer Hackathon ACT III 打造的无障碍视频项目,用 Gemma 4 31B 为盲人、听障、阅读困难及印地语、意大利语、西班牙语、法语、葡萄牙语用户生成八种版本。系统处理 28 个视频、3,825 次请求共 3.6 million tokens,114 条 easy-read 字幕全部保留否定词,8 例攻击中到达观众 0 例,模型成本约 $0.0053 每分钟。
tsuiraku9 发布 maitu-photo-studio 插件,为 MaiBot 提供可配置的照片生成、参考图库与异步投递能力,图片由使用者自行配置的 OpenAI 兼容服务生成,插件不提供模型或额度。支持人物写真与无人物环境照两类工具,参考图分人物、服装、场景三类管理并支持 VLM 自动打标、待审核与自动补库;任务通过 SQLite 后台队列异步执行,可用 task_id 查询。运行要求 MaiBot >=1.3.6、Python >=3.12,通过 /maitu 管理命令和 WebUI 配置。
推荐理由:README 完整说明了参考图库、异步任务和提示词配置的构造方式,想给 MaiBot 加照片能力的部署者可以直接对照实施。
Food-Verse-AI 是一个 Streamlit 毕业项目模板,涵盖食物识别与营养估算、新鲜度提示、厨房卫生检查、食谱辅助和膳食规划五大模块,含总览仪表盘。它使用 Google Gen AI SDK 调用 gemini-2.5-flash 做图像分析,文本生成可选 Gemini 或 Groq 的 Llama 模型,无 API key 时可切换 Demo 模式。项目支持部署到 Streamlit Community Cloud,但作者强调营养与安全结果仅为估算,不能替代注册营养师或食品安全认证。
开源项目 Nexus AI Studio 基于 Python 3 和 Streamlit 构建,集成 LLM 对话助手、基于 RAG 的文档问答以及由 Flux 引擎驱动的无水印高清图像生成。项目通过 Google Gemini API 接入模型服务,支持 PDF 与 TXT 解析、TTS 语音播报、JSON 会话持久化,生成图片可经瀑布流画廊直接高清下载。
GitHub 仓库 JarvisUSTC/Awesome-Multimodal-RAG 整理了多模态检索增强生成(RAG)领域的最新论文、数据集与工具,涵盖文本、图像、视频、音频等多种模态。内容包括综述教程、通用与文档类多模态 RAG 论文、MMDocIR、SPIQA 等 benchmark,以及 Kiln 等工具框架,并持续接受社区贡献。
这是 NVIDIA Jetson Orin 边缘设备上的 Physical AI 实践课程大纲,2026/10/10 至 2026/11/8 在京畿道城南市分堂的汉字 AX LAB 授课,共 10 次课。课程在本地环境实现视觉与 LLM(基于 Gemma 的轻量大语言模型)融合的视听多模系统,不依赖云端。评分含出勤 10%、实作 10%、作业 10%、笔试 30%、项目 40%,共 3 个项目,作业与项目须提交至 GitHub Repository 并附 README.md。
SurvivorNo1 在 GitHub 发布 readvideo,一个纯前端工具,粘贴 YouTube 或 Bilibili 链接后优先读取字幕,无字幕时经用户授权标签页音频,由浏览器内 Whisper 转写,再用 DeepSeek、Gemini 等自有 API 整理成短篇到详细四种篇幅的文章。无需 Python、yt-dlp、扩展或本地模型服务,音频不上传 ASR 服务,Transformers.js 3.8.1 与 Whisper tiny 量化模型在 Worker 内运行并优先尝试 WebGPU、失败回退 CPU;B站原页取音轨需手动运行脚本,实测 996,214 字节 M4A 在 CPU 上约 31.8 秒转写出 25 条字幕。
推荐理由:纯前端把视频转成文章的开源工具,README 明确标注了已验证与未验证的路径,读者可据此评估适用范围。
blueskyScribe 是一个 Bluesky 媒体处理机器人,被提及后通过 AT Protocol 获取帖子媒体,交给 Google Gemini 描述图像(含 OCR 提取文本)、总结视频和音频内容,回复控制在 250 字符以内。它支持 10 种语言,通过 GitHub Actions 每 10 分钟检查一次提及,并在 GitHub Actions 免费额度上运行。
GitHub 开源项目将工地照片中的混凝土缺陷(裂缝、剥落、露筋、腐蚀、泛碱)自动检测与 LLM 报告生成结合。系统采用 ResNet18/50、EfficientNet-B0 多标签分类,在 256×256 图块上推理并融合为缺陷区域,基于 CODEBRIM 与 SDNET2018 数据集训练,按 70/15/15 分组划分。检测 JSON 结合 Qdrant 检索的检查指南交给 Claude 生成经 Pydantic 校验的报告,服务器端重算严重度,要求人工复核,LLM 不可用时回退到确定性报告。
/u/MrFelliks 开源了浏览器节奏跑酷游戏 Struna,用四个小神经网络在浏览器标签页内本地听歌生成关卡,无需上传音频。四个模型共约 22 MB,经 onnxruntime-web(WASM、各占一个 web worker)运行:BeatNet(约 1.6 MB)做节拍与强拍追踪并作为关卡网格,Spotify 的 Basic Pitch(约 0.2 MB)做音符转录,Spleeter 人声分离网络(约 20 MB)分离人声,SwiftF0(约 0.1 MB)做 16 ms 精度的音高追踪;首次加载后缓存,设备跑不动时回退到常规 DSP。
LLMCL 项目记录少数据多模态持续学习与紧凑模型研究:基于 Qwen2-VL-2B-Instruct 与 LLaVA-OneVision-Qwen2-0.5B-OV 双骨干、1313 条训练数据与 21454 条测试,正式完成 8/16 组核验,唯一指标为 Answer F1。最新 FFN 真实删除对照使完整权重减少 199.5MiB(11.704%),但 DEV 宏 F1 从 43.791987 降至 19.620168,该构造已关闭;尚无权重更小且保留强参照质量的自研框架。
GitHub 开源项目 bone-fracture-pseudo-mask-generation 提供一套可复现的弱监督骨折分割研究流水线,涵盖图像级骨折分类、Grad-CAM/LayerCAM 定位、伪掩码生成及可选 U-Net 训练,支持 ResNet-50 和 DenseNet-121 分类器,需 Python 3.10+。项目仅为研究原型,非临床诊断工具;因缺少 FracAtlas 专家掩码,无法报告分割指标,测试集仅在验证集选好阈值后评估一次。
GitHub 新仓库 InsightLense 是一个多模态 RAG 聊天机器人,能理解 PDF 文档中的文本、表格与图表,借助 Computer Vision“看懂”图形与示意图。它用 Gemini 2.5 Flash 解析图像、LlamaParse(Markdown 模式)保留表格结构,并采用 FAISS 语义搜索与 BM25 关键词搜索的混合检索,LLM 使用通过 Groq 调用的 Llama-3 / GPT-OSS,后端为 FastAPI,编排基于 LangChain。用户上传 PDF 后即可针对图表内容提问。
开源项目 AI-Powered-Multimodal-RAG-System 实现对 PDF 内文本、表格、图表和图像的多模态检索增强生成,采用稠密向量加关键词的混合检索与 CLIP 风格图文联合嵌入,Vision-LLM 后端可切换 Qwen2-VL、GPT-4o Vision 或 Claude Vision。在内部 500 条查询评测集上,综合 Hybrid MRR@5 达 0.83、Recall@10 达 0.91,端到端回答延迟约 1.4 s(单张 NVIDIA T4、本地 Qwen2-VL-7B)。系统默认用 ChromaDB 零配置运行,也可切换 Qdrant 用于生产部署。
Slartibart23 在 GitHub 发布 ComfyUI 自定义节点包 comfyui-grok-prompt-forge,通过 xAI Grok 官方 API(https://api.x.ai/v1)把任意语言的短点子或已有描述改写成适配目标模型的英文提示词,默认模型为 grok-4.20-0309-reasoning,MIT 许可。
推荐理由:为每个目标模型整理了官方来源的提示词规范和采样参数对照,可直接复用到其他提示词生成场景。
开源项目 Maester 是一个投资组合管理平台,可自动追踪持仓、财报、价格与股息,并给出附证据来源的操作建议。用户可将年报 PDF 或 XBRL 文件导入本地运行,任意数字可溯源到具体文件页码;市场情绪以 0 到 100 分值呈现。自主模式(Autonomous mode)尚在路线图 R3 中,暂未建成,项目现以印度长期股票投资者为切入点。 atterns... 等等——摘要已定稿。
LrGeniusAI 是一款 Adobe Lightroom Classic 插件,用 LLM 为照片自动生成标签、描述、人脸聚类和自然语言语义搜索,并通过 BioCLIP 2 在本机做物种识别。它支持本地模型(MLX、llama.cpp、Ollama、LM Studio)及 OpenAI、Gemini、Claude 等云端 API,还提供 beta 版 AI 编辑配方与照片精选、MCP 智能体桥接,可经 GitHub Releases 下载安装。
sandraschi 在 GitHub 开源 google-ai-mcp,用 FastMCP 3.2 构建统一网关,通过 11 个 MCP 工具接入 Gemini 3.1 Pro 聊天、Nano Banana 2 / Pro 图像、Veo 3.1 Preview 视频、Lyria 3 Pro 音乐、Gemini TTS 语音和 gemini-embedding-001 嵌入,并提供本地 LeWorldModel(LeWM)桥接做世界模型规划。缺少凭证时各服务自动回退到 mock 模式,支持 Claude Desktop MCPB 安装和 Tauri 原生桌面打包,实时语音代理则需搭配 speech-mcp 使用。
开源项目 APUSR 发布,为 AMD APU 提供超分辨率与帧生成,采用 FSR4 派生的 INT8 推理路径,原生支持 D3D12 和 Vulkan 两种 GPU 后端,无翻译层。项目针对 Phoenix、Hawk Point、Strix Point、Krackan Point 与 Strix Halo 平台,可经 FidelityFX、NGX/DLSS、Streamline 兼容接口接入;Vulkan 性能接近 D3D12,NPU 加速处于实验状态暂停,Linux 发行版仍在规划中。
OpenRouter 宣布月之暗面的 Kimi K3.1 Pro 上线,定位为基于 Kimi K3 后训练、面向长程编码和智能体任务的 1M 上下文多模态开源权重模型。定价为 $2/M input tokens、$10/M output tokens,可在 OpenRouter 直接试用。
推荐理由:正文给出了定价、上下文长度和定位说明,想试用长上下文编码与智能体场景的读者可以直接在 OpenRouter 上体验。
开发者基于 Qwen3-Omni 构建了全模态决策模型 SPEV,直接对原始音频输入输出决策概率,无需经 ASR 转写,避免转写带来的延迟与成本,并支持鸟鸣等非语音任务。它结合 Omni 音频/视频/图像解码器与训练的决策头,支持选择题、真假判断和序数评分,多个问题可在一次多模态前向传播中处理。
研究者提出 HAD-VLM,一个混合自回归-扩散框架的医学视觉语言模型,将自回归文本生成与超声测量的连续数值预测结合在共享骨干中。在 EchoNet-LVH 四项超声心动图测量任务上,其平均绝对误差为 1.36、2.77、3.05 和 1.16 mm,较基于 Vicuna 的自回归基线降低 21.4-37.6%,并优于微调后的 Qwen3-VL。X 射线椎体测量的平均绝对误差从 11.4 像素降至 6.7 像素,医学问答性能保持不变。
一项 arXiv 研究提出用概率单纯形 Δ^{d-1} 替换单位球嵌入域,以消除 CLIP、CLAP 等多模态对比模型中的模态差距。方法结合轻量 softmax 适配器与 Total Variation 相似度,在五个多模态检索基准上将质心 ℓ2 差距降低 97–99%。检索性能达到或超过标准无约束模型。
研究者调查了美国应急管理者在多语言应急警报翻译中的工作流程、观点与运营挑战,发现他们往往不清楚商业机器翻译工具输出质量如何。论文随后据此评估商业翻译工具在应急响应中的效用,并提出安全使用这些工具的实用建议。
fal 宣布 Kling 4.0 正式向公众开放,所有客户均可通过 API 访问。该模型支持最长 30 秒带音频的原生视频生成、最多 15 个图像/视频/元素参考以及最多 10 个关键帧的精确控制。新版本还提升了运动、角色一致性和电影感叙事表现。
一项名为 SPOOK 的黑盒研究用简单像素级爬山算法对空白画布施加稀疏像素编辑,测试多模态对比编码器与自监督视觉编码器在自然图像流形之外的表征行为。在 ImageNet 和 Flickr30k 上,面向类别提示词优化的输入在 OpenCLIP 上取得较强的 top-1 和 top-5 定向检索表现;面向类别原型优化的输入在 DINOv3 上达到高目标对齐度。结果表明现代视觉编码器存在共同的流形外失效模式。
BT 联合布里斯托大学与 NVIDIA 提出 InferSlice,一个在电信基础设施上实现 SLO 驱动 LLM 推理的参考架构,集成网络切片、GPU 分区、弹性服务与可观测性,并在 JOINER 英国全国广域网上实现。评估显示不同服务层级呈现不同的时延-吞吐区间,权重流式传输可缩短扩容时间;流水线并行可容忍近中距离跨站点跳数,而张量并行与 prefill/decode 分离在超出单一子网跳数后失效。
研究者提出一个可解释的歌唱情感识别框架,使用一套紧凑的歌唱专属特征,涵盖韵律、频谱、语音学和演唱技巧。该方法结合 SHAP 和 GRAD-CAM 解码模型决策,特征可降低跨歌手差异;在 VocalSet 的跨域评测中发现颤音和咽部技巧是情感表达的关键线索,SHAP 显示颤音受咬字速率影响。
研究者发布旁遮普歌曲毒性数据集 PGT-FG,基于 YouTube 公开歌曲构建,最终含 392 首歌曲的 2,396 个片段,其中 705 段(29.42%)标注为有毒。四名母语标注者产出 2,870 条标注,涵盖二元毒性、八类细粒度类别、严重程度等字段,整体毒性标签 Fleiss' kappa 达 0.6521,暴力类最常见(539 段,76.45%)。数据集已在 Zenodo 公开,不含受版权保护的音频或歌词。
SAAF(Signal-Aware Adaptive Fusion)是一个基于视觉-语言模型的零样本视频异常检测框架,通过双信号自适应采样、阈值门控级联架构和信号感知加权融合三项创新降低计算成本。在四个 benchmark 上,SAAF 在 XD-Violence(92.07%)、MSAD(86.70%)和 ShanghaiTech(80.54%)AUC-ROC 创无训练零样本方法新 SOTA,其中 XD-Violence 和 MSAD 超越有监督基线。其吞吐在三个数据集上较此前最佳零样本方法提升 2.43×、2.63× 和 2.22×,代码已开源,论文被 WACV 2027 接收。
论文提出 Confusion-Aware Skill Evolution(CASE),首个面向多模态情绪识别的 agent-skill 框架,用稀疏自进化的 EmotionSkill 库处理语义相邻情绪间的系统性混淆,推理时动态检索技能并保持 MLLM 主干冻结。在 CA-MER、DFEW 和 EMER 上的实验显示,CASE 将 Qwen3-VL-8B 在 CA-MER 上的平均准确率从 46.80% 提升到 59.13%,且学到的技能可在不同冻结的 MLLM 主干间迁移。
研究者提出 PILOT 框架,将推理建模为潜变量,用先验-后验协同演进方式引导多模态嵌入模型的推理探索。在 78 项任务的 MMEB-V2 基准上,PILOT 在 2B 和 7B 参数下均超越主要基线,整体得分分别提升 3.2 和 3.3 分,其中视觉文档检索提升最大(+6.1 和 +6.4 分)。结果表明关系监督更适合作为塑造训练中推理探索的信号,而非事后奖励。
一项被 AACL 2026 Findings 接收的研究系统分析了 Transformer 视觉编码器如何处理文本及其语义。逐层探测显示,强跨模态映射仅在最深几层出现,且发生在单模态物体与文字识别形成之后,表征从表层向语义层面递进。该层级在对比训练模型中最强;更大的自监督模型和富含文本的训练数据可在无语言监督时部分支持类似行为。
研究者提出 Self-RefineVQA,一个免训练的推理时自我纠错框架,让单个 VLM 迭代扮演生成者、批评者和精炼者,改进表格视觉问答。该框架无需额外标注数据或模型更新,在单语与跨语言表格 VQA 基准上均带来一致的准确率提升,尤其显著提升小模型表现,使 2B-7B 参数的轻量模型可媲美大得多的模型。推理成本呈线性增长,但省去了 SFT 所需的专家标注瓶颈,累计成本更低。