跳到正文
10月7日周三
  1. arXiv · cs.AI23

    IEEE 802.11bx WLAN 智能网络(WIN):迈向 AI 就绪的 Wi-Fi 9

    一篇 IEEE 802.11bx(WLAN Intelligent Networking,WIN)标准化进展综述,梳理 Wi-Fi 9 如何以 AI 为核心驱动力。文章从三个维度分析 AI 的角色:AI 作为协议(用于 PHY/MAC)、AI 作为平台(Wi-Fi 基础设施提供 AI 计算)、AI 作为流量(需新的流量处理策略),并以扩展 EDCA 支持 AI 流量区分为案例。

  2. arXiv · cs.AI19

    基于控制的动态优化实现多样化运动定制(CMC)

    研究者提出 Control-based Motion Customization(CMC)训练框架,用随机最优控制(SOC)解决视频生成运动定制中的内容泄漏问题,使生成结果保持参考视频的目标运动而不受其外观影响。该框架无需显式奖励,引入仅作用于早期生成阶段的 timestep-adaptive motion cost,将训练加速 2.5 倍。实验表明 CMC 能有效抑制内容泄漏,在保持基座模型多样性的同时实现有竞争力的运动保真度。

  3. arXiv · cs.AI18

    面向胃腺癌全切片图像分类的多模态知识蒸馏框架

    研究者提出多模态知识蒸馏(MKD)框架,用 Low-Rank Multimodal Fusion(LMF)融合预训练 WSI 图像编码器与临床文本编码器,由教师模型学习图像-文本融合表征,学生模型蒸馏后仅凭图像即可推理。在 PatchGastric 基准上,该方法平均准确率比 SOTA 至少高 3.35%,且不依赖 transformer 融合、多任务学习或大语言模型,源代码已开源。

  4. arXiv · cs.AI17

    ACML:面向多模态学习的动态对齐与校准框架

    arXiv 论文提出 Alignment- and Calibration-driven Multimodal Learning 框架 ACML,针对静态跨模态对齐导致过度对齐、置信度融合忽视特征幅度差异两大问题。框架包含动态跨模态三元组对齐模块和差异感知注意力校准策略。在多个多模态基准数据集上的实验显示,ACML 性能与鲁棒性持续超越近期 SOTA 方法。

  5. arXiv · cs.AI27

    SALT:让视觉-语言-动作模型在执行中适应未知视觉干扰

    研究者提出 SALT 方法,利用动作 chunk 的剩余轨迹作为自监督,对视觉-语言-动作(VLA)模型在执行中遭遇的未知视觉干扰进行测试时自适应,无需干扰标注、专家动作或目标域演示。在 LIBERO-10 上,SALT 将 SmolVLA 的五类持续视觉干扰平均成功率从 43.9% 提升至 53.2%,GR00T N1.7 从 58.7% 提升至 66.0%。真机实验中,任务进度从 0.49 提高到 0.61。

  6. arXiv · cs.AI51

    PixelTriage 论文提出在回答前预测哪些检索到的图像值得送入像素

    arXiv 论文 2610.07984 提出 PixelTriage,一个放在检索之后的即插即用小模型,根据对话、简短笔记和缩略图预测每条检索记忆的像素能给答题模型带来多少增益,无需读取全分辨率图像。它用冻结 27B 模型对比有无像素的合成记忆数据进行训练。在 7B 答题模型上,PixelTriage 处于 M^3Exam、DMV 和 MemEye 的精度-成本前沿,仅用 11 到 23% 的视觉 token 而精度无明显下降,在 DMV 上比打开全部图像快 2.9 倍,同预算下优于按检索顺序和统一降采样,并可迁移到其他记忆系统和 397B 答题模型。

  7. arXiv · cs.AI54

    DSV-Mem:面向专业工作流的多模态记忆评测基准发布

    Jike Zhong 等发布 DSV-Mem 基准,用于评测多模态大模型 Agent 在专业工作流中的稠密有状态视觉记忆,含 1,000 道题和五类问题,覆盖 27 种模型与记忆管理配置。最强基线得分低于 45%,分析显示状态演进尤其是主导更新次数是主要难点,而对话长度、OCR 和算术并非瓶颈,状态感知设计比增加推理量更有效。基准与代码将公开,论文链接 https://arxiv.org/abs/2610.08102v1。

    推荐理由:论文分析了 27 种配置下的失败模式,指出状态更新追踪而非对话长度才是主要瓶颈,对记忆系统设计有参考价值。

  8. arXiv · cs.AI36

    ChartBmkAgent 提出用 harness 治理的多智能体框架按错误分类学按需构建 Chart QA 基准

    论文提出 ChartBmkAgent,可从稀疏的错误分类学规范出发,由中央 harness 治理多个专用智能体自动构建完整的 Chart QA 诊断样本,保留英文原名。在 300 个分类学样本上,多模态大模型准确率介于 32.7% 到 84.3%;定向跟进样本得分 50.0%,对照样本为 82.2%(p=8.96×10⁻⁶)。多个评估模型判定 86.4% 的样本确实测试了指定的错误类别。

  9. arXiv · cs.CL43

    MoE 视觉语言模型多模态安全:读取而非操控 Router Logits

    一项 arXiv 研究发现,MoE 视觉语言模型的 router logits 能高度预测多模态输入是否安全,据此提出一种轻量级路由信号安全检测器,在 prompt prefill 阶段读取信号并在生成前识别不安全请求,无需修改模型参数或专家路由。该检测器在 Qwen3-VL 和 Kimi-VL 上显著降低 HoliSafe 基准的安全错误,并泛化到 MISHard 和 MM-SafetyBench 等分布外基准。

  10. arXiv · cs.CL43

    统一多模态模型的视觉拒绝研究:Draw-or-Decline 基准与 VisTA 训练方法

    研究者提出统一多模态模型的“视觉拒绝”问题,并发布含 1050 对可行-不可行请求、覆盖 7 类任务的 Draw-or-Decline 基准。评测 8 个 UMM 发现编辑与拒绝能力相互独立:最强编辑器编辑准确率 68.4%,但普通指令下仅拒绝 0.4% 的不可行请求。所提 VisTA 训练方法训练的 VisTA-BAGEL 无需提示即可拒绝 93.0% 的不可行请求、误拒仅 0.8%,并以 74.3% 的可行编辑完成率超过全部 8 个被测模型。

  11. arXiv · cs.CL52

    VisionWeave 论文提出弹性视觉表征编织能力,在 Qwen3.8-27B 上平均节省 43.0% token

    论文提出 VisionWeave,让多模态大语言模型端到端学习在何处及以何种粒度分配视觉表征。方法结合门控空间池化器与粒度路由器,通过自蒸馏在 Qwen3.5-4B 上验证并扩展到 Qwen3.8-27B,训练耗资超过 30K A100 GPU 小时。基于 Qwen3.8-27B,该方法在八个基准上平均节省 43.0% token 并保留 98.9% 原生性能,优于固定 50% 节省目标下仅保留 88% 性能的 token 剪枝基线;部署于 SGLang 时吞吐提升 2.3x,平均 TTFT 降低 54.4%,平均 TPOT 降低 60.6%。

    推荐理由:论文给出了弹性视觉表征的端到端训练方案与 token 节省、性能保持和部署吞吐的实测数据,读者可对比 token 剪枝基线评估其取舍。

  12. arXiv · cs.CL23

    语言模型具备文字系统知识吗?——小模型与大模型的多文字实验研究

    一项 arXiv 研究通过测试多文字语言,考察小型与大语言模型(SLM 与 LLM)是否具备文字系统知识。两项实验评估模型是否将输出文字匹配输入文字,以及是否按明确指令生成指定文字。结果显示所有模型 Latin 文字保真度超过 98%,且高频遵循文字指令,其中 LLM 表现更好,包括非标准文字组合。

  13. arXiv · cs.CL28

    DirectSpeech2LLM:一个缓解 Speech-LLM 提示词过拟合的简单端到端框架

    DirectSpeech2LLM 是一个端到端框架,解决 Speech-LLM 仅用 ASR 指令训练后无法泛化到新指令的提示词过拟合问题。它在冻结的 LLM 嵌入矩阵上计算基于距离的 CTC loss,仅用 960 小时 LibriSpeech ASR 数据训练,即在 ASR 上超越级联系统,并对语音翻译和情感识别两个未见任务实现零样本泛化。结果在两个 LLM 家族上保持一致,并随训练数据和模型容量增长而提升。

  14. GitHub · 灵魂体仓库45

    Read Frog:AI 驱动的开源浏览器沉浸式翻译与语言学习扩展

    开源浏览器扩展 Read Frog 将网页阅读转化为语言学习体验,提供双语/纯译文切换、选中翻译、上下文感知翻译、YouTube 字幕翻译和基于 Edge TTS 的 150+ 音色朗读。它通过 Vercel AI SDK 接入 OpenAI、Claude、Gemini 等 20+ AI 提供商,智能批量请求可节省最多 70% 的 API 成本,并可将词汇保存到 Notebase 制成间隔重复闪卡,支持 Chrome、Edge 与 Firefox。

  15. GitHub · 灵魂体仓库58

    Pixeltable 开源多模态数据库与编排服务工具,支持 Agent Skill 与 MCP 接入

    Pixeltable 是一个把多模态数据库、编排和 HTTP 服务合并到单一应用文件的开源工具,图像、视频、音频和文档存放在表中,变换作为计算列,索引和路由均为声明式。提供 pip install 'pixeltable[serve]' 安装、pxt CLI 管理表和 HTTP 服务,可通过 pxt schema update 和 pxt service update 部署应用,并支持运行在 Pixeltable Cloud。项目还提供 Agent Skill、MCP server、Cursor 与 Claude 插件等接入方式,内置聊天与视频搜索示例应用,采用 Apache 2.0 许可证。

  16. GitHub · 灵魂体仓库8

    GitHub 仓库 xmosan/social-media-llm:Sabeel Vision 图像生成与 PostgreSQL 灾备方案说明

    GitHub 上的 xmosan/social-media-llm 仓库(Mohammed Hassan 所有、仅供学术评分)说明其 Sabeel Vision 图像生成仅在生产环境使用 OpenAI,默认模型为 gpt-image-2.5-sunburst,回退模型为 gpt-image-2.5-flare,超时 120 秒,仅在 HTTP 404、429 或 503 时触发一次回退。灾备方面,应用每日 03:00 UTC 通过 pg_dump 17 生成 gzip 压缩 SQL 备份,可上传至 S3 并保留最新 14 份远程快照;恢复需先在隔离的 PostgreSQL 17 数据库中验证后再切换。

  17. GitHub · 灵魂体仓库50

    Obsidian 插件 Gemini Helper 开源发布,提供 AI 聊天、工作流自动化与 RAG

    takeshy 在 GitHub 开源了 Obsidian 插件 obsidian-gemini-helper,基于 Google Gemini API 提供流式 AI 聊天、文件附件、vault 操作、斜杠命令和 RAG 检索。插件提供可视化节点编辑器支持 24 种节点类型的工作流构建、MCP 工具调用、Agent Skills、OKF 知识源,以及基于 RSA+AES 的聊天与工作流日志加密;免费和付费 API key 均可使用基础功能,RAG 同步和图像生成在免费档受限。

  18. GitHub · 去对齐工具与仓库57

    NVIDIA NeMo AutoModel:基于 PyTorch DTensor 的 SPMD 开源训练库

    NVIDIA 开源的 NeMo AutoModel 是 PyTorch DTensor 原生的 SPMD 训练库,支持 LLM、VLM、扩散模型和检索模型的预训练、SFT、LoRA/QLoRA 微调与知识蒸馏。同一训练脚本通过修改 device mesh 配置即可从 1 GPU 扩展到 1000+ GPU,支持 FSDP2、TP、CP、PP 等可组合并行、FP8/MXFP8 训练、MoE 加速(DeepEP)、序列打包与异步 checkpointing,与 Hugging Face 生态兼容实现 day-0 模型支持。

    推荐理由:官方仓库给出了从单卡到多节点的 YAML 配方和模型覆盖清单,读者可以据此评估是否用它做 LLM/VLM 微调。

  19. GitHub · 灵魂体仓库51

    开源多模型工作台 ClawAI 发布:多模态、团队协作与本地部署一体

    ClawAI 是一个把多家前沿模型放进同一工作区的开源项目,支持语音视频笔记、PDF 阅读、网页研究和生成 PDF、Word、Excel、PowerPoint 文件。项目含 22 个提供商(OpenAI、Anthropic、Gemini、DeepSeek、Ollama 等)、2-5 模型对比评审、按用量计费、团队管理,可通过 Ollama 和 llama.cpp 在自有硬件上本地运行,MIT 协议开源。

  20. GitHub · 灵魂体仓库29

    LivePhoneCall:可本地运行的中英双语 AI 语音通话助手发布

    LivePhoneCall 是一款可在 Windows 电脑本地运行的中英双语 AI 语音通话助手,支持通话中实时切换语言,无需云端依赖。它采用 Qwen3 ASR 做实时语音识别、TTS 以自然语音回复,LLM 可通过 API key 接入在线服务或本地运行开源模型。应用基于 Vue 构建,支持 PWA 手机访问和 Docker 部署。

  21. GitHub · 灵魂体仓库15

    Nisba009 开源 video-summarization-for-information-dense-content:快速生成信息密集视频摘要

    Nisba009 在 GitHub 上开源了 video-summarization-for-information-dense-content 工具,为信息密集视频快速生成摘要。它支持关键帧提取、文本检测、多模态处理,集成 FFmpeg,可自定义摘要长度与输出格式,支持 MP4、AVI、MOV 格式。项目基于 MIT License 开源,要求 Windows、macOS 或 Linux 系统,至少 4GB 内存和 500MB 存储空间。

  22. GitHub · 去对齐工具与仓库59

    RubyLLM 2.0 发布:Ruby 原生 AI 框架统一 19 家服务商 API

    RubyLLM 2.0 发布,这是一个 Ruby 原生 AI 框架,通过统一 API 接入 OpenAI、Anthropic、Gemini、DeepSeek、Ollama、OpenRouter 等 19 家服务商及任意 OpenAI 兼容端点。功能覆盖聊天、图像与视频生成、语音转写与合成、OCR、embeddings、rerank、内容审核、工具调用、Agent、结构化输出、流式响应、成本追踪与批处理等,并内置 Agent 评测(RubyLLM::Evaluation)与 Rails 集成(Active Record 持久化、Hotwire 流式聊天 UI)。

    推荐理由:原文完整列出了 RubyLLM 2.0 的功能清单、支持的服务商列表和 Rails 集成方式,Ruby 开发者可以据此评估是否在自己的应用里直接采用。

  23. GitHub · 去对齐工具与仓库64

    stabgan/openrouter-mcp-multimodal:面向多模态 AI 智能体的 MCP 服务器

    stabgan 发布 openrouter-mcp-multimodal,一个生产级 MCP 服务器,通过一次安装提供 19 个工具,将 Cursor、Claude Desktop、VS Code、Windsurf、Cline 等 MCP 客户端接入 OpenRouter 的 300+ 模型,覆盖文本、视觉、音频与视频的分析和生成。支持 :nitro/:free 等模型后缀、异步视频任务与进度通知、路径沙箱与 SSRF 防护、MCP 2025-06-18 结构化输出,含 1018 个单元与 mock 测试及 16 个在线集成场景;免费模型如 google/gemma-4-26b-a4b-it:free 可直接用于聊天和视觉任务,音频/视频生成通常需要付费额度。

    推荐理由:README 给出了 19 个工具的能力清单、安全沙箱与 1000+ 测试规模,读者可据此评估是否接入自己的 MCP 客户端。

  24. Reddit · r/LocalLLaMA54

    独立开发者展示本地实时世界模型:单张图像转可玩角色,支持运行中切换文本提示

    Reddit 用户 /u/lucidml_lover 展示其训练中的本地实时世界模型,可将图像转为可玩角色,支持生成中切换文本提示和 WASD 键盘操作。模型约 960M 参数,采用纯 Transformer 与 diffusion forcing 训练,在 RTX 5090 上以 30% 利用率实时运行,峰值 50-60 fps(软件限至 12fps),M5 MacBook 上达 30fps,训练用了 8x H100 SXM 约 3-4 周。作者计划年底发布供本地用户试用。

  25. Reddit · r/LocalLLaMA68

    EmpirioLabs 发布开放权重决策模型 Aplomb 1:5.3B、1M 上下文、多模态单请求输入

    EmpirioLabs 发布开放权重决策模型 Aplomb 1,基于 Qwen3.5-4B 并采用 Qwen3-Omni-30B-A3B-Instruct 的音频编码器,将上下文窗口从 262K 扩展到 1M tokens,可在单请求中读取文本、JSON、图像、视频和音频。

    推荐理由:官方公布了 Decision Index、MMLU-Pro 等基准分数和长上下文推理耗时,且完整跑分公开可查,便于自行核验。

  26. Hugging Face · 趋势模型67

    面壁 MiniCPM-V 4.7 35B-A3B 发布 GGUF 量化版

    openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF(llama.cpp)量化版,原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体,官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样,成为首个可无损流畅端侧运行的开源 MoE 模型,在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s;Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。

    推荐理由:官方说明了 LES 预取、分层量化与投机采样如何配合,让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。

  27. Hugging Face · 趋势模型42

    面壁 MiniCPM-V 4.7 发布 1B 版本

    面壁的 MiniCPM-V 4.7 系列新增 1B 版本,Instruct 模式下基础能力超越 MiniCPM-V 4.6,并在综合得分与推理效率上大幅超过 Qwen3.5 0.8B。该模型采用 LLaVA-UHD v4 的 intra-ViT 早压缩技术,支持 4x/16x 视觉 token 混合压缩,可部署于 iOS、Android 和 HarmonyOS,并提供 SGLang、vLLM、llama.cpp、Ollama 推理支持及 GGUF、BNB、AWQ、GPTQ 与 FP8 量化版本。

  28. Reddit · r/LocalLLaMA59

    Google DeepMind 开源多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布开放权重的多模态嵌入模型 EmbeddingGemma 2,可将文本(含代码)、图像、视频、音频及其组合映射到统一的 768 维向量空间,权重已上架 Hugging Face(https://huggingface.co/google/embeddinggemma-2)。

    同一新闻,精选展示《Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2》

  29. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1-Uncensored GGUF 量化版本发布,支持本地图像生成

    QUBITABHAY 基于 Qwen/Qwen-Image-2.1 原始权重发布 Uncensored 版 GGUF 量化,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式,其中 Q4_K_M 约 4.60 GB,被推荐为体积与质量的最佳平衡。该版本无内置安全检查器,可直接生成 NSFW 等敏感图像;配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 加载,文本编码器卸载到内存可节省 9–17 GB 显存。

10月6日周二
  1. GitHub · 灵魂体仓库18

    jincheol5 开源 Food_Info_ETL:基于 LLM 的食品营养成分 ETL 自动化流水线

    GitHub 上的 Food_Info_ETL 是一个基于 LLM 的食品图像营养成分信息 ETL 自动化流水线,使用 LangChain 构建图像加载、LLM 信息提取与转换、结果验证到 MongoDB 加载的完整流程。模型通过 Ollama 部署,对比多个支持图像输入的模型后选用 Qwen3.5-9b 或 Gemma4-e2b。

  2. GitHub · 灵魂体仓库65

    CoderAI 开源:多后端本地模型编排器,提供 OpenAI 兼容 API

    nextime 在 GitHub 发布 CoderAI,一个多模态、多后端的本地模型编排器,提供 OpenAI 兼容 API,支持 NVIDIA CUDA、AMD 与 Intel Vulkan 后端。

    推荐理由:README 详列了多后端编排、集群分发与按秒租用 GPU 的升级路径,读者可以据此评估本地多模态推理栈的搭建方案。

  3. GitHub · 灵魂体仓库57

    PoLang(破浪相册)开源:AI Agent 驱动的端侧智能相册应用

    littleseven 在 GitHub 开源了 PoLang(破浪相册),一个 AI Agent 驱动的 Android 智能相册应用,MIT 协议、免费无广告,已上架 Google Play。

    推荐理由:开源的 Agent 驱动相册应用,README 给出了与 Queryable、PicQuery 的逐项能力对比和完整模块架构,可作端侧 AI 应用工程参考。

  4. Reddit · r/LocalLLaMA18

    不想再为云端视频生成付费:RTX 3080 10GB 上最佳本地图像与视频模型怎么选?

    一位用户上月为 Seedance 花了近 $2k 生成广告 b-roll 和网站循环背景,决定尽量转向本地运行模型。其配置为 RTX 3080 10GB、Windows 11、64GB RAM,需求是 5-8 秒、720p 的图生视频短片,现征求 10GB 显存下最佳图像与视频模型推荐及实际生成时长,并希望有可信的开源模型排行榜。

  5. arXiv · cs.AI43

    VideoTapestry:面向多智能体长视频理解的查询自适应记忆精炼框架

    VideoTapestry 是一个免训练的多智能体框架,通过粗到细的查询驱动精炼来适配预构建的三层分层视频记忆,各层由专门智能体负责检索与观察。相比直接 GPT-5.5 推理,该方法在 LVBench、LongVideoBench (Long)、Video-MME (Long) 和 EgoSchema 上分别取得 17.2%、14.9%、9.8% 和 7.0% 的绝对准确率提升,达到 SOTA。

  6. arXiv · cs.AI44

    MC-Sparse:弥合扩散 Transformer 中稠密与稀疏注意力的差距

    研究提出免训练的稀疏注意力框架 MC-Sparse,通过缓存查询分组、基于精确注意力概率选取的 KV 索引及稠密-稀疏输出残差,并在后续去噪步骤中复用,解决高稀疏度下生成质量下降问题。相比稠密注意力,MC-Sparse 在 Minimax-H3-Base 上实现 1.80× 去噪加速,在 3D 资产生成上实现 2.32× 加速,且质量损失可忽略。

  7. arXiv · cs.AI38

    UniSlider:面向连续图像编辑的感知均匀滑块

    UniSlider 是一种轻量级 LoRA 方法,将滑块与强度参数解耦,使感知距离随滑块值线性增长,并通过推理时的自适应采样重映射弥补低秩适配器无法完全均匀的不足。在包含 300 个连续编辑、评估均匀性、单调性、编辑保真度与身份保持的新基准上,UniSlider 优于所有先前方法,并在用户研究中获得偏好。