跳到正文
10月9日周五
  1. arXiv · cs.CL45

    S-Space:探索多模态语言模型中的空间工作空间

    一项 arXiv 研究发现 S-Space——多模态语言模型(MLLM)内部一个线性表示子空间,其中 object-token 表示编码水平、垂直和距离轴上的连续坐标,充当模型的内部空间工作空间。因果干预表明感知将物体位置编码其中,内部推理在其中变换视角,语言响应选择性读取它。诊断进一步显示 MLLM 能形成有效的空间表示,但在视角变化所需的空间变换上存在关键瓶颈。

  2. arXiv · cs.AI29

    PRISM:融合异构证据的检索增强多模态大语言模型用于临床预后预测

    研究者推出 PRISM,一种用于临床预后的检索增强多模态语言模型,结合逐特征数值 tokenization、近期加权的纵向 ECG 聚合和双模态人群记忆库,检索在表示空间进行,提示词不含个体记录。在 1,443 任务的 MDS-ED 基准上,PRISM 对恶化预测 AUROC 达 93.1%,ICU 入住 91.8%,死亡 92.8%,诊断 86.2%;消融显示用文本序列化替代数值 EHR 编码使 AUROC 下降 3.66 点。在外部 MC-MED 队列上,监督微调达到 0.8611 AUROC,高于本地训练的 gradient boosting 的 0.8227 和源模型 PRISM 的 0.7841。

  3. GitHub · 去对齐工具与仓库18

    MineGuard AI 开源:面向矿业的 AI 安全监控平台

    开源项目 MineGuard AI 是面向重型采矿作业的领域专用 AI 监控平台,用 YOLOv8 实时检测 PPE 违规,并由 LangChain 与 Google Gemini 驱动的 Agentic RAG 审计器对照 Mines Act, 1952、CMR、MMR 及 DGMS 通报自动生成法定违规日志。项目还提供交互式法规问答 Copilot 和 Streamlit 界面,置信度阈值为 0.50,采用 MIT License 开源,需配置 Google AI Studio 的 API key。

  4. GitHub · 灵魂体仓库38

    LipReadForAls:用 LLM 帮助 ALS 患者实现唇读发声

    开发者为患 ALS 的父亲开发了 LipReadForAls,利用 LLM 从摄像头识别无声口型出的古吉拉特语句子。index.html 用于日常使用,train.html 用于训练和录制句子,全部在浏览器本地运行,视频不离开设备,口型数据存于 localStorage。部署在 Azure Static Web Apps 时可登录后将训练数据同步到私有存储容器。

  5. Reddit · r/LocalLLaMA62

    腾讯 Youtu-Parsing-Omni 发布:5B 全模态解析模型,OmniDocBench v1.6 得分 96.96

    腾讯在 Hugging Face 开源 Youtu-Parsing-Omni,一个 5B 全模态解析模型,单次输入文档页、自然图像、图表、流程图、几何图形、音频或音视频,按任务提示词输出统一 JSON 结构,覆盖版面、表格、公式、ASR、OCR、声学事件等感知结果与描述类认知结果。模型在 OmniDocBench v1.6 拿到 96.96 Overall,OmniParsingBench 平均 75.08 为最佳开源权重模型(仅次于 Gemini-3-Pro),并附带 vLLM 插件与推理示例。

    推荐理由:原文给出了 5B 尺寸模型在 OmniDocBench v1.6 和 OmniParsingBench 上的具体分数,可据此评估它的文档与多模态解析水平。

  6. GitHub · 灵魂体仓库30

    bbardakk 应用自然语言处理开源教材:从 Token 到智能体,39 章 EN/TR 双语交互式书籍

    bbardakk/uygulamali-dogal-dil-isleme 仓库发布了 ODTÜ 应用 NLP 课程的公开交互式书籍,共 39 章加 6 个附录,含英文与土耳其文两个版本。技术栈为 Quarto book 搭配 GitHub Actions 与 GitHub Pages,交互组件用 Observable JS 在浏览器运行,代码章节采用 Python + Jupyter engine。另有配套的章节 notebooks 与课程 slides 仓库,文本采用 CC BY 4.0、代码采用 MIT 许可。

  7. GitHub · 灵魂体仓库50

    ZaunEkko 开源 selection-ai-assistant:Windows 桌面划词与截图翻译助手

    ZaunEkko 在 GitHub 发布 selection-ai-assistant,一款 Windows 桌面 AI 划词与截图翻译助手,当前开发线为 v0.3.x,仅正式支持 Windows 11。支持选中文本触发翻译、替换、解释、总结、代码与报错分析,截图热键框选可识别图片字幕和不可选中界面文字,兼容 OpenAI-compatible、Anthropic Messages API 和 Gemini API。项目还写明了隐私边界与已知限制:API key 目前明文本机存储、Windows 二进制未签名、macOS 与 Linux 系统级划词尚未实现。

  8. arXiv · cs.AI48

    多模态大模型为何读不出「眯眼可见文字」:SquintBench 诊断与 Squint OPSD 训练方法

    arXiv 论文提出 Squint Text 概念,指多模态大模型无法读取人类眯眼可辨认的、嵌入图像粗结构的文字,并发布包含 1076 张生产环境审核图片的 SquintBench。诊断显示空间选择是主要瓶颈。提出的 Squint OPSD 训练方法让冻结教师以缩放视图和真实转写为特权上下文监督学生模型,推理时学生仅凭原图即达 88.61 ANLS,而未适配骨干仅 26.50。

  9. GitHub · 去对齐工具与仓库42

    rx2fhir 开源项目:手写处方图片转验证过的 HL7 FHIR R4 MedicationRequest

    开源项目 rx2fhir 将手写处方图片转为经过验证的 HL7 FHIR R4 MedicationRequest,中间设有药剂师式人工审核环节。视觉语言模型(默认 qwen2.5vl:7b,经 Ollama 或 OpenAI 兼容接口)只负责转录,确定性代码解析 1-0-1、BD、5/7 等印度处方简写,将品牌药映射为带 RxNorm 编码的仿制药并生成 FHIR transaction Bundle。项目内置约 50 个印度品牌的处方集、两层校验与置信度评估,未经具名审核人批准的输出始终保持 draft 状态。

  10. GitHub · 去对齐工具与仓库57

    cue-kit v0.2.1 开源:把视频转成带时间戳转录和帧序列供 Claude 等大语言模型分析

    atlas-bear 发布 cue-kit alpha 版,一个把 URL 或本地视频转成抽帧加时间戳转录的 CLI 工具,让无法真正看视频的 LLM 能基于画面和音频内容作答。内置 Claude Code skill,/cue-kit <url> <question> 一行即可调用;summary 和 transcript 模式已可用,training-doc 与 lecture-notes 模式仍在搭建中。工具依赖 ffmpeg 和 yt-dlp,支持 macOS、Linux、Windows(Python 3.10+),转录优先用原生字幕,无字幕时回退到 Groq whisper-large-v3 或 OpenAI whisper-1,帧画面不上传,敏感素材可用 --no-whisper 保证音频不出本机。

    推荐理由:原文完整给出了帧预算、转录回退和安装配置细节,读者可以直接评估这个视频转结构化文本工具是否适合接入 Claude Code。

  11. arXiv · cs.CL37

    MoE 模型如何用专家选择偏置克服数据不平衡

    一项研究提出基于输入类别的专家选择偏置方法,引导 MoE 大语言模型中的 token 路由到专门的专家子集,从而缓解预训练数据不平衡对少数类别的容量限制。在最大 10.6B 参数的模型上,该方法在多模态、低资源语言和代码任务上带来提升,在最小与最大模型规模下分别相当于多训练 18.5% 和 2.7% 的 baseline tokens,且保留标准 MoE 推理。

  12. GitHub · 去对齐工具与仓库21

    Attirely:多模态时尚搜索项目 Attirely-phase1

    Attirely 是一个多模态时尚搜索应用,用户可上传图片或文字描述来检索视觉与语义相似的商品。系统采用 MarcoCLIP 嵌入,Qdrant 稠密检索与 BM25 稀疏检索并行,价格、尺码、品类作为硬过滤规则,并可选 cross-encoder 重排序。每件商品附带由 LLM(Gemini)基于已验证商品属性生成的风格说明,后端 FastAPI,前端 React。

  13. arXiv · cs.CL45

    Vision Transformer 仅凭图像就能学会词义

    研究发现 DINOv3-H 和 DINOv3-7B 这两个视觉 Transformer 仅靠图像自监督预训练、无任何文本配对或标签监督,就能组织出词义结构。研究者通过词图像与匹配对照的嵌入差分分析发现,同行业品牌名、同语义域名词各自聚集,国家-首都词对呈现一致向量偏移,且与文本、语音编码器的表示结构相互对齐。这是已知首批展现出渲染文字语义结构的自监督视觉模型。

  14. GitHub · 去对齐工具与仓库15

    TimeLens:基于多模态 LLM 的视频时间定位分析工具

    TimeLens 是一个用多模态 LLM 重新思考视频时间定位的开源项目,支持视频分析、多模态数据处理和多种格式导出。它提供 Windows、macOS 和 Linux 版本,要求至少 4 GB 内存和 500 MB 磁盘空间,用户可通过 Releases 页面下载安装,导入视频后点击"Analyze"即可运行分析并导出结果。

  15. arXiv · cs.CL36

    音频语言模型评审生成音乐时究竟在听什么?基于专家评分的四项对照探针分析

    一项 arXiv 研究提出四项探针方法,检验开源音频语言模型作为生成音乐评委时评分究竟取决于音乐、文本提示词还是提问方式。在 MusicEval 全部 2,748 个片段及 SongEval 上的实验显示:无音频时没有任何评委超过仅凭提示词的预测,四个较小评委的成对评审跟随片段位置而非质量,改写指令对多数评委相关性的影响堪比更换评委。作者建议音乐评委报告全部四项探针结果。

  16. arXiv · cs.AI32

    AdaC-GRPO:用自适应课程学习攻克长程视觉数独推理

    研究者提出自适应课程学习方法 AdaC-GRPO,并发布细粒度基准 FG-Sudoku,用于训练模型完成需要多步演绎推理的视觉数独任务。前沿 MLLM 在 9*9 这类长程依赖谜题上几乎全部失败,导致标准 RLVR 因奖励稀疏而停滞。AdaC-GRPO 通过在线 rollout 准确率追踪模型"最近发展区"动态构建训练批次,使 Qwen2.5-VL-7B 接近 Gemini-2.5-Flash 的表现,并弥补与 Gemini-2.5-Pro 62.2% 的准确率差距,方法在 InternVL-3.5 和 Qwen3-VL 上也得到验证。

  17. GitHub · 去对齐工具与仓库30

    LLMmind_project:测量预训练语言与视觉模型和人脑活动表征对齐的 Snakemake 流水线

    LLMmind 是一个用 Claude Code 辅助编写的 Snakemake 流水线,通过最近邻图重叠衡量预训练语言和视觉模型的内部表征与 fMRI 人脑活动(200 个脑区的 per-stimulus ISC)的对齐程度。流水线支持 cosine、Pearson、Spearman 相似度,提供置换检验与超几何显著性检验,并计算模型-模型对齐和 Spearman 秩相关作为补充指标,输出热图、折线图等汇总图表。完整运行一次约需 31 小时。

  18. arXiv · cs.AI53

    KnowForge 提出角色分工的多模态文档问答智能体流水线

    KnowForge 论文提出按职能分工的文档问答流水线,包含知识点索引、只能检索的 Locator、桥接判断器、只能读文本图像表格的 Deep Reader 和格式检查合成器。自托管 Qwen3.6-35B-A3B 在 M3DocVQA 上达 F1 47.5,比 M3DocRAG 高 11.0,DeepSeek-V4-Flash 达 53.5;MultiHop-RAG 准确率 73.5,超过已发表最强 RAG 与 GraphRAG 的 71.2。消融显示把两个智能体合并反而损失 1.9 F1,论文开源了提示词、代码和三个基准的只读知识库。

    推荐理由:论文用消融实验拆解各智能体角色的贡献,还验证了合并多角色反而掉分,方法可迁移到其他 RAG 流水线设计。

  19. GitHub · 去对齐工具与仓库55

    SentryEye 开源实时交通事故检测系统,仅对约 0.1% 帧调用视觉 LLM

    作者 Nemili Enoch Das 在 GitHub 开源 SentryEye,用 CCTV 视频实时检测交通事故,通过三级级联(YOLOv11 + ByteTrack 检测跟踪、运动异常信号、Gemini 或 Ollama 视觉 LLM 校验)只在约 0.1% 的帧上调用昂贵的视觉 LLM,比逐帧运行大模型减少约 99% 调用量。系统输出 Pydantic 类型化事故报告,含事故类型、严重度、车道是否受阻与建议行动;在 TAD 基准上廉价门控达到 81% 召回、31% 误报,视觉 LLM 校验可剔除误报。作者还诚实记录了学习式门控未能稳定超过手工调优规则的实验结果。

    推荐理由:项目用真实事故数据给出了级联调用比例和召回率等实测结果,读者可以借鉴这种廉价过滤加昂贵校验的分层思路。

  20. GitHub · 去对齐工具与仓库53

    TheNomet/ocr-bench 开源:自托管 OCR 与 Claude 等 LLM 的文档读取对比基准

    TheNomet/ocr-bench 在 GitHub 上开源,用带精确 ground truth 的合成挪威文档对比自托管 OCR 模型(默认 baidu/Unlimited-OCR,vLLM 跑在 SageMaker GPU endpoint)与 Claude 等托管 LLM 的文档读取表现,测量速度、准确率和成本。流程分两阶段转录和字段抽取后打分,生成报告和静态站点;整套基础设施从一个 config 文件部署、一条命令销毁,也可指向任意 vLLM 服务器本地运行。MIT 许可。

  21. GitHub · 灵魂体仓库22

    888-Sniper/Creative-Intelligence:本地优先的广告素材效果分析工具

    Creative Intelligence 是一个为 Foap 构建的本地优先工具,将 Meta、TikTok 和表格导出的广告数据整合为统一数据集,并按花费加权的表现基准评估每条素材。素材需经转录、帧采样、视觉标注、LLM 结构化的门控流水线处理,且必须经人工验证后才能导出一页报告。它通过统一 provider 层支持 OpenAI、Gemini、Anthropic、NVIDIA、DeepSeek 等 API,无需密钥即可用 fixture 数据运行。

  22. GitHub · 去对齐工具与仓库47

    TranscriptAI:将日语、印地语、英语会议转录转为结构化商业情报的开源项目

    开源项目 TranscriptAI 将日语、印地语、英语及混合语言的会议转录或音频(MP3/MP4/WAV/M4A)转化为结构化商业情报,可识别日语委婉拒绝、ねまわし、"はい陷阱"及印地语迂回表达,输出 8 种会议结果判定。项目采用本地 PII 脱敏并支持 Ollama 完全本地运行;内部基准中软拒绝检测 Binary F1 达 0.98,日语/印地语/英语二元准确率均为 100%,v5 流水线整体得分 93.8/100。

  23. Hugging Face · 趋势模型60

    Cloudflare 开源 30B-A3B 多模态 MoE 模型 Clef-Omni

    Cloudflare 在 Hugging Face 发布 Clef-Omni,一个 30B-A3B 的 MoE 多模态模型,从 Qwen/Qwen3-Omni-30B-A3B-Instruct 后训练而来,把状态与类型化问题 schema 在单次前向中转为每个选项的概率,不做自由文本生成和输出解析。模型支持文本、JSON、图像、音频、视频输入,附联合 schema head 与 Jev/SystemOne 兼容 API,Apache-2.0 协议,bfloat16 下骨干约需 64 GB 显存。官方给出 Decision Index 0.2.1 内部跑分,如 BFCL 98.2、MMLU 92.7、GPQA Diamond 47.4,以及四条业务工作流的决策准确率。

    推荐理由:官方同时放出权重、加载代码和 Decision Index 0.2.1 逐项跑分,可对照 Clef 系列与 Jev 评估其决策型输出路线。

  24. GitHub · 去对齐工具与仓库30

    overtli-studio-suite 发布:为 ComfyUI 添加本地 AI 媒体创作工具集

    overtli-studio-suite 是一套为 ComfyUI 添加节点的工具集,可连接图片、视频、声音和文本 AI 服务,支持 LM Studio 本地工具与 Pollinations、OpenAI 云服务。用户需 Windows 10/11、16GB RAM(视频任务建议 32GB)、8GB 显存 NVIDIA 显卡和 10GB 磁盘空间。该套件解压到 custom_nodes 文件夹后随 ComfyUI 自动加载,支持文本生成图像、逐帧视频控制、语音和音乐生成。

  25. GitHub · 去对齐工具与仓库37

    VLMEvalKit:开源大型视觉语言模型评测工具包

    VLMEvalKit(python 包名 vlmeval)是开源大型视觉语言模型(LVLM)评测工具包,支持一条命令在多种 benchmark 上评测 LVLM,采用生成式评测并提供精确匹配与 LLM 答案抽取两种判分方式。近期更新包括对 thinking mode 模型的支持(新增 SPLIT_THINK=True)及长响应 TSV 格式保存(PRED_FORMAT=tsv),并已支持 Video-MME-v2、SeePhys 等基准和 200+ 模型、70+ 图像与视频 benchmark。

  26. arXiv · cs.AI21

    音频嵌入里还剩多少音频信息?对音频编码器的反演审计

    一项 arXiv 研究通过配对源重建评估音频编码器中保留的信息:用共享的 Stable Audio Open 潜在扩散解码器,从 VGGish、ConvNeXt、CLAP、EnCodec 的冻结表示中重建 5 秒 44.1kHz 立体声音乐。在 Million Song Dataset 上的评测显示不同编码器族可重建性差异明显,接口暴露的时间与频谱结构越细,恢复效果越好;即使是压缩的任务导向嵌入,重建结果仍保留可测的源特异性和高层音乐内容。

  27. arXiv · cs.AI37

    Syn-Omni:结构化特化与渐进协同的全模态嵌入框架

    研究者提出 Syn-Omni 全模态嵌入框架,包含 OME-LoRA(共享 LoRA 通路加各模态专家 LoRA 通路)与渐进协同路由(PSR),让模态专家先建立模态专属先验再逐步跨模态交互。在覆盖图像、视频、音频和视听任务的 81 个基准任务上,Syn-Omni 持续超越全模态基线,论文已被 EMNLP 2026 Findings 接收。

  28. arXiv · cs.AI34

    DVD:面向高效 MLLM 感知的动态向量解码方法

    研究者提出动态向量解码方法 DVD,统一 2D 与 3D 感知任务的表示,将边界框、掩码等感知表示转为 1D 向量序列并映射为紧凑离散 token,再由轻量 de-tokenizer 解码回原始表示,可无缝接入 MLLM。在 RefCOCO 系列、SUN-RGBD、KITTI、Hypersim、nuScenes 等 2D/3D 基准上,DVD 取得更优性能,并显著降低 token 开销与推理延迟。

  29. arXiv · cs.AI22

    ME-World:多智能体第一人称世界模型实现细粒度具身交互

    研究者提出多智能体第一人称世界模型 ME-World,将多智能体世界建模表述为多个智能体在共享世界中通过细粒度动作交互的同步 ego-stream 生成。该模型在共享 token 序列中联合去噪多路 ego 流,以各智能体目标视角位姿为条件,并用共享环境记忆锚定生成,同时引入环境、更新与身份一致性的 shared-world 一致性指标。在真实与合成多智能体数据上的实验显示,ME-World 在共享世界一致性、动作控制、身份保持和视频质量上均优于现有方法。

  30. arXiv · cs.AI36

    RiCo:基于局部接触推理的刚体交互神经模拟

    RiCo 通过对接触表面点的稀疏邻域建模,将物体间推理限制在邻近表面,从而提升刚体交互模拟的精度与接触保真度。在 MOVi-benchmark 上,RiCo 将 100 帧位置误差降低 31-35%、方向误差降低约 38%,相对真值的穿透时间和平均深度差异分别为 11.0% 和 2.22 mm。该模型可零样本泛化至含 270 个物体的场景,真实世界多球碰撞实验初步验证了 sim-to-real 迁移能力。

  31. arXiv · cs.AI11

    ContiLNN:用液态神经网络缓解切片采样不连续性,助力医学图像修复

    研究者提出 ContiLNN,通过双向闭式连续时间(Bi-CfC)模块为二维修复骨干网络增加跨切片建模能力,用于医学图像修复。在五个训练种子下,CT 去噪、MRI 超分辨率和减计数 PET 修复的 PSNR 较 Restore-RWKV 分别提升 0.1907、1.0176 和 1.2482 dB,三任务 RMSE 均更低。同等参数量下,Bi-CfC 比 Bi-GRU 延迟低 52.8%、峰值 GPU 显存占用低 57.0%。

  32. arXiv · cs.AI41

    GPD:用几何特权蒸馏提升视觉语言模型的空间推理能力

    论文提出 GPD(Geometry-Privileged Distillation),将深度、语义和鸟瞰图线索以紧凑文本形式路由给教师模型,通过特权 KL 仅对错误轨迹增强 GRPO,进行在线自蒸馏。在 4B 骨干模型上,GPD 在 VSI-Bench 达到 57.1,在 MindCube、SPARBench、MMSI-Bench 和 ViewSpatial 平均 37.6,超过 GRPO 和答案特权 OPSD,且部署模型保持仅 RGB 输入。

  33. arXiv · cs.AI18

    HANS:面向含噪混合文档解析的手写答题卡数据集

    研究者推出 HANS,首个面向真实教育场景的手写答题卡数据集,涵盖数学表达式、自然语言文本、手绘表格及涂改、划除等噪声模式,并附细粒度标注。基于 HANS 提出 NA-GOT 端到端框架,通过特征级噪声抑制模块与解码阶段噪声感知注意力实现两段式噪声抑制。实验显示 NA-GOT 在解题过程识别的准确率和稳定性上均显著提升,数据集将在论文发表后公开。

  34. arXiv · cs.AI38

    GeoReform:面向多模态几何解题的反思式形式化演化框架

    GeoReform 是一个反思式形式化演化框架,将几何形式化视为可优化的策略,通过收集失败推理样本、诊断表示缺陷并迭代改进几何实体、关系与约束的组织方式。在 Geometry3K 上,GeoReform 将 Qwen3VL-2B 的准确率从 42.0% 提升至 56.0%,表明有效的形式化是多模态几何推理提升的关键。

  35. arXiv · cs.AI34

    HRIL:通过高阶张量建模学习多模态协同信息

    HRIL(Higher-order Representation and Information Learning)提出用模态嵌入构建经验交叉矩张量,并经 Tucker 分解得到核心张量,配合协同感知正则项防止能量集中,以保留多模态表示中的高阶耦合信息。在受控协同任务和真实基准上,该方法持续优于现有多模态对比方法,在协同交互主导的任务上提升显著。论文已被 NeurIPS 2026 接收,代码已开源。

  36. arXiv · cs.AI26

    SpaceFlow:可局部控制的 3D 生成

    SpaceFlow 是一个无需训练的 3D 生成管线,可从文本描述加一组几何基元实现局部可控生成,用户能为每个区域指定严格遵循输入形状或允许生成式补全。生成结构会分割并与基元匹配,各部位仅以其分配的文本或图像线索为条件,限制跨部位泄漏。在固定几何的外观评测中,其 text-conditioned routing 达到 SOTA 的提示词忠实度与颜色/材质准确性。

  37. arXiv · cs.AI25

    Bi-FORK:面向高维分叉系统的生成式建模框架

    Bi-FORK 是一个生成式建模框架,用于学习高维分叉系统中一对多的解映射。它通过 latent flow matching 生成完整轨迹,并用 repulsion-guided sampling 在单次摊销推理中恢复不同解分支。在屈曲梁、机械超材料和 Allen-Cahn 相分离上的评测覆盖连续、离散和场值分叉,离散化最高达 260,000 个点,规模比已有方法扩展数个数量级。

  38. arXiv · cs.CL62

    小米 LLM-Core 团队发布 MiMo-V2.6 技术报告,通过扩展强化学习迈向自我改进

    小米 LLM-Core 团队在 arXiv 发布 MiMo-V2.6 系列全模态模型技术报告(arXiv:2610.11959),核心是通过扩展 RL 计算推动模型自我改进。RL 前先在多模态语料上做 mid-training,RL 计算沿三轴扩展:异步训练每步消耗 1,568 个样本、2.7-3.7B tokens,上下文最长 1M;环境覆盖代码、通用、视觉与 cyber 域;采用 groupwise agentic grading 提升长程任务奖励信号精度并引导更短的 token 高效解法。为稳定训练冻结了 MoE router 并建立多层防 reward hacking 机制,同时开源训练动态、RL 环境与 RL 框架。

    推荐理由:报告系统拆解了沿数据、环境、评分三轴扩展 RL 计算的工程细节,并开源训练动态与环境框架,可作复现参考。