跳到正文
10月9日周五
  1. arXiv · cs.CL11

    ILM:一款 AI 驱动的互动式教育故事工具

    研究者推出 ILM,一个面向先知故事的互动教育平台,结合阿拉伯语 NLP、知识图谱与检索式问题生成。系统通过 KG Constructor Engine 提取实体和叙事关系,支持可视化故事地图探索,并用多语言检索管线生成选择题与开放题,由 LLM-as-a-Judge 评判答案。平台还加入古兰经内容作为独立补充层,已有 demo 可用。

  2. arXiv · cs.CL51

    arXiv 论文揭示多语言模型中 tokenizer 选择对不同语言的影响差异

    Clara Meister 在 arXiv:2610.12144 发表论文,训练 123 个模型、跨 54 种 tokenizer,在架构与训练预算固定下比较 tokenizer 选择的影响。结果显示训练数据较少的语言受 tokenizer 影响更大,语言被排除出 tokenizer 训练会全面推高其 BPB,但给低资源语言更多 tokenizer 数据并不必然有益,且衡量 tokenizer 内在性质的指标可预测下游 BPB 排名。

  3. arXiv · cs.CL39

    EgoVoice:基于第一人称多模态流的主动式语音助手框架

    研究者提出 EgoVoice,一个用于训练和评估主动式第一人称语音助手的框架,让模型从连续视频与音频流中自主决定何时开口、说什么。该工作基于 HoloAssist 视频构建音频流数据,微调全模态 LLM 并用 DPO 优化主动干预行为。实验显示现有开源与闭源模型很少产生时机恰当的主动干预,而 EgoVoice 在干预时机、内容相关性上均优于零样本基线。

  4. arXiv · cs.CL34

    Latent Core Tokenizer (LCT):有意义的分词器压缩

    论文提出 Latent Core Tokenizer(LCT),一种语言无关的分词方法,用 Minimum Description Length、熵边界信号和形态约束在构建共享词表前识别可复用语言单元。在覆盖 104 种语言、200K token 词表的设置下,LCT 的 fertility 低于 BPE、Unigram 和 parity-aware BPE,MorphScore 更高,并在四个多语言下游基准上分别取得 1.48、1.83、2.00 分的聚合提升。结果表明仅靠压缩无法预测表示质量。

  5. arXiv · cs.CL50

    SpaceCast-Bench 基准发布:评估视觉语言模型的预测性空间推理

    Hongxing Li 等在 arXiv 发布 SpaceCast-Bench,首个直接评估视觉语言模型预测性空间推理的基准,包含来自182个真实场景的3862道题、16种任务类型,分静态感知、局部预测和全局预测三层。21个模型中最强者仅达58.0%,远低于人类的87.2%,空间特化模型接近随机水平;微调使 Qwen3-VL-4B 从34.0%提升到65.7%,并在六个域外基准上有宏观平均提升。

  6. arXiv · cs.CL43

    ViSkill:用演化的视觉原生技能强化 VLM 智能体

    研究者提出视觉原生技能学习框架 ViSkill,将成功交互编码为视觉技能卡片供 VLM 智能体调用,技能检索同时引导推理与奖励塑形,成功轨迹再蒸馏回技能库,形成技能积累与策略提升互相强化的闭环。在 Sokoban、FrozenLake 和 PrimitiveSkill 上,ViSkill 整体成功率达 0.89,加入冷启动机制后升至 0.91,优于所有受测专有与开源基线,且比标准 PPO 收敛更快。代码已开源。

  7. arXiv · cs.CL52

    WOVEN:将视觉世界建模融入多模态大语言模型的训练源与基准

    arXiv 论文 2610.12417 提出 WOVEN,一个面向视觉转移推理的训练源与基准,包含 36076 条覆盖 20 种场景、5 种动作和 8 种推理类型的样本。评测 GPT-5.4 和 Qwen3-VL-235B-A22B 等 38 个前沿多模态模型发现其远低于人类水平;用 WOVEN 训练后,每个约 2000 条的子集在 26 个外部基准中的 22 个带来最高 27.3 个百分点的提升,并可替代任务自身 30-50% 的训练数据。

    推荐理由:论文用约2千条子集就在26个外部基准中改善22个,给出了按推理操作而非场景选取监督的可迁移训练配方。

  8. arXiv · cs.CL45

    FastBench:流式 VLM 能否感知高动态真实世界视频流?

    研究者推出 FastBench,用于评估流式视频大语言模型(VLM)在真实世界高动态场景下的感知能力,包含 306 个 QA 对,覆盖八个领域、六种能力及前向、即时、回溯三类时间范围,并用 SAM3 和 CoTracker3 轨迹做答案验证。实验显示最强模型 Gemini-3.5-Flash 仅得 50.7%;Qwen3-VL-8B 采样从 2 FPS 提至 24 FPS 后由 32.9% 升至 44.6%,但随历史压缩增益饱和。免训练基线 ProactiveFrame 分别比稀疏均匀采样高 5.4 和 1.5 个百分点,仍远低于 oracle 引导聚焦。

  9. GitHub · 去对齐工具与仓库14

    enhansome 开源 Awesome-Multimodal-LLM:多模态大语言模型论文精选列表

    GitHub 上的 enhansome-Awesome-Multimodal-LLM 仓库收录了多模态机器学习尤其是多模态大语言模型(LLM)相关论文的精选列表。内容按教程、数据集、综述和核心领域分类,涵盖多模态理解、视觉中心理解、具身中心理解、领域专用模型与多模态评测,收录 Shikra、PandaGPT、mPLUG-Owl、InstructBLIP、BLIP-2、Visual ChatGPT、KOSMOS-2、Segment Anything、Video-LLaMA、RT-2 等论文及其代码、数据与项目页链接,并标注各仓库的 star 数与更新日期。

  10. GitHub · 灵魂体仓库43

    开源项目 Like-so(draw-for-llm):把涂鸦草图直接喂给 LLM

    GitHub 开源项目 Like-so(RyoK73/draw-for-llm)上线,提供一块画布,让用户随手画出难以用语言描述的想法,并直接交给 LLM 作为对话输入。作者强调项目不与 Figma、Canva、Excalidraw 比拼功能数量,而是主打简洁与速度,典型用途包括画应用界面草图给 LLM 当指令、生成 mockup 图和分享创意。

  11. arXiv · cs.AI28

    BEVPIPE:用可移植 GPU 计算部署 BEV 感知的算子失配问题

    BEV 感知模型依赖稀疏 3D 卷积与几何 scatter 操作,现有推理运行时无法表示,且稀疏卷积库均为 CUDA-only 并与 PyTorch 耦合。论文提出 BEVPIPE 框架,将模型切分为运行时管理的稠密子图和 voxelizer、sparse encoder、BEV projector 三个外部算子扩展,通过共享 GPU 内存连接。BEVPIPE 实现相比传统部署 19.5x 的端到端加速,保留 98.5% 的参考 mAP,并可跨不同 GPU 后端移植。

  12. arXiv · cs.AI22

    MSGAT:用于图文检索的多头脉冲图注意力与相似度空间融合方法

    研究者提出 MSGAT(多头脉冲图注意力网络)与 Sim-Fuse 相似度空间融合策略,用于基于脉冲神经网络(SNN)的图文检索(ITR),解决稀疏脉冲表示难以做跨模态对齐的问题。在 Flickr30K 和 MSCOCO 上,该方法在同等设置下优于 ANN 方法及现有 SNN 检索基线。仅用两个时间步即可达到与 ANN 对手相当或更优的性能,同时将模块级理论能耗降低 55%,代码随补充材料提供。

  13. arXiv · cs.AI38

    SDPAD:面向端到端自动驾驶的全脉冲驱动管线

    SDPAD 是一个全脉冲驱动的端到端自动驾驶规划管线,通过量化 ANN2SNN 转换、Spike-3D-Lift 和 Spike-QFormer 将预训练 ANN 感知栈转为整数脉冲形式。在 nuScenes 开环基准上,SDPAD 平均 L2 误差为 0.40m,碰撞率 0.12%,能耗仅 69.9mJ,不到近期 ANN 基线的 2%;在 NAVSIM navtest 闭环评测中达 86.3 PDMS,超过此前 SNN 规划器 SAD 4.3 分。作者称其为首个在端到端自动驾驶中评测的全脉冲驱动规划器。

  14. arXiv · cs.AI34

    CAMEO:超越报告模仿的临床感知多图像超声报告生成

    论文提出 CAMEO,一个临床感知、证据锚定的多图像超声报告生成框架,分三阶段学习视觉语言原语、跨视图证据锚定与临床感知偏好对齐。团队基于 USReport 构建 17,670 条配对图像训练数据和 21,869 条偏好对,并使用 25,631 条 PubMedVision-US 样本做领域适配。在 USReport-Distilled 基准上,CAMEO 将 BLEU-1 从 0.25 提升至 0.40、ROUGE-1 从 0.28 提升至 0.45、METEOR 从 0.27 提升至 0.43,ClinicalScore 从 55.02 升至 74.20,已被 BMVC 2026 接收。

  15. arXiv · cs.AI42

    Hi3D 3.0(Twinkle3D)发布:面向物体特定细节的高分辨率 3D 资产生成

    Hi3D 3.0 图像转 3D 生成系统发布,其几何模型 Twinkle3D 可生成 2048³ 分辨率的水密三角网格,并通过重新设计的 DiT 架构将扩散生成扩展至 300K 几何 token 序列,单步训练时间从约十分钟降至十秒。该单阶段模型在所有指标上超越四款商业系统,铭刻字符恢复率达 82.1%、精度 98.2%,而最强竞品召回率仅 21.7%。

  16. arXiv · cs.CL27

    MetaEncoder:探索用自然语言接口做多模态 System One 决策的双编码器极限

    MetaEncoder 将预训练的 Muse-Glimmer 30B 解码器微调为指令跟随的决策编码器,让用户请求和候选选项均以自然语言表达并支持图像、视频输入。其采用双编码器架构与单向对比学习,可覆盖小于 256 的封闭集和百万级开放集候选空间。在 11 个 benchmark 套件、190 个任务上的评测显示其部分超越 SOTA 多模态编码器,但在推理密集型任务上仍有局限。

  17. arXiv · cs.CL42

    UniData:通用多模态指令生成流水线

    研究者提出 UniData,一种通用指令生成流水线,可将简单的用户需求转化为多轮、多模态指令。该流水线先将需求扩展为多样事件,再借助 any-to-any 大模型生成多模态指令,并利用轮次间相关性修正无关与冗余的推理流程以提升数据质量。为训练该流水线,团队构建了涵盖九种模态、共 20,000 条数据的 UniDataset;实验显示 UniData 达到数据质量 SOTA,并能增强其他多模态模型的理解与生成能力。

  18. arXiv · cs.CL29

    SignRAG:统一的无 Gloss 手语翻译检索增强框架

    研究者提出 SignRAG,一个面向 decoder-only LLM 的无 gloss 手语翻译统一框架,结合层级预训练、目标域检索增强和检索感知强化微调(RUG-RFT)。该方法在多个 SLT benchmark 上刷新 SOTA,据作者所知是首个在 CSL-Daily 所有指标上超过 gloss 监督方法的无 gloss 方案。代码及不同规模模型已在 GitHub 开源。

  19. arXiv · cs.CL31

    超越语音描述文本:面向对话 TTS 的语音奖励风格规划(SRSP)

    一项 arXiv 研究提出 Speech-Rewarded Style Planning(SRSP),用冻结的下游 TTS 模型训练文本风格规划器,并以目标语音 token 的 teacher-forced likelihood 作为奖励,通过 GRPO 优化。在 ISCSLP 2026 CoT-TTS 语料英语子集上,SRSP 相比 Base LLM 与目标音频描述基线获得更高的语音风格和情感相似度、更低的 mel-cepstral distortion,在上下文恰当性与参考一致性评测上也优于所有基线。

  20. arXiv · cs.CL33

    SAGE:面向视觉定位的注意力汇感知引导增强方法

    一项 arXiv 研究(被 EMNLP 2026 Findings 接收)提出 SAGE(Sink-Aware Guided Emphasis),用于改进视觉语言模型解码器的视觉定位并减少幻觉。研究发现解码器早晚期层存在跨提示不变的注意力坍缩(PIS),中间层才负责视觉-语言对齐。SAGE 利用 CLIP、ViT、DINOv3 等骨干生成的 token 对齐 ROI 掩码,引导注意力从 PIS 转向查询相关区域,在多个公开基准上取得一致提升。

  21. arXiv · cs.CL29

    何时可以剪枝网络?多语言语音句法分析中中间神经网络作用研究

    研究人员在端到端语音句法分析中检验中间神经网络单元的作用,提出移除这些单元的更简架构,参数减少 12%,同时在 ASR 和解析任务上达到与先前方法相当或更好的性能。实验发现中间 NN 单元有助于在冻结预训练编码器时缩小表示差距,并在法语以及中低资源语言斯洛文尼亚语和 Naija 上进行了全面评估,还考察了训练数据规模与预训练语音编码器中间层的影响。论文将发表于 Findings of EMNLP 2026。

  22. arXiv · cs.CL28

    Prosody-to-Text:从低通滤波语音预测文本

    一项 arXiv 研究首次探索 prosody-to-text 任务,对 Whisper 进行微调,仅使用最低 12 个 Mel bins(约 450Hz 截止的低通滤波)恢复原句,WER 达 36%,其中 10% 的语句被完美还原,40% 的语句 WER 低于或等于 25%。给定正确前缀时,下一个 token 的预测准确率为 79%。结果表明低频语音特征与词汇内容的关联远强于以往认知,未来或可用韵律引导 LLM 的文本生成。

  23. arXiv · cs.CL28

    将英语质量分类器适配至多语言 LLM 预训练数据选择

    一项 arXiv 研究提出把现有英语质量分类器改造为多语言版本的方法,用于超过 100 种语言的 LLM 预训练数据筛选。方法是在 Transformer encoder-only 模型嵌入上训练小型 MLP,以机器翻译文本的英语分类器评分作为标签。1B、3B 和 8B 规模实验显示其效果与现有多语言模型过滤基线相当,且不损害区域与文化知识 benchmark,分类器还能泛化到训练数据未覆盖的语言。

  24. arXiv · cs.CL22

    MH-INDIC:超越平均值的印度孕产健康 LLM 文化对齐评测框架

    研究者提出 MH-INDIC 框架,通过 10 个孕产健康推理维度评测 LLM 在印度北部城市及半城市语境下的文化对齐,并基于对 102 名孕妇及产后女性的 26 项调查评估 10 个 LLM。结果显示多个模型可逼近人群级分布,但在不同人口与家庭画像上的行为差异显著低于真人群体。基于真人画像的条件化提示能提升画像对齐与对话质量评分。

  25. arXiv · cs.CL20

    音系感知分词用于德语语音识别:一项跨领域研究

    该研究在 Omnilingual ASR wav2vec 2.0 骨干上以 CTC 微调,比较多语言字符、BPE 和基于 Pythen 音节划分的音系感知三类分词器,共进行 40 次微调,在三个德语测试集(域内朗读、方言自发、标准德语自发语音)上评估。域内各分词器在 WER 和 CER 上表现相当;小词表下音节感知分词在方言和自发语音上占优。音素混淆分析显示各分词器错误模式相同,表明错误拓扑主要由声学编码器而非分词器决定。

  26. GitHub · 灵魂体仓库52

    OmniJev 开源多模态决策模型 OneJev,提供 0.8B 到 27B 四个尺寸

    OmniJev 发布 OneJev,一个多模态 System One 决策模型,可对截图、照片、视频和文本的类型化问题在单次前向中返回校准概率,提供 0.8B、4B、9B 和 27B 四个尺寸。模型基于 Qwen3.5 和 Qwen3.8 微调,支持 PyTorch、llama.cpp GGUF 和 Docker 部署,并开放 94,707 条训练数据及微调配置,采用 Apache 2.0 许可证。

  27. GitHub · 灵魂体仓库68

    goruck 开源 Home Generative Agent:Home Assistant 生成式 AI 智能体集成

    goruck 在 GitHub 开源 Home Generative Agent(HGA),一个为 Home Assistant 打造的 LangGraph 智能体集成,可用自然语言控制实体、生成并注册自动化 YAML、分析摄像头画面并做人脸识别,支持 OpenAI、Gemini、Anthropic 或经 Ollama 等本地运行。它用 pgvector 保存长期语义记忆,Sentinel 异常引擎以确定性规则负责安全告警,LLM 只建议不直接执行,并内置 Home Assistant 安全审计,可检查未上锁的门锁、新管理员账号、长期 token 等问题。

    推荐理由:README完整覆盖功能、架构和安装路径,能看出基于LangGraph的智能家居Agent与传统提示词透传集成的差异。

  28. GitHub · 去对齐工具与仓库57

    T-Translate 发布:内置本地模型的 Windows 桌面翻译工具

    Tianao0110 在 GitHub 发布 Windows 桌面翻译工具 T-Translate,支持划词翻译、截图翻译、悬浮窗实时翻译、播放内容转字幕和 PDF、Word、EPUB 等整篇文档翻译。应用自带 Qwen3-1.7B(1.8 GB)和 Hy-MT2-1.8B(1.9 GB)本地模型可离线翻译,API 密钥用 Windows 系统加密存储,提供标准、无痕、离线三种隐私模式,另接入 OpenAI、Claude、Gemini、DeepSeek、DeepL 等 11 个翻译源,支持 134 种语言,许可证为禁止商业售卖的 T-Translate License 1.0。

    推荐理由:作者本人发布的工具仓库,功能清单和模型文件大小写得具体,想搭本地隐私翻译环境的读者可以按需取用。

  29. GitHub · 灵魂体仓库20

    vertyco/vrt-cogs:Red Discord 机器人 cog 合集仓库

    GitHub 用户 vertyco 维护的 vrt-cogs 仓库收录了多种 Red Discord 机器人 cog,包括 ActivityHub 游戏菜单(含 Snake、Brick Breaker、2048 及每服务器排行榜)、接入 ChatGPT 的 AI 助手(支持嵌入向量优化 token 用量和自定义函数)、使用 OpenAI GPT-Image 模型生成与编辑图片的 ImGen,以及 BotArena、LevelUp、经济类工具等数十个模块。

  30. GitHub · 去对齐工具与仓库27

    QuakeLLMmap:AI 地震评估平台 Quakemap 技术实现指南

    Quakemap 是一个 AI 地震评估平台,采用自校正 RAG(CRAG)工作流,通过 LangGraph 管理状态,结合 Pinecone 向量检索(mmi-idx 索引,1024 维 cosine)和 Tavily 网络搜索回退,调用 Gemini 生成结构化地震评估并生成 shake map。后端为 FastAPI,前端为 React/Vite,云端依赖 GCP 的 Cloud Storage、BigQuery 和 Vertex AI,仓库提供从 GCP、Pinecone、Tavily 配置到本地开发的完整搭建步骤。

  31. GitHub · 灵魂体仓库22

    tgzh:基于 Qwen3-VL 的 Telegram 数学作业批改机器人(Apache-2.0 开源)

    GitHub 上的 tgzh 项目开源了一个 Telegram 机器人,可接收 6–11 年级学生的数学作业照片或文本答案并返回批改结果,教材目录与 gdz.ru 同步。后端使用 VLLM 部署的 Qwen3-VL 模型完成作业检查,配合 PaddleOCR 的 preocr 服务提升照片识别质量,支持 PostgreSQL 或 SQLite 存储。项目以 Apache-2.0 许可发布,通过 Docker Compose 一键启动 bot、FastAPI server、数据库与 Whisper 语音服务。

  32. GitHub · 去对齐工具与仓库56

    HammerMei 开源 agent-senses:为 LLM Agent 提供看、听、读等感知技能的 CLI 工具集

    HammerMei 在 GitHub 发布 agent-senses,为 LLM Agent 提供一组感知技能 CLI 封装,让没有原生多模态能力的 Agent 把感知任务委托给后端模型。目前 see(分析图像和 PDF)和 watch(抓取 YouTube 字幕、元数据和关键帧)可用,listen 和 read 规划中;每个技能返回带统一 error 约定的结构化 JSON,默认通过 Codex CLI 调用现有 OpenAI 订阅而非 API 计费,后端可用环境变量替换,依赖 yt-dlp 和 ffmpeg。

    推荐理由:原文给出了各技能的具体命令、依赖和 JSON 输出结构,便于判断如何让无多模态能力的 Agent 复用感知任务。

  33. GitHub · 灵魂体仓库23

    Shinichi0713/LLM-fundamental-study:LLM 与 VLM 基础学习仓库

    GitHub 仓库 Shinichi0713/LLM-fundamental-study 用于学习 LLM 与 VLM 的基础机制,作者正在编写一本从零构建 LLM 的书籍。仓库涵盖 RNN/LSTM、CNN、Transformer 的对比、LayerNorm 稳定训练原理,以及 Attention 机制中 Q、K、V 的计算方法(softmax(QK^T/√d_k))和 Multi-Head Attention 的特点,另附 LLM 与 VLM 学习路线图。

  34. GitHub · 去对齐工具与仓库31

    VEMO 开源:AI 语音情绪日记项目(voice-emotion-diary)

    学士论文项目 VEMO 开源,这是一款基于 Flutter 与 FastAPI 的 AI 语音日记应用,可识别语音和文本中的愤怒、快乐、悲伤、中性四种情绪并生成共情回复。系统使用 Whisper Large V3 做语音转文字(WER 为 34.28%),语音情绪模型结合 Wav2Vec2 与逻辑回归达到 74% 准确率,文本情绪模型达到 88% 准确率,训练约使用 10,000 条语音和 8,000 条文本样本,并按日、周、月分析情绪变化趋势。

  35. GitHub · 灵魂体仓库48

    order-intake-ai:本地模型把订单邮件、PDF 和照片转成 ERP 可导入订单

    GitHub 开源项目 order-intake-ai 用本地模型(Ollama 运行 qwen2.5vl 7B)把客户订单邮件、PDF 和照片转成 ERP 可导入订单,全程不调用 OpenAI 或云端 API。在 761 条 held-out 订单行测试中,加入客户记忆后自动匹配率达 87.9%,且 0 次错误自动匹配;难以确认的行送人工审核并给出 top 3 候选。

  36. GitHub · 灵魂体仓库34

    AI 工程师个人网站 DB-25/ME 开源发布

    AI 工程师 Dhruv Kamalesh Kumar 开源了个人网站 DB-25/ME,全页由约 6 万个粒子构成,可随章节重组为肖像、地球、图表等形态。访客输入身份后,tool-calling 模型(后端为 Cloudflare Worker + OpenAI)会驱动页面滚动、聚焦作品并绘制 SVG,离线时播放由真实内容生成的脚本片段。技术栈包括 Next.js 16 静态导出、React 19、three.js / react-three-fiber 自定义 shader、GSAP ScrollTrigger + SplitText、Lenis 和 Tailwind v4。

  37. GitHub · 灵魂体仓库32

    MEIRA:离线 Android 厨房助手,拍照识别食材并推荐食谱

    MEIRA 是一个面向 Android 的离线厨房助手:拍摄食材后为每种食材编号标记,用 PP-OCRv5 读取包装标签,并从本地食谱书推荐菜品,支持语音与文字提问。模型组合包括 D-FINE small 检测器(42 MB,在 APK 内)、Qwen3.5-0.8B instruct(0.7 GB)、Whisper small int8(0.4 GB),后者一次性下载后完全离线运行,数据不离开手机。仅食材检测器经过微调(60 epochs、3,842 张照片、90 类),要求 Android 9+、arm64、至少 6 GB 内存,代码采用 Apache-2.0 许可。

  38. GitHub · 灵魂体仓库42

    Xorbits Inference(Xinference)3.0.0 发布

    Xorbits Inference(Xinference)发布 3.0.0 版本,提供语言、语音识别与多模态模型的部署和服务能力,支持单命令部署。新版本集成 Xagent 实现动态规划、工具调用与自主多步推理,新增自动批处理以提升吞吐,并内置 Qwen-Image-2.1、MiniCPM5-2B、MinerU2.5 等多款新模型。该库支持 OpenAI 兼容 RESTful API、分布式部署及 GPU/CPU 异构硬件加速,并提供企业版和 Xinference Cloud 托管服务。

10月8日周四
  1. GitHub · 灵魂体仓库41

    heravision 开源工具:为纯文本 AI 模型提供屏幕视觉理解能力

    开源工具 heravision 让 DeepSeek、GLM、Claude Code、Cursor 等纯文本 AI 模型"看见"并理解电脑屏幕内容,将界面视觉信息转为文本描述。它基于 Go 编写,完全离线运行,原生支持 MCP,内置 UI 结构提取、元素定位和视觉描述三个工具,无需 GPU,仅在分析时占用约 2–4% CPU。该项目采用 MIT 许可证,支持 Windows 7–11,兼容 10 年以上旧电脑。