跳到正文
10月24日周六
  1. GitHub · 3D 生成新仓库23

    PixelBudget:延迟与内存约束下的自回归图像生成研究

    UIT(VNU-HCM)研究员 Nguyen Huynh Dang Nhut 发布 PixelBudget 项目,研究在计算预算(GPU VRAM、缓存容量、内存带宽)与图像质量之间的权衡,在 NVIDIA T4 GPU 和多核 CPU 上实现像素级自回归生成。研究对比了自定义解析反向传播与 PyTorch autograd 的开销,并分析逐像素解码与并行 patch 生成的内存带宽瓶颈。项目含 68 个 cell 的 Colab notebook 及离线 HTML 报告。

  2. GitHub · 3D 生成新仓库11

    SriHarsha61 开源基于 DCGAN 的人脸生成项目

    GitHub 用户 SriHarsha61 发布了一个使用 DCGAN 生成人脸的开源仓库,包含 DCGAN.py 训练脚本、README、requirements.txt 及运行脚本 run.bat,并附带 samples_input_text.txt 与截图文档 SCREENS.docx。项目采用 Django 项目结构(manage.py、db.sqlite3),可直接在本地运行查看生成效果。

10月23日周五
  1. arXiv · cs.AI17

    PASTA:提示词感知的退火扩散采样

    研究者提出 PASTA,一种免训练的提示词感知退火扩散采样框架,用于在扩散模型生成图像时严格保留指定区域(如标题、logo 或 UI 元素)。该方法在共享潜空间轨迹上融合全提示词与上下文提示词引导,并通过退火调度在早期去噪阶段抑制语义泄漏、后期逐步恢复视觉一致性。实验表明 PASTA 提升了保留区域的保真度,同时保持整体图像真实感与感知一致性,论文已被 ICONIP2026 接收。

  2. arXiv · cs.AI34

    PhysTrace:视频生成模型物理一致性的可解释时序评估框架

    研究者提出 PhysTrace,一个无需训练的框架,将 MLLM 生成的历史条件预期与观测视频窗口对齐,以时序定位视频生成模型中的物理违规并给出可解释描述。配套发布的 IntPhys2-Timing 基准为 IntPhys2 加入违规时间区间,PhysTrace 在其上的 Hit Rate 最高达 70.7%,并在 IntPhys2 的可能-不可能判别总准确率上优于对比方法。应用于 diffusion/flow 视频模型的重建视频时,该框架可跨时间步揭示属性与噪声相关的物理违规定位模式。

10月22日周四
  1. GitHub · 3D 生成新仓库35

    KAIST 开源 MUNI:NeurIPS 2026 多模态统一潜在扩散模型官方 PyTorch 实现

    KAIST 团队开源了 MUNI(Multimodal Unified Latent Diffusion)的官方 PyTorch 实现,该工作已被 NeurIPS 2026 接收。MUNI 通过 product-of-experts 或 Hellinger 聚合结合模态特定高斯后验,并与基于 flow 的潜在先验联合训练,实验覆盖 image-text-audio、PolyMNIST-Quadrant-Labels 和 GMM 三类任务。代码需 Python 3.10 和 PyTorch 2.9.1,图像渲染默认使用 Stable UnCLIP。

  2. arXiv · cs.CL38

    CCG Diffusion:基于组合范畴语法的组合式与句法消歧文生图生成

    研究者提出 CCG Diffusion,一种无需训练的文生图控制方法,利用组合范畴语法(CCG)通过提示词改写和注意力引导控制属性绑定、空间关系与数量,并可固定介词词类来消解介词短语挂靠歧义。在 Stable Diffusion 和 Sana 两种骨干模型上,该方法在属性绑定和 2D 空间关系上取得对比方法中的最高分,在 PP 歧义消解上显著超越所有对比方法。

10月20日周二
  1. arXiv · cs.AI37

    Mise-en-Video:面向多镜头视频生成的细粒度 3D 控制框架

    研究者提出 Mise-en-Video(MeV),一个高可控的多镜头视频生成框架,允许创作者在 3D 空间中进行场面调度并生成对应的多镜头视频。该框架结合层次化注意力机制实现多级叙事一致性,并通过 3D 感知布局引导实现逐镜头的精确空间控制。团队还构建了包含 160K 视频的数据集,实验显示 MeV 在视频质量、镜头间一致性和主体级可控性上均优于强基线。

10月19日周一
  1. GitHub · 3D 生成新仓库21

    enhansome 开源 talking-head-generation 项目:音频驱动说话人头生成资源汇总

    GitHub 仓库 enhansome/enhansome-talking-head-generation 汇总了音频驱动的说话人头生成领域研究与开源代码,收录 FunCineForge、TurboTalk、OmniHuman-1、Hallo2、MuseTalk、VASA-1、EchoMimic 等项目,并标注各自发表年份、会议和 Star 数。列表覆盖 2024 至 2026 年的工作,多数项目以 Python 实现,部分提供论文、代码或项目主页链接。

10月18日周日
  1. GitHub · 3D 生成新仓库20

    conditional-handwriting-generation:MLP cGAN 与 Residual U-Net DDPM 的 MNIST 手写数字生成对比

    该开源仓库在 MNIST 上训练 MLP 条件 GAN 和类条件 Residual U-Net DDPM,各跑三个种子共六次生成实验,每种模型生成 10,000 张图片并训练 20 epoch 的纯合成数据分类器。三种子平均真实测试准确率为 cGAN 86.59% ± 7.52 pp,DDPM 96.19% ± 0.36 pp。仓库提供完整训练/续训命令、验证脚本、生成样本网格与权重,支持 CPU 和 Apple Silicon MPS。

10月17日周六
  1. arXiv · cs.AI35

    CorrFlow:自校正流匹配框架

    研究者提出 CorrFlow,一种自校正流匹配框架,通过轻量级 refiner 复用模型中间表征,对基础模型的速度预测进行残差校正。该方法每步仅需一次轻量 refiner 评估,无需额外基础模型评估。在类条件图像生成、文生视频和图生视频任务上均优于对应基础模型,提升视觉质量与物理一致性。

  2. arXiv · cs.AI36

    重新思考 Vanilla Pixel Diffusion Transformer 的设计空间:MFlow 与 ConvRefiner

    该 arXiv 论文提出 MFlow,一种在 x₀-预测与速度预测之间自适应插值的扩散模型参数化,在 ImageNet、UCF-101 视频和大规模文生图上取得竞争力或更优的性能,并发现模型容量越大越偏向速度预测。针对像素扩散 Transformer 普遍存在的高频缺陷,作者进一步提出 ConvRefiner,在冻结扩散主干的前提下用对抗损失轻量后训练,恢复生成图像的高频统计且保持 FID。

10月16日周五
  1. arXiv · cs.AI27

    FlashReFocus:秒级交互式图像重新对焦

    FlashReFocus 实现单张照片的秒级交互式重新对焦:每张照片只需运行一次 diffusion,后续编辑由轻量网络渲染,相比 GenRefocus 对焦快 148.3 倍,进一步编辑仅需约半秒(快 462 倍)。其一步 diffusion 去模糊器结合显式 defocus map 与 defocus-bias attention,可在保持对焦内容不变的同时支持移轴与双焦平面编辑。模型在 EBB! 和自建三相机基准 3CReal(89 对图像)上取得零样本 bokeh 渲染的最佳感知保真度。

  2. arXiv · cs.AI33

    ACEdit:通过非对称条件控制实现稳定的多轮图像编辑

    研究者提出 ACEdit 训练方案,解决多轮图像编辑中分布偏移累积导致的质量退化问题。该方案将 Self-Forcing 原则引入图像编辑,让编辑器在训练时处理自身此前的输出,并通过知识蒸馏结合非对称条件控制——学生模型在自己的输出上顺序编辑,教师模型则锚定原始干净图像接收复合编辑指令。实验显示该方法在长序列多轮编辑中显著减少退化,同时保持编辑质量和指令遵循能力。

  3. GitHub · 3D 生成新仓库54

    WorldCast 基准发布:320个案例评测模型的世界状态预测能力

    WorldCast 发布世界状态预测基准,含 320 个人工设计案例、1,352 个视觉状态、评估工具包与 Judge 评分标准,数据集托管在 Hugging Face。统一以有序状态序列为图像网格、交错输出和视频打分,12个模型诊断显示 GPT-Image-2.5 以 72.8 分居首,Nano Banana Pro 得 42.8,最佳开源模型 SenseNova-U1 仅 20.1;交错生成和语言侧推理能力与分数正相关,复杂上下文与推理密集任务是共同失败点。

  4. arXiv · cs.AI32

    强化学习驱动的扩散模型:语言、视觉与更多领域的综述

    一篇被 TPAMI 接收的综述首次系统梳理了强化学习驱动的扩散模型(RL-driven DMs),涵盖扩散式语言、多模态、机器人和科学模型,重点分析扩散轨迹优化与奖励工程。作者通过多任务 benchmark 实验对比了不同 RL 后训练策略的优势,并指出三大瓶颈:奖励设计脆弱、高维生成空间中的探索-利用权衡,以及稀疏奖励下的训练不稳定。团队还建立了公开仓库持续追踪该领域进展。

10月14日周三
  1. GitHub · 3D 生成新仓库42

    InfoVis:基于 FLUX.2-klein 微调的统一 9B 幻灯片图像生成与编辑模型开源

    VectorSpaceLab 发布 InfoVis,一个由 FLUX.2-klein-base-9B 微调而来的 9B 统一模型,支持文生幻灯片、模板条件生成、多图像引用生成与指令编辑四类任务。模型在自建评测集 VisSlideBench(1,527 个人工筛选案例)上取得 7.94 总分,超过 Nano-Banana-2 的 7.99 之外的开源模型,在全部 11 项指标上领先所评测的开源模型。代码、权重、评测代码与训练数据已开源于 GitHub 与 Hugging Face,权重遵循 FLUX 非商业许可。

  2. GitHub · 3D 生成新仓库47

    rendertext_semleak:图像生成器渲染文字语义泄漏(TSL)评测仓库

    该 GitHub 仓库提供 rtsl-scorer 评测工具和 RenderText SemLeak 数据集,用于测量图像生成器的渲染文字语义泄漏(TSL),即提示词中待渲染文字的含义影响图像非文字区域的现象。数据集含 TSL-60(60 个视觉目标、360 条图像请求)、144 条基线提示词和 200 条良性文字渲染请求及人工标注。评分指标包括 WR、DTSL、NSL 和 GSL,支持 FLUX-2-dev、Qwen-Image、Z-Image-Turbo、LongCat 等生成器后端。

  3. arXiv · cs.AI32

    ShoeFit:新数据集与双图像流 DiT 框架用于虚拟鞋类试穿

    ShoeFit 提出 MVShoes 多视角鞋类试穿数据集(7305 组标注图像三元组)与双流 DiT 架构,通过 Multi-View Conditioning 结合 3D Rotary Position Embedding 缓解视角错位,并利用 LayeredRefAttention 借助背景特征调制鞋类 latent 以减少背景导致的色彩失真。实验表明该方法在真实商品鞋的高保真试穿合成上显著提升渲染保真度与鲁棒性,已被 NeurIPS 2025 接收。

  4. arXiv · cs.AI41

    GenRevisit:面向智能体组合图像生成的回访式框架

    研究者提出智能体图像生成框架 GenRevisit,将动作选择扩展为联合选择续接状态与编辑动作,使智能体可回访历史图像候选而非固定从最新图像继续优化。训练采用 SFT 加智能体强化学习,并提出 NACA 改进 GRPO 的粗粒度信用分配。在 GenEval2 上,GenRevisit 结合 Qwen-Image-2512 与 Z-Image-Turbo 分别取得 GM 分数 84.3 和 74.4,超过同生成器最强基线 12.7 和 10.9 分,并在 GenEval、GenEval++ 与 GenEval2 上达到 SOTA。

  5. GitHub · 3D 生成新仓库42

    t2icomparison:文生图模型生成默认值的可视化对比开源项目

    GitHub 开源项目 t2icomparison 提供一套文生图模型生成默认值的可视化对比方法,当提示词未指定光照、构图、配色等属性时,比较多个模型或生成设置的重复输出。系统通过 CLIP 特征和双极 aspect 分数分别衡量输出聚集的位置与紧密程度,每个读数可回溯到图像,aspect 经人工核查,附 experiments/、docs/RUNBOOK.md 等目录支持完整复现。

10月13日周二
  1. GitHub · 3D 生成新仓库40

    caiyuanhao1998 开源 Open-PhyGDPO:物理感知的文本到视频生成偏好优化复现仓库

    Open-PhyGDPO 是论文 "PhyGDPO: Physics-Aware Groupwise Direct Preference Optimization for Physically Consistent Text-to-Video Generation" 的公开复现仓库,包含数据构建管线 PhyAugPipe 和物理合理的直接偏好优化框架 PhyGDPO。该项目以 Wan2.1-T2V-14B 为基础模型进行后训练,代码基于 DiffSynth 开发,论文被 ECCV 2026 收录。

10月11日周日
  1. GitHub · 3D 生成新仓库27

    SW-Font:基于笔画宽度空间分布建模的少样本字体生成框架开源

    少样本字体生成框架 SW-Font 在 GitHub 开源官方实现,基于条件扩散框架,结合拓扑骨架引导与笔画宽度空间分布建模,核心组件包括 A-SWT、G-GCA 和 WES-Net。模型在 128×128 分辨率、20 步采样、DPM-Solver++ 配置下完成中文汉字生成评测,并可泛化到未见汉字及日文、韩文字形。预训练 checkpoint 将于后续单独发布。

  2. GitHub · 3D 生成新仓库12

    DL-CA3:基于 TensorFlow 与 CIFAR-10 的 StyleGAN 风格图像生成实验

    GitHub 新仓库 DL-CA3 实现了一个受 StyleGAN 启发的 GAN,使用 TensorFlow 在 CIFAR-10 数据集(60,000 张 32×32 像素、10 类彩色图像)上训练生成合成图像。实验涵盖映射网络、AdaIN、噪声注入等 StyleGAN 核心组件,并演示 style mixing 与 latent interpolation。输出包括训练模型的合成图像、样本对比及隐向量插值序列。

10月10日周六
  1. arXiv · cs.AI38

    基于双层声词画布模型的泰语 Klon Pad 单采样解码生成器

    研究者提出基于 WangchanBERTa 初始化的掩码语言模型,在双层画布(音节层硬约束韵、调、音节数,词层保证词完整)上逐格解码、temperature 0.4 单次采样,从短话题生成泰语 klon pad 诗节。在 78 个留出话题上,70.5% 生成诗节同时通过形式、词汇洁净与主题对齐,人工为 76.9%;洁净度与人工持平(85.9% vs 87.2%),差距在对齐项;预注册目标差 1.4 分。已知唯一公开的 KlonSuphap-LM 无一通过(形式 19.2%、洁净 3.8%)。

  2. arXiv · cs.CL28

    VoTSpeech:在指令跟随 TTS 中将音色设计与语音生成解耦

    VoTSpeech 通过显式中间语音潜变量,将音色设计与语音生成解耦。该系统基于共享语言模型骨干,先用 flow 模块从文本指令预测连续语音潜变量,再同时作为语言模型与 Acoustic DiT 的共享条件,最后由 audio VAE 解码器生成波形;语音潜变量由 speaker embeddings 与时间池化的 audio VAE 特征联合监督。VoTSpeech 在 InstructTTSEval-ZH 上表现强劲,与强开源模型相比具备竞争力且保持高自然度,代码、模型与音频样本已开源。

  3. GitHub · 3D 生成新仓库23

    design-preference-lab:一个探索“设计质量指标是否等于人类偏好”的研究小工具

    GitHub 新仓库 design-preference-lab 是一个本地运行的独立研究应用:输入活动海报需求,生成两套结构化 SVG 排版,用户投票偏好后查看结构化检查结果,用于探究“可测的设计质量是否等于人类偏好”。项目要求 Python 3.11+,无运行时依赖和 API key,目前只有本地模板基线,尚无训练好的生成器、学习型评估器或云端部署,与 Canva 无关。它是生成器训练与学习型评估项目的第一部分,路线图包括 LoRA 适配、量化适配、多模态偏好模型和 reward-hacking 实验。

10月9日周五
  1. arXiv · cs.CL21

    扩散与自回归模型中文生图 Transformer 中 Attention Sink 现象的探索研究

    一项 arXiv 研究系统考察了文生图 Transformer 中的 attention sink 现象,发现其在双向扩散模型和自回归模型中均存在但模式不同:自回归模型将注意力集中在首位和全局 token 上,双向模型则在模态边界、文本区域和空间角落附近形成 sink。扰动 sink 相关的注意力头比非 sink 头引起更大的生成变化;引入 register token 重分布注意力后,部分配置能保持或小幅提升生成性能。