MIT与Adobe联手开发DMD:生成图像质量媲美Stable Diffusion ,速度快30倍

日期: 栏目:文章分享 浏览:812 评论:6

12月7日 消息:最新动态显示,麻省理工学院(MIT)与Adobe公司联手推出了一项创新性项目,名为DMD(Dynamic Multimodal Data)。该项目在生成图像质量方面取得了显著的进展,媲美了Stable Diffusion技术,同时在速度上实现了30倍的提升。DMD标志着深度学习图像处理领域的一项重大突破,为图像生成技术带来了新的水平。这一合作项目的目标是不断革新图像生成算法,提高生成图像的质量和速度,以满足不断增长的图像处理需求。MIT与Adobe的卓越合作将为未来图像处理技术发展带来更多创新

MIT与Adobe联手开发DMD:生成图像质量媲美Stable Diffusion ,速度快30倍-第1张图片-Ceacer网络

创新方法方面,传统的扩散模型在图像生成方面取得了巨大的进展,但其采样过程相对繁琐,需要通过逐步去噪的迭代过程逐渐减少高斯噪声样本中的噪声,这限制了生成管道作为创意工具时的交互性。与此不同,DMD方法通过将初始多步扩散采样找到的噪声→图像映射压缩成单通道学生网络,加速采样过程。通过这一创新,DMD成功解决了高昂的神经网络评估成本的问题,使得一步生成器在多项任务上表现优越。

MIT与Adobe联手开发DMD:生成图像质量媲美Stable Diffusion ,速度快30倍-第2张图片-Ceacer网络

在数据优化方面,研究团队通过在文本到图像数据上进行精细调整,不仅学习了数据分布,还学习了蒸馏生成器正在产生的虚构分布。这一方法通过利用预训练扩散模型的去噪扩散输出来解释梯度方向,从而推动人工生成图像向更真实和 less 虚构的方向发展。

性能超越方面,DMD在多项任务中都取得了令人瞩目的成绩。在ImageNet上,其FID指标达到2.62,比一致性模型提升了2.4倍。

此外,DMD在MS COCO2014-30k上获得了11.49的竞争性FID,同时保持了与更昂贵的Stable Diffusion模型相媲美的图像质量。值得注意的是,DMD方法在减少神经网络评估次数的同时,能够在FP16推断下以每秒20帧的速度生成512×512的图像,为交互式应用开辟了许多可能性。

研究团队通过结合分布匹配方法、GANs和pix2pix的灵感和见解,展示了DMD方法如何通过使用扩散模型来建模真实和虚构分布,并通过简单的回归损失匹配多步扩散输出,训练出高保真的一步生成模型。通过在多个任务上的验证,DMD一步生成器在各项基准测试中均表现优异,包括一致性模型、渐进蒸馏和矫正流等。

这一研究为图像生成领域带来了崭新的可能性,通过创新的方法,使得生成模型在效率和质量方面都取得了显著提升。

项目网址:https://tianweiy.github.io/dmd/


标签:

评论留言

  1. 小游客
    发布于:
    nice,nice
  1. 小游客
    发布于:
    不不不不不不巴巴爸爸巴巴爸爸
  1. 小游客
    发布于:
    123吾问无为谓吾问无为谓
  1. 小游客
    发布于:
    666
  1. 小游客
    发布于:
    6
  1. 小游客
    发布于:
    666

我要留言

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。发布前请先查看评论规则:点我查看