GAN卷土重来：10亿参数的GigaGAN效果堪比扩散模型

2023-04-23 13:39:15 来源：程序员客栈

(资料图片仅供参考)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

自从 DALL·E 2 之后，在图像生成方面扩散模型替代GAN成了主流方向，比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日， Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿（1B）的GAN模型：GigaGAN，其在文生图效果上接近扩散模型效果，而且推理速度更快，生成512x512大小图像只需要0.13s，生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能，比如latent插值，风格混合，以及向量运算等。

GigaGAN

改进了StyleGAN架构，采用两阶段训练策略：一个是64x64的图像生成器和一个512x512的图像超分2器，其图像生成器架构如下所示（这里也是采用CLIP text encoder来引入text condition）：

GigaGAN

在 LAION2B-en和 COYO-700M数据集上训练，其在COCO数据集上的FID达到9.09，超过stable diffusion 1.5，推理速度比stable diffusion快20倍多（2.9s vs 0.13s）：

GigaGAN

除了文生图能力，还可以实现可控的合成，比如风格混合，如下图所示：

更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/

关键词：

为您推荐

GAN卷土重来：10亿参数的GigaGAN效果堪比扩散模型

点蓝色字关注“机器学习算法工程师”设为星标，干货直达！自从DALL·E2之后，在图像生成方面扩散模型替代GA

来源：程序员客栈2023-04-23

西红柿种植技术与管理方法_番茄的高产种植技术及科学管理方法全球热议

现在由于番茄的市场需求越来越多，很多农户都有种植，番茄别名西红柿，古时候叫做六月柿，原产于南美洲，现

来源：百科2023-04-23

边际效应

1、边际效应（Marginalutility），有时也称为边际贡献，社会知觉中的首因效应与近因效应。2、德国心理学家艾

来源：互联网2023-04-23

世界简讯:网络家庭教育_网络家庭

1、我们先来了解一下路由器背后的网络端口。通常一般无线路由器的后网口包含一个WAN口和多个LAN按键，通常

来源：互联网2023-04-23

2499元起价格屠夫！努比亚Z50限时降价：最便宜的第二代骁龙8旗舰|每日速讯

快科技4月23日消息，“五一”假期即将到来，各大手机厂商也会在此期间推出不同幅度的优惠活动。努比亚手机

来源：快科技2023-04-23

孕产妇婴幼儿护理百科-速递

1、《孕产妇婴幼儿护理百科》是2012年5月中国妇女出版社出版的图书，作者是王琪，本书从孕妇保健。2、到产

来源：互联网2023-04-23

全球焦点！2023山“才聚齐鲁成就未来”山东能源大方绿塘煤矿有限公司招聘27人公告

山东能源是山东省委、省政府于2020年7月联合重组原兖矿、原山东能源，组建成立的大型能源企业。大方绿塘煤矿有限责任公司隶

来源：山东省人民政府国有资产监督管理委员会2023-04-23

世界微速讯：贵州：多彩花海背后的“美丽经济”

新华社贵阳4月22日电(记者汪军、吴思)毕节百里杜鹃、贵安万亩樱花园、桐梓黔北花海、万峰林油菜花海……春天的贵州处处是“

来源：新华社2023-04-23

关注