97年牛和02年马的婚姻如何(把马变成斑马需要几步)

问:一匹棕色马如何变成一匹斑马?一个可能的答案是:深度学习模型。运用类似的模型,还可以将莫奈的绘画作品变成真实的风景照片。这种模型名为生成式对抗网络(简称“GAN”),最早出现于2014年,被认为是深度学习领域的一项革命性成果。经...

97年牛和02年马的婚姻如何(把马变成斑马需要几步)

  问:一匹棕色马如何变成一匹斑马?一个可能的答案是:深度学习模型。运用类似的模型,还可以将莫奈的绘画作品变成真实的风景照片。这种模型名为生成式对抗网络(简称“GAN”),最早出现于2014年,被认为是深度学习领域的一项革命性成果。经过多年发展,GAN衍生出一个庞大的“家族”,包括CycleGAN、Pix2Pix、StyleGAN等。它们可以用于图片风格迁移、图像编辑、图片生成等场景。前面提到的马变成斑马,莫奈画作变照片,正是运用了CycleGAN模型。一只高跟鞋的轮廓,通过Pix2Pix模型,则可以复原成真实的鞋子。虽然GAN模型应用广泛,优点很多,但需要很高的输入分辨率,对计算资源和存储空间需求大。因此,业界一直在努力改进GAN的压缩方法。2020年,麻省理工学院、Adobe和上海交通大学技术人员提出一种GAN压缩算法,将算力消耗成功减少到1/21。最近,字节跳动技术团队推出了一项自研GAN压缩算法,名为“在线多粒度蒸馏技术”,简称OMGD。这项算法能够极大降低CycleGAN和Pix2Pix模型的算力消耗,分别降至原来的1/40和1/46。不仅参数和计算量更少,图像生成效果也更好。以下图为例。MACs代表消耗的计算量,FID代表生成效果,数值越小,效果越好。在靴子轮廓变成真靴子的过程中,OMGD消耗的计算量仅为1.219G,相比于原始状态的56.8G,计算量大幅减少,生成效果也更优。目前,OMGD技术已经应用在多款抖音智能特效中。比如“三屏人生”。过去、现在和未来在同一个屏幕里,像是不同阶段的自己在对话。数据显示,OMGD压缩能力(MACs)和生成效果(FID)都排在首位又比如火遍抖音的动态照片。很多网友使用这款特效,让老相册里的家人动了起来。有的同学用工牌试了下,看到照片上的自己露出笑容。还有特效“变胖的你”,可以让大家感受一下变月半之后的样子。大幅提升的压缩能力,加上抖音的使用体量,将节约大量的计算成本。同时,这也可以给广大用户提供更加流畅的体验。另外,这篇论文已入选国际计算机视觉会议ICCV2021。相关技术代码也已发布在开源社区,帮助从业者提升GAN的创新和应用效率。论文链接:https://arxiv.org/abs/2108.06908开源链接:https://github.com/bytedance/OMGD

相关推荐

推荐内容

推荐阅读