豪迪群发器 » 热门资讯 » 字节跳动开源 OMGD 压缩技术

字节跳动开源 OMGD 压缩技术

发布时间:2021-9-5 ┊ 文章作者:豪迪群发

8月,27日的新闻,打工跳跃最近开始了代号为OMGD的压缩技术。这是字节自我研究的GAN(生成对抗网络)的压缩算法,在保证生成效果不变的前提下,计算能力的消耗最少可以减少到原来的1/46,比以前业界的最佳压缩效果增加了2倍以上。该技术论文被选为国际计算机视觉会议ICCV-2021。

据了解,GAN是人工智能领域重要的深度学习模,广泛应用于图像生成、音乐生成和视频生成等方面,提高图像质量,实现图像风格化、图像着色等任务。漫画效果等常用的短视频工具是通过GAN实现的。

由于对GAN计算资源和存储空间的需求巨大,模型很难直接部署到手机、Pad等移动设备上,行业一直在努力改进GAN的压缩方法。2020年,麻省理工大学、Adobe、上海交通大学的研究人员们提出了GAN压缩算法,计算能力消耗减少到1/21。这次打工跳跃提出的OMGD法则进一步提高了压缩能力。

OMGD意味着在线多粒蒸馏。根据字节跳动技术团队的论文,该算法在训练过程中可以灵活优化和压缩GAN模型,实现更好的图像效果和更少的计算成本。

测试数据显示,OMGD压缩算法对Pix和CyleGAN两种常用的GAN解决方案效果显着。Pix2Pix和CycleGAN主要应用于图像的翻译,如将图像转换为绘画、着色黑白图像等。OMGD压缩算法可以将其计算能力消耗分别降低到原来的1/40,降低到1/46。

目前,OMGD的压缩算法已经在抖音等产品中落地,为用户提供更丰富的视频创作能力。相关技术代码也发布在开源社区,帮助员工提高GAN的创新和应用效率。到目前为止,字节跳动已经开源于机械学习平台Klever、联邦学习平台Fedlearner、高性能分布式训练框架BytePS、LightSeq推理和训练引擎等重磅项目。

节能环境保护是字节跳跃的重要技术研究方向。在不久前的自然语言处理领域国际顶会 ACL 2021 上,字节跳动的词表学习方案获得年度唯一的“最佳论文”大奖,该论文同样极具节能价值,相比主流词表可以节约 92% 的算力。