生成刘海、调整发际线，让你告别头秃烦恼的竟然是AI「生发」神器
机器之心专栏
机器之心编辑部
美图影像实验室（MTLab）利用StyleGAN技术落地了多个头发生成项目并在美图秀秀及海外产品AirBush上线刘海生成、发际线调整与稀疏区域补发等功能。妈妈再也不用担心我脱发了。
当逐渐后移的发际线和日益稀疏的刘海成为焦虑的源头,为了满足这届用户对于浓密秀发的向往，多年深耕人工智能领域的美图公司技术大脑——美图影像实验室（MTLab）基于在深度学习领域积累的技术优势，落地了多个头发生成项目并实现了高清真实的头发纹理生成，目前已率先在美图旗下核心产品美图秀秀及海外产品AirBrush上线刘海生成、发际线调整与稀疏区域补发等功能，满足用户对发型的多样化需求。
其中，刘海生成功能可以基于自定义的生成区域，生成不同样式的刘海（如图
1.1-1.3）。
1.1：刘海生成（左：原图，右：全刘海生成效果图）
1.2：刘海生成（左：原图，右：全刘海生成效果图）
1.3：多款刘海生成效果图
发际线调整功能在保持原有发际线样式的情况下，可以对发际线的不同高度进行调整（如图
2.1-2.2）：
2.1：发际线调整前后对比图
2.2：发际线调整对比图
头发生成任务面临的挑战
头发编辑作为一般的生成任务，在落地实践过程中仍面临以下几个亟待突破的关键技术瓶颈：首先是生成数据的获取问题。以刘海生成任务为例，在生成出特定款式的刘海时，一个人有无刘海的数据是为理想的配对数据，但这种类型的真实数据获取的可能性极低。与此同时，如果采用针对性收集特定款式刘海数据，以形成特定属性非配对数据集的方式，那么获取高质量且多样式的数据就需要耗费较高的成本，基本不具备可操作性；其次是高清图像细节的生成问题。由于头发部位拥有复杂的纹理细节，通过CNN难以生成真实且达到理想状态的发丝。其中，在有配对数据的情况下，虽然可以通过设计类似Pixel2PixelHD[1]、U2-Net[2]等网络进行监督学习，但目前通过该方式生成的图像清晰度仍然**有限；在非配对数据情况下，一般通过类似HiSD[3]、StarGAN[4]、CycleGAN[5]的方式进行属性转换生成，利用该方式生成的图片不仅清晰度不佳，还存在目标效果生成不稳定、生成效果不真实等问题。
针对上述情况，MTLab基于庞大的数据资源与突出的模型设计能力，借助StyleGAN[6]解决了头发生成任务所面临的配对数据生成与高清图像细节两大核心问题。StyleGAN作为当前生成领域的主要方向—GAN（生成式对抗网络）在图像生成应用中的主要代表，是一种基于风格输入的无监督高清图像生成模型。StyleGAN能够基于7万张1024*1024的高清人脸图像训练数据FFHQ，通过精巧的网络设计与训练技巧生成清晰逼真的图像效果。此外，StyleGAN还能基于风格输入的方式拥有属性编辑的能力，通过隐变量的编辑，实现图像语意内容的修改。
3：基于StyleGAN生成的图片
美图基于StyleGAN的头发编辑方案
1.配对数据生成
StyleGAN生成配对数据为直接的方式就是在w+空间直接进行相关属性的隐向量编辑，生成相关属性，其中隐向量编辑方法包括GanSpace[7]、InterFaceGAN[8]及StyleSpace[9]等等。但是，这种图像生成方式通常隐含着属性向量不解耦的情况，即在生成目标属性的同时往往伴随其他属性（背景和人脸信息等）产生变化。
因此，MTLab结合StyleGANProjector[6]、PULSE[10]及Mask-GuidedDiscovery[11]等迭代重建方式来解决生成头发配对数据的问题。该方案的主要思路是通过简略编辑原始图片，获得一张粗简的目标属性参考图像，将其与原始图像都作为参考图像，再通过StyleGAN进行迭代重建。
以为头发染浅色发色为例，需要先对原始图片中的头发区域染上统一的浅色色块，经由降采样获得粗略编辑简图作为目标属性参考图像，在StyleGAN的迭代重建过程中，生成图片在高分辨率尺度下与原始图片进行相似性监督，以**头发区域以外的原始信息不发生改变。
另一方面，生成图片通过降采样与目标属性参考图像进行监督，以**生成的浅色发色区域与原始图片的头发区域一致，二者迭代在监督平衡下生成期望中的图像，同时也获得了一个人有无浅色头发的配对数据（完整流程参考下图4）。
值得强调的是，在该方案执行过程中既要**生成图片的目标属性与参考图像一致，也要**生成图像在目标属性区域外与原始图片信息保持一致；还需要**生成图像的隐向量处于StyleGAN的隐向量分布中，才能够**终的生成图像是高清图像。
图4：染浅色头发StyleGAN迭代重建示意图
此外，基于该方案的思路，在头发生成领域还能获取到发际线调整的配对数据（如下图5）、刘海生成的配对数据（如下图6）以及头发蓬松的配对数据（如下图7）。
5：发际线配对数据
6：刘海配对数据
7：头发蓬松配对数据
2.配对数据增益
基于迭代重建，还能够获得配对数据所对应的StyleGAN隐向量，通过隐向量插值的方式还能实现数据增益，进而获得足够数量的配对数据。
以发际线调整的配对数据为例，如下图8所示，（a）和（g）是一组配对数据，（c）和（i）是一组配对数据，在每一组配对数据间，可以通过插值获得发际线不同程度调整的配对数据。如（d）和（f）分别是（a）和（g）、（c）和（i）之间的插值。
同样地，两组配对数据间也可以通过隐向量插值获得更多配对数据。如（b）和（h）分别是（a）和（c）、（g）和（i）通过插值获得的配对数据。此外，通过插值获得的配对数据也能够生成新的配对数据，如（e）是（b）和（h）通过差值获得的配对数据，基于此可以满足对理想的发际线调整配对数据的需求。
8：配对数据增益
3.image-to-image生成
基于StyleGan的迭代重建获得配对数据后，就可以通过pixel2piexlHD模型进行有监督的学习训练，这种image-to-image的方式相对稳定且具有稳健性，但生成图像的清晰度还无法达到理想的效果，因此选择通过在image-to-image模型上采用StyleGAN的预训练模型来帮助实现生成细节的提升。传统的StyleGAN实现image-to-image的方式是通过encoder网络获得输入图的图像隐向量，然后直接编辑隐向量，后实现目标属性图像生成，但由这种方式生成的图像与原图像比对往往相似度较低，无法满足基于原图像进行编辑的要求。
因此MTLab对这种隐向量编辑的方式进行了改进，一方面直接将原图像encode到目标属性的隐向量，省去进行中间隐向量编辑的步骤；另一方面将encoder网络的特征与StyleGAN网络的特征进行融合，终通过融合后的特征生成目标属性图像，以**限度**生成图像与原图像的相似度，整体网络结构与GLEAN[12]模型**相似，该方式兼顾了图像高清细节生成与原图相似度还原两个主要问题，由此也完成了高清且具有真实细节纹理的头发生成全流程，具体如下图
9：头发生成网络结构
基于StyleGAN编辑生成方案的拓展
此外，借助StyleGAN预训练模型实现image-to-image的方式能够**生成图像的清晰度，因此还可以将其推广到如图像修复、图像去噪、图像超分辨率等等更为一般的生成任务中。
图10：五官更换的配对数据：原图（左），参考图（中），结果图（右）
目前，MTLab已在图像生成领域取得新的技术突破，实现了高清人像生成并达到精细化控制生成。在落地头发生成以外，MTLab不仅实现了牙齿整形、眼皮生成、妆容迁移等人脸属性编辑功能，还提供了AI换脸、变老、变小孩、更换性别、生成笑容等等风靡社交网络的新鲜玩法，一系列酷炫玩法为用户带来了更有趣、更优质的使用体验，也展现了其背后强大的技术支持与研发投入。
参考文献：
[1]Ting-ChunWang,Ming-YuLiu,Jun-YanZhu,AndrewTao,JanKautz,andBryanCatanzaro.High-resolutionimagesyn-thesisandsemanticmanipulationwithconditionalgans.InCVPR,2018.
[2]XuebinQin,ZichenZhang,ChenyangHuang,MasoodDehghan,OsmarRZaiane,andMartinJagersand.U2-net:Goingdeeperwithnestedu-structureforsalientobjectdetection.PatternRecognition,2020.
[3]XinyangLi,ShengchuanZhang,JieHu,LiujuanCao,XiaopengHong,XudongMao,FeiyueHuang,YongjianWu,RongrongJi.Image-to-imageTranslationviaHierarchicalStyleDisentanglement.InProc.InCVPR,2021.
[4]Choi,Y.,Choi,M.,Kim,M.,Ha,J.W.,Kim,S.,Choo,J.:Stargan:Unifiedgenera-tiveadversarialnetworksformulti-domainimage-to-imagetranslation.InCVPR,2018.
[5]Choi,Y.,Choi,M.,Kim,M.,Ha,J.W.,Kim,S.,Choo,J.:Stargan:Unifiedgenera-tiveadversarialnetworksformulti-domainimage-to-imagetranslation.InCVPR,2018.
[6]TeroKarras,SamuliLaine,MiikaAittala,JanneHellsten,JaakkoLehtinen,andTimoAila.AnalyzingandimprovingtheimagequalityofStyleGAN.InProc.InCVPR,2020.
[7]ErikḦark̈onen,AaronHertzmann,JaakkoLehtinen,andSylvainParis.Ganspace:Discoveringinterpretablegancontrols.InNIPS,2020.
[8]YujunShen,JinjinGu,XiaoouTang,andBoleiZhou.Inter-pretingthelatentspaceofgansforsemanticfaceediting.InCVPR,2020.
[9]ZongzeWu,DaniLischinski,andEliShecht-man.StyleSpaceanalysis:DisentangledcontrolsforStyleGANimagegeneration.InarXiv,2020.
[10]SachitMenon,AlexandruDamian,ShijiaHu,NikhilRavi,andCynthiaRudin.Pulse:Self-supervisedphotoupsam-plingvialatentspaceexplorationofgenerativemodels.InCVPR,2020.
[11]MengyuYang,DavidRokeby,XavierSnelgrove.Mask-GuidedDiscoveryofSemanticManifoldsinGenerativeModels.InNIPSWorkshop,2020.
[12]K.C.Chan,X.Wang,X.Xu,J.Gu,andC.C.Loy,Glean:Generativelatentbankforlarge-factorimagesuper-resolution,InCVPR,2021.
还有整形疑惑?想了解更多整形医院价格信息?可以点击
【在线咨询】与整形顾问一对一沟通，免费为您提供医院对比、医生对比、价格对比等服务喔~!
