生成器|博士后小姐姐把“二次元老婆生成器”升級了：這一次可以指定畫風
夢晨 發自 凹非寺量子位 報道 | 公眾號 QbitAI
用GAN（生成對抗網絡）制作卡通人物形象的研究，相信大家已見過不少。
但這一次新出爐的AniGAN，可以讓你指定任意畫風！
只需一張真實人物照片，加上一張你喜歡的畫師作品做為參考，就能在保留原照片發型、五官等形狀特征的同時，遷移成相應的畫風。
拿來做頭像是不是很棒？
文章插圖
又雙叒叕一款GAN？這次更強！
AniGAN團隊認為，之前的二次元人物生成算法有兩大問題。
要么不能很好模仿參考圖的畫風，要么會過于強調保留原始照片的形狀，卻并不適合二次元人物的風格，造成不符合審美的扭曲與瑕疵。
通過對比可以看出，AniGAN生成的結果在模仿參考圖顏色、材質，以及將原始特征轉換成適合二次元方面都更出色。
文章插圖
下圖使用了更大的數據集，包含更多樣的色彩、線條、材質、發型及五官特征。
文章插圖
新的生成器架構
為了在轉換形狀特征的同時進行風格遷移，AniGAN團隊提出了新的生成器架構。
不同于以往使用殘差塊（Residual Blocks）在生成器的瓶頸層注入風格信息的方法。
AniGAN提出了自適應堆棧卷積塊 （Adaptive Stack Convolutional Block）和細粒度風格轉移塊（ Fine-grained Style Transfer Block），以下簡稱為ASC塊和FST塊。
文章插圖
ASC塊由卷積層、激活層和歸一化層組成。
在以往使用殘差塊時，可能會忽略一些風格信息，如在下面例子中將右眼都錯誤地生成為棕色。
文章插圖
FST塊由上采樣層，卷積層和歸一化層組成。
風格數據會在上采樣層之后而不是瓶頸層注入，負責把局部形狀特征也處理成一種風格數據，并轉換成對應的二次元形狀。
【 生成器|博士后小姐姐把“二次元老婆生成器”升級了：這一次可以指定畫風】去掉FST塊的情況下，生成圖像的面部特征并不適應二次元風格。
文章插圖
兩種新的歸一化函數
以往的AdaLIN歸一化函數會將實例歸一化（IN）和層歸一化（LN）按channel結合在一起，而忽略了channel間的相互關系。因此不能勝任遷移風格同時轉換特征的任務。
AniGAN團隊提出了點狀層實例歸一化（point-wise layer instance normalization）和適應性點狀層實例歸一化（ adaptive point-wise layer instance normalization ），以下簡稱PoLIN和AdaPoLIN。
文章插圖
文章插圖
PoLIN和AdaPoLIN會將所有channel的IN與LN結合在一起。
相關經驗推薦
- 迪士尼|迪士尼公主都成家了，愛洛公主兒女成群，艾莎跟誰生的娃
- 反派|人類與寶可夢是平等的，漠視寶可夢生命的人，注定了他的失敗
- 漩渦鳴人|人生最美是青春，動漫中那些高人氣熱血運動番，你最喜歡哪幾部
- 阿星|為了考試，阿星渾水摸魚，小桂子攜帶“生化武器”，奮豆瞞天過海
- 比比東|羅剎神的繼承人究竟有多難？除了羅剎考核比比東還要在夾縫中生長！
- 冥王神話|解析《冥王神話》中的卡路迪亞，一生追尋燦爛一戰的王牌刺客
- 反派|仙王的日常生活：放飛自我，給孫蓉換個家庭背景，評分還能更低
- 海賊王|小學生漫畫《女生為啥不能光膀子》，老師笑到捧腹，媽媽卻被誤傷
- 堀與宮村|雖然《無職轉生》被下架了，但仍有三部日漫播放量破億
- 血小板|小學生玩COS真有天賦，本以為雛鶴愛很還原了，看到禰豆子羨慕了