來(lái)源：字節(jié)范兒
原標(biāo)題：「變身漫畫(huà)」3天千萬(wàn)投稿，抖音特效團(tuán)隊(duì)如何打造爆款？

最近，抖音特效又出了新爆款。只需手輕輕一揮，用戶(hù)就能秒變高萌漫畫(huà)人物，從發(fā)型到衣著，每個(gè)細(xì)節(jié)精準(zhǔn)轉(zhuǎn)換。幾乎一夜之間，抖音滿(mǎn)屏二次元化。

在這個(gè)世界，你能抓到被全網(wǎng)催交舞蹈作業(yè)的寧?kù)o，

也能看到充滿(mǎn)清新氣質(zhì)的PDD，

從路人到頂流明星，人均get一雙水汪汪的大眼睛。除了，“連特效都拯救不了”的李榮浩——

一夜億萬(wàn)曝光，道具上線3天獲得了1000w+的視頻投稿，貢獻(xiàn)大量相關(guān)熱門(mén)話(huà)題。

全網(wǎng)都愛(ài)的變身漫畫(huà)特效是如何誕生的？背后又有哪些行業(yè)領(lǐng)先的“黑科技”？

字節(jié)君與抖音特效的幕后團(tuán)隊(duì)一起聊了聊，持續(xù)打造爆款特效的秘密。

爆款不是偶然

“作為行業(yè)首發(fā)的人臉實(shí)時(shí)動(dòng)態(tài)漫畫(huà)效果，我們?cè)缇陀X(jué)得「變身漫畫(huà)」會(huì)火?！眮?lái)自影像團(tuán)隊(duì)，有多款抖音爆款特效項(xiàng)目經(jīng)歷的大彭說(shuō)，近年來(lái)，真人照片處理、拼貼成某種繪制風(fēng)格常玩常新，關(guān)鍵就是要給用戶(hù)帶來(lái)驚喜和共鳴。

2014年，臉萌憑借卡通五官、服飾匹配，登頂App Store

 2018年，字節(jié)跳動(dòng)專(zhuān)門(mén)成立影像團(tuán)隊(duì)，支持抖音火山輕顏等全系產(chǎn)品的打磨，其中包括長(zhǎng)期探索真人風(fēng)格化玩法，力圖持續(xù)打造擊中用戶(hù)的特效。

在大彭看來(lái)，團(tuán)隊(duì)不設(shè)邊界的靈感創(chuàng)意機(jī)制，讓爆款的出現(xiàn)絕非偶然。“無(wú)論什么崗位，都不會(huì)只站在自己的視角積累爆款思路的彈藥。每天影像團(tuán)隊(duì)都會(huì)抽一個(gè)小時(shí)搜集靈感，每周定期與其它合作的設(shè)計(jì)&研發(fā)團(tuán)隊(duì)開(kāi)腦暴會(huì)，觀察學(xué)習(xí)行業(yè)趨勢(shì)和時(shí)下流行的時(shí)尚元素，了解最新技術(shù)進(jìn)展?！?/p>

藝術(shù)遇上技術(shù)，很快碰撞出了新的火花。

2019年，輕顏出了本可愛(ài)風(fēng)的手繪日歷，項(xiàng)目同學(xué)發(fā)現(xiàn)，許多人都想把自己的照片一鍵變成類(lèi)似畫(huà)風(fēng)。

此時(shí)研發(fā)同學(xué)在腦爆會(huì)提起，打破次元壁、讓真實(shí)人臉變漫畫(huà)的關(guān)鍵技術(shù)GAN (生成式對(duì)抗網(wǎng)絡(luò)，Generative Adversarial Networks )剛實(shí)現(xiàn)，但還不足以精確地把真人變成人類(lèi)繪畫(huà)水平，讓真人實(shí)時(shí)變成動(dòng)畫(huà)片，行業(yè)里更是沒(méi)見(jiàn)過(guò)。

要不干脆出一款特效，讓真人可以秒變漫畫(huà)臉？

想法一出，立馬激發(fā)了不同崗位同學(xué)的興奮點(diǎn)。2019年9月，從影像團(tuán)隊(duì)的效果和產(chǎn)品同學(xué)，到協(xié)作支持的研發(fā)、設(shè)計(jì)，一個(gè)跨北上深及北美四地的專(zhuān)項(xiàng)小組迅速拉了起來(lái)。做實(shí)時(shí)漫畫(huà)特效，定位就是爆款。

既“像”又“美”，千人千面漫畫(huà)臉

“別看變身只要一秒，從創(chuàng)意提出到技術(shù)落地，背后我們琢磨了好久。” 參與漫畫(huà)特效打造的產(chǎn)品同學(xué)玉辰說(shuō)。

“教AI畫(huà)畫(huà)”，做出大家喜歡、技術(shù)上又可實(shí)現(xiàn)的設(shè)計(jì)風(fēng)格很難，做到實(shí)時(shí)可預(yù)覽級(jí)別更難。

剛開(kāi)始，研發(fā)同學(xué)對(duì)能否做到“實(shí)時(shí)”沒(méi)多大把握：“畢竟如此高質(zhì)量且千人千面的實(shí)時(shí)效果，在學(xué)界和工業(yè)界都未有過(guò)先例，技術(shù)上還有眾多難點(diǎn)需要突破。”

項(xiàng)目組商量決定，暫緩“實(shí)時(shí)”計(jì)劃，先打磨極致圖片效果?！?strong>我們定義了精致美和極致像兩大特點(diǎn)。既要全面保留用戶(hù)特征、像本人，又要生成出漫畫(huà)獨(dú)有的藝術(shù)美感?！庇癯秸f(shuō)。

為了找到更能引起用戶(hù)共鳴的繪畫(huà)風(fēng)格，從日漫、國(guó)漫到韓漫，團(tuán)隊(duì)幾乎將主流的漫畫(huà)和番劇看了個(gè)遍。

靈感收集時(shí)的參考風(fēng)格

經(jīng)過(guò)效果同學(xué)廣泛的風(fēng)格設(shè)計(jì)、調(diào)研和修改，團(tuán)隊(duì)終于鎖定了一款高萌可愛(ài)的漫畫(huà)臉?！拔覀兊脑O(shè)計(jì)師都是公司主美級(jí)別的，經(jīng)驗(yàn)豐富?！?/p>

早期（上）與終版（下）風(fēng)格對(duì)比

引入算法后，團(tuán)隊(duì)進(jìn)入了更加追求細(xì)致的打磨期。

“有一兩個(gè)月吧，我們就是在不停訓(xùn)練新模型，每次可能跑出幾百個(gè)普通人看不出啥差別的模型，然后讓設(shè)計(jì)去挑最優(yōu)效果?！毖邪l(fā)同學(xué)感慨，如此高效和規(guī)?；哪Ｐ陀?xùn)練，背后得虧了公司強(qiáng)大算力基礎(chǔ)的支持。“最多的時(shí)候，要用幾百?gòu)堬@卡跑。”

大家調(diào)侃說(shuō)，經(jīng)此一役，團(tuán)隊(duì)各個(gè)練就了火眼，同學(xué)們的效果敏感度和審美都有了很大提升。

大彭印象深刻，有次選好一款很萌的模型準(zhǔn)備放體驗(yàn)版，研發(fā)同學(xué)第二天做好后，有個(gè)效果同學(xué)盯著新版本看來(lái)看去，總覺(jué)得哪里變不好看了?！耙粏?wèn)才發(fā)現(xiàn)研發(fā)放錯(cuò)了模型，眼睛稍小了幾個(gè)百分點(diǎn)?！?/p>

圖片版效果達(dá)標(biāo)后，團(tuán)隊(duì)決定小試牛刀，階段性在抖音、TikTok的影集模塊上線「漫畫(huà)奧義」道具，在中國(guó)、日本、巴西、印尼等多國(guó)取得了不錯(cuò)的反響。

全球首次實(shí)現(xiàn)手機(jī)端實(shí)時(shí)動(dòng)態(tài)漫畫(huà)處理

“實(shí)時(shí)”再次成為了擺在團(tuán)隊(duì)面前的關(guān)鍵挑戰(zhàn)。

此前，變漫畫(huà)功能基本都基于人臉表情跟蹤，學(xué)界和工業(yè)界都沒(méi)有千人千面的實(shí)時(shí)漫畫(huà)生成方法。這次抖音推出的漫畫(huà)特效是在視頻中實(shí)時(shí)實(shí)現(xiàn)，該技術(shù)可謂全球首發(fā)。

“我們都明白，一旦實(shí)現(xiàn)，這將是一大爆款子彈?！?/p>

走入漫畫(huà)的“貴妃”李玉剛

第一個(gè)吃螃蟹不容易。參與特效研發(fā)的陳西回憶，最開(kāi)始的模型版本慘不忍睹，嘗試了好多次都不行，大家甚至對(duì)實(shí)時(shí)漫畫(huà)的可行性產(chǎn)生了懷疑。然而即使在最艱難的時(shí)候，團(tuán)隊(duì)也希望再試一次。

在陳西所在的研發(fā)團(tuán)隊(duì)，擁有計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)和數(shù)值分析等多元背景的技術(shù)人才，每個(gè)人都有自己的專(zhuān)長(zhǎng)和經(jīng)驗(yàn)?！拔覀冇职橇艘槐樗锌赡芟嚓P(guān)領(lǐng)域的已有研究和文獻(xiàn)，有同學(xué)提出可以嘗試各種輕量化模型的嫁接混合，效果確實(shí)得到改善，大量實(shí)驗(yàn)后終于選出了現(xiàn)在的主干模型。”

看起來(lái)是放手一博的革新，其實(shí)背后是公司跨團(tuán)隊(duì)、跨領(lǐng)域共同協(xié)作才能水到渠成的結(jié)果。

實(shí)時(shí)漫畫(huà)的處理對(duì)手機(jī)性能要求極高，計(jì)算非常復(fù)雜；此外，抖音用戶(hù)眾多，機(jī)型性能差距大，需要專(zhuān)門(mén)研發(fā)復(fù)雜、定制化的模型下發(fā)策略。

公司全平臺(tái)的技術(shù)成果和資源幫了大忙。拿漫畫(huà)特效啟用的字節(jié)跳動(dòng)自研的推理引擎ByteNN來(lái)說(shuō)，端側(cè)性能和功耗均處于業(yè)界領(lǐng)先水平，保證了實(shí)時(shí)漫畫(huà)能夠穩(wěn)定支持抖音海量的用戶(hù)群體。

用戶(hù)需求多廣，玩法腦洞就有多大

如何讓用戶(hù)真正玩起來(lái)？特效項(xiàng)目組的同學(xué)沒(méi)少費(fèi)腦洞。

在變身漫畫(huà)推出前，團(tuán)隊(duì)已成功參與打造并引爆了寶寶特效、變身情侶等諸多抖音特效，在道具結(jié)合定制化音樂(lè)bgm的創(chuàng)意玩法上頗有經(jīng)驗(yàn)。

變身情侶特效

拍攝簡(jiǎn)單、配樂(lè)有趣的寶寶特效

“腦暴小組”里，集結(jié)了來(lái)自北上深+北美4地、腦洞大、產(chǎn)出過(guò)無(wú)數(shù)爆款的產(chǎn)品、設(shè)計(jì)、交互工程、運(yùn)營(yíng)和市場(chǎng)同學(xué)。最終，在為期20天產(chǎn)出的100+方案內(nèi)，大家選取了6個(gè)道具創(chuàng)意，承接不同年齡、層級(jí)和喜好的用戶(hù)需求。

適合全民、低門(mén)檻拍攝的“變漫畫(huà)”玩法：

二次元新奇玩法：

“結(jié)合抖音用戶(hù)喜好、歷年爆款道具特征和3輪nps調(diào)研結(jié)果，我們最終把「變身漫畫(huà)」當(dāng)作了‘漫畫(huà)系列’的主推道具?！碑a(chǎn)品團(tuán)隊(duì)玉辰說(shuō)。

在玩法開(kāi)發(fā)的過(guò)程中，“手控滑桿”是首次使用的新交互形式。然而，在初期版本中，80%的用戶(hù)都無(wú)法“拖動(dòng)滑桿”變身，交互嘗試屢次碰壁。

但產(chǎn)品和交互工程同學(xué)仍然堅(jiān)持在這個(gè)方向做最極致的道具效果?！耙?yàn)槲覀冏哌M(jìn)商場(chǎng)、地鐵、小區(qū)采訪了近百名用戶(hù)的體驗(yàn)感受，發(fā)現(xiàn)一旦能滑動(dòng)成功，他們明顯更驚喜，玩性大增。”

點(diǎn)擊視頻，看廣大網(wǎng)友的多樣化玩法

隨著漫畫(huà)特效在抖音大火，產(chǎn)品同學(xué)聯(lián)動(dòng)剪映、輕顏等多款產(chǎn)品上線了同款變漫畫(huà)圖片功能，進(jìn)一步推熱二次元狂潮。

“特效發(fā)酵的過(guò)程中，我們發(fā)現(xiàn)大家喜歡把婚紗照、全家福等合影變成漫畫(huà)，而實(shí)時(shí)動(dòng)態(tài)方面我們還沒(méi)有實(shí)現(xiàn)多人同時(shí)需求，這意味著還有很多可挖掘的空間，而隨著技術(shù)的探索和積累，以后肯定還可以玩出更多花樣?！?br/>

大家很有信心，下一個(gè)爆款特效，正在路上。