從技術和內容運營的角度聊聊關於虛擬人背後的“中之人”


3樓貓 發佈時間:2022-07-05 14:16:33 作者:NExTStudios Language

上篇《數字人Steven:Behind the Scenes》和大家分享了NExT在數字人制作領域的又一次突破——“虛實結合”3D高保真。數字人有時也稱為虛擬人,比如大家熟悉的虛擬偶像、虛擬主播等。如何製作虛擬人的“皮”,能否解決皮下之“魂”與製作團隊之間的矛盾?
新一期《愛遊新生》播客節目中,希辰、梓濤兩位主播邀請數字人Steven項目製作人劉奇申和虛擬男團動畫導演強項,分別從技術和內容運營的角度聊了聊關於虛擬人的“皮”和“魂”。即使現階段沒有完美方案,但這些問題也需要先被看到,才有可能被解決的一天。

特邀嘉賓

主播擔當

虛擬人的粉絲經濟

02:05 為何虛擬人這兩年如此火爆?
奇申:2017年,NExT和Epic合作開發Siren(塞壬),那時還沒有元宇宙的說法,只是純粹技術探索。當時的說法是影視行業的虛擬人技術發展大概領先遊戲引擎5年左右,Epic也一直想將遊戲和影視結合起來。我們也想嘗試將虛擬人和實時結合,創造更多的想象空間。實時帶來的交互性,可以拓展到未來的虛擬娛樂中,也即大家現在說的元宇宙。
強項:2015年遊戲引擎和實時動捕技術碰撞,誕生了一個新的使用情景——虛擬偶像代替真人和粉絲實時互動。有了實時這樣的情境,交互感、內容生產都都有了很大變化,所以虛擬偶像會在這個階段集中爆發。大家想著如何讓一個虛擬形象,得到真人的認可和喜愛,永不塌房,保持穩定性和長期的生命力。
06:19 為何大家會喜歡“不存在”的虛擬偶像?
奇申:現在的虛擬偶像包括虛擬網紅,更多是對原來偶像形態的替代,但給用戶帶來了一種不同的體驗。相比真人偶像,它的外形設計和人物塑造上,更接近粉絲心裡的完美形象,更容易成為一種好的消費符號,獲得更多的商業機遇。
強項:喜歡一個人和Ta是否真實存在其實沒有必然聯繫。就像大家都喜歡漫威電影裡的角色,即使真實世界並不存在,但能夠承擔一些人的理想和主流價值觀,並讓觀眾產生共鳴。
12:01 虛擬人和動漫人物的區別
奇申:動漫人物的確提供了因人設和形象帶來的消費元素,但最大的缺點是無法跨出時空和人交互。而虛擬人可以提供一種情緒價值,和現實產生互動。相較真人,我們可以通過作品、線下活動了解其性格,而虛擬人則在屏幕後面,隔著一層面紗,保持了一種神秘感。
強項:從內容創作的角度來說,動漫是非常重內容的,你需要非常好的故事劇本、導演美術創作,將它打造出頂級作品,才有可能火起來,從而讓很多人喜歡,週期長且風險高。而虛擬人的表達和產出有非常大的自由度,可根據粉絲反饋和時長需求,去做靈活調整,可賦予它很多真人的優秀能力,讓其更具辨識度,同時也不會有人設崩塌的風險。相對於現在的“後偶像”時代,粉絲更希望自己的偶像是商品化的,如專業能力、表情管理等。如果你將一個真人商品化,大家在道德層面會比較排斥,但一般不會排斥商品化的虛擬偶像。

虛擬偶像的“皮”

23:28 虛擬偶像的分類和發展
奇申:虛擬偶像,最早可追溯到初音未來、洛天依這類虛擬歌姬。後來絆愛出現,加入直播,虛擬主播又成為虛擬歌姬的一種升級形態,現在國內也有很多非常成功的虛擬主播。也有一些靠短視頻取得成功的虛擬偶像——柳夜熙、AYAYI和Ling等。還有一些遊戲和品牌的虛擬人形象,如《英雄聯盟》的K/DA虛擬女團,肯德基的“虛擬網紅上校”等。他們的設計、運營以及未來的商業化過程都很不一樣。
強項:我認為目前虛擬偶像的發展,還停留在一個“皮“的進化和分化過程中,進化指基於技術的發展追求真實感和自然感,讓其更好看或更真實。分化則由審美驅動,滿足不同人群的審美喜好。但在“魂”或所謂人格層面,還未有實質性進展,依然需要依靠配音、“中之人”,或一些基礎的AI技術輔助。
28:33 虛擬人制作的核心技術
奇申:這可以從“皮”(形象製作)“魂”(AI賦能)兩塊來說。
形象製作,從人物設計、原畫、建模、綁定驅動、動畫渲染、合成應用,每步都有非常重要的核心技術,雖然這幾年在質和量上均有較大提升,但需要攻克的核心技術還有很多。即使像Epic已經投入了較多人力和時間去做的MetaHuman Creator,如果隨便拿一個模型套用到系統中,捏一個想要的臉,依然有點困難。像動捕技術,分為身體、表情動捕,還需要一個“中之人”或動捕演員去操作控制,不太可能直接通過AI驅動。未來如果有更多人願意投入這個領域,也許真得能做出像《頭號玩家》影片的感覺,我很期待。
AI賦能:相當於虛擬人的內核或者說“魂”。像現在的TTS(文本轉換成語音)、NLP(自然語言處理)、CV(圖像技術)仍需深入研究和探索,這些問題都解決之後,也許未來虛擬人真得能替代真人,甚至超過人類。

“皮下之魂”的衝突

34:50 何為“中之人”,他們的真實狀況如何?
奇申:“中之人”,來自日語“中の人”,指操控虛擬形象背後的人。在日本基本所有的虛擬主播都由專業聲優來扮演,並以藝人的標準來選拔。很有可能他就是偶像練習生,希望用一個虛擬形象,達到成為偶像的目的。在韓國,培養一位偶像練習生,至少要 5 到 6 年全方位打造,包括品性、業務能力,甚至是心理承受能力。而在國內這些新興的虛擬主播,或“中之人”並未經歷過如此高強度的心理壓力、業務能力的培訓。日本的虛擬偶像團體“彩虹社”,他們當時“中之人”的試鏡者有45,000人,且通過率只有1%。而在中國能夠用於選拔的規模非常少,很多人誤打誤撞入行,對未來遇到的事情也沒有心理預期。
這可能是整個業態發展的必經之路,像當年絆愛的休眠也是如此。只要技術手段還無法完全用 AI 替代真人,虛擬人和開發團隊的矛盾就無法避免。如果“中之人”能完全代表自己,她能夠和“皮”達到一個非常完美的和諧。
但資本加入考慮的就會更多。一套完整光學動捕做的虛擬直播,每次開銷可能幾萬甚至幾十萬。除了要訓練“中之人”,還要提供所有動捕技術支持,包括平臺流量和商業資源。從廠商的視角來說,“中之人”無非提供了一套人體數據,付出和總體投入佔比很小。自然不能將所得收益絕大部分歸到“中之人”身上。所以說這個問題非常難解,因為大家預期不一樣。
強項:“中之人”承擔了偶像的“魂”,無法真正享受成為偶像的收益,卻要承擔成為偶像的束縛和壓力。他們被要求保密個人信息,甚至談戀愛都會受到限制。導致這個模式比真人偶像有更大的風險和不確定性。
“中之人”本身是一個非常弱勢的群體,他們不一定夢想成為偶像,只是想做一份相對穩定的工作,拿一份不錯的收入。初期用一個相對高溢價的收入能夠壓制這種矛盾,但後期偶像越成功,矛盾就越尖銳,爆發的必然性越強
我之前負責的虛擬主播項目,還沒有“中之人”的概念,就直接按招募主播的要求面試。面試者用給定的命題自說5分鐘,看能否讓我們開懷大笑,或引起共鳴。坦白講,我們不希望顏值成為虛擬主播的優勢,因為沒有價值,反而會成為不穩定性因素。
如果“中之人”處在戀愛關係中,借虛擬形象,一比一、真實地感受來自異性粉絲的愛慕和追求,對他們來說是一種壓力,因為很難沒有任何心理負擔地回應對方。同時他們的戀愛對象也會吃醋。有一次虛擬主播生日當天,一些粉絲送來真的鮮花、口紅、化妝品等真人才能用的東西。我觸動很大,他們知道其實這些東西是不可能用在虛擬形象身上,送的其實就是“中之人”,他們真正喜歡、願意去花錢、去付費和長期投入感情的是“中之人”
我們做產品,通過虛擬形象,捧一個“中之人”出來。這讓我反思這樣的產品邏輯其實錯了,不是大家最初想象的那個方向。這個衝突就像達摩克利斯之劍懸在頭上,也讓我無法再堅持。因為早晚有一天,你前面投入的心血都會付之東流。
49:53 如何調和“中之人”和IP團隊間的矛盾?
奇申:目前來看,降低因“中之人”問題而產生的塌房,廠商可以扶持不同的虛擬人,也可以找不同風格和類型的“中之人”做備份,還可以根據“中之人”來設定虛擬角色,形成捆綁關係。但我希望未來還是能夠通過AI的技術,徹底解決“中之人”的矛盾
強項:一旦AI能夠做到在一定範圍內替代真人,資本就很有可能將所有資源集中到AI的虛擬偶像中,其就會在一定程度上全部的AI化,到時候虛擬主播和虛擬偶像就會分化。虛擬偶像想要脫穎而出,就要投入更高的成本。

收聽指南

同步上架小宇宙、蘋果Podcast、喜馬拉雅網易雲音樂,請掃碼收聽。

愛遊新生

NExT播客新體驗,自帶New Experience and Technology(新體驗與技術)基因,關注遊戲的人,談論關於遊戲的方方面面。立志做一個只要想進入遊戲的世界,就能聽得懂的遊戲聊天節目


© 2022 3樓貓 下載APP 站點地圖 廣告合作:asmrly666@gmail.com