上篇《数字人Steven:Behind the Scenes》和大家分享了NExT在数字人制作领域的又一次突破——“虚实结合”3D高保真。数字人有时也称为虚拟人,比如大家熟悉的虚拟偶像、虚拟主播等。如何制作虚拟人的“皮”,能否解决皮下之“魂”与制作团队之间的矛盾?
新一期《爱游新生》播客节目中,希辰、梓涛两位主播邀请数字人Steven项目制作人刘奇申和虚拟男团动画导演强项,分别从技术和内容运营的角度聊了聊关于虚拟人的“皮”和“魂”。即使现阶段没有完美方案,但这些问题也需要先被看到,才有可能被解决的一天。
特邀嘉宾
主播担当
虚拟人的粉丝经济
02:05 为何虚拟人这两年如此火爆?
奇申:2017年,NExT和Epic合作开发Siren(塞壬),那时还没有元宇宙的说法,只是纯粹技术探索。当时的说法是影视行业的虚拟人技术发展大概领先游戏引擎5年左右,Epic也一直想将游戏和影视结合起来。我们也想尝试将虚拟人和实时结合,创造更多的想象空间。实时带来的交互性,可以拓展到未来的虚拟娱乐中,也即大家现在说的元宇宙。
强项:2015年游戏引擎和实时动捕技术碰撞,诞生了一个新的使用情景——虚拟偶像代替真人和粉丝实时互动。有了实时这样的情境,交互感、内容生产都都有了很大变化,所以虚拟偶像会在这个阶段集中爆发。大家想着如何让一个虚拟形象,得到真人的认可和喜爱,永不塌房,保持稳定性和长期的生命力。
06:19 为何大家会喜欢“不存在”的虚拟偶像?
奇申:现在的虚拟偶像包括虚拟网红,更多是对原来偶像形态的替代,但给用户带来了一种不同的体验。相比真人偶像,它的外形设计和人物塑造上,更接近粉丝心里的完美形象,更容易成为一种好的消费符号,获得更多的商业机遇。
强项:喜欢一个人和Ta是否真实存在其实没有必然联系。就像大家都喜欢漫威电影里的角色,即使真实世界并不存在,但能够承担一些人的理想和主流价值观,并让观众产生共鸣。
12:01 虚拟人和动漫人物的区别
奇申:动漫人物的确提供了因人设和形象带来的消费元素,但最大的缺点是无法跨出时空和人交互。而虚拟人可以提供一种情绪价值,和现实产生互动。相较真人,我们可以通过作品、线下活动了解其性格,而虚拟人则在屏幕后面,隔着一层面纱,保持了一种神秘感。
强项:从内容创作的角度来说,动漫是非常重内容的,你需要非常好的故事剧本、导演美术创作,将它打造出顶级作品,才有可能火起来,从而让很多人喜欢,周期长且风险高。而虚拟人的表达和产出有非常大的自由度,可根据粉丝反馈和时长需求,去做灵活调整,可赋予它很多真人的优秀能力,让其更具辨识度,同时也不会有人设崩塌的风险。相对于现在的“后偶像”时代,粉丝更希望自己的偶像是商品化的,如专业能力、表情管理等。如果你将一个真人商品化,大家在道德层面会比较排斥,但一般不会排斥商品化的虚拟偶像。
虚拟偶像的“皮”
23:28 虚拟偶像的分类和发展
奇申:虚拟偶像,最早可追溯到初音未来、洛天依这类虚拟歌姬。后来绊爱出现,加入直播,虚拟主播又成为虚拟歌姬的一种升级形态,现在国内也有很多非常成功的虚拟主播。也有一些靠短视频取得成功的虚拟偶像——柳夜熙、AYAYI和Ling等。还有一些游戏和品牌的虚拟人形象,如《英雄联盟》的K/DA虚拟女团,肯德基的“虚拟网红上校”等。他们的设计、运营以及未来的商业化过程都很不一样。
强项:我认为目前虚拟偶像的发展,还停留在一个“皮“的进化和分化过程中,进化指基于技术的发展追求真实感和自然感,让其更好看或更真实。分化则由审美驱动,满足不同人群的审美喜好。但在“魂”或所谓人格层面,还未有实质性进展,依然需要依靠配音、“中之人”,或一些基础的AI技术辅助。
28:33 虚拟人制作的核心技术
奇申:这可以从“皮”(形象制作)和“魂”(AI赋能)两块来说。
形象制作,从人物设计、原画、建模、绑定驱动、动画渲染、合成应用,每步都有非常重要的核心技术,虽然这几年在质和量上均有较大提升,但需要攻克的核心技术还有很多。即使像Epic已经投入了较多人力和时间去做的MetaHuman Creator,如果随便拿一个模型套用到系统中,捏一个想要的脸,依然有点困难。像动捕技术,分为身体、表情动捕,还需要一个“中之人”或动捕演员去操作控制,不太可能直接通过AI驱动。未来如果有更多人愿意投入这个领域,也许真得能做出像《头号玩家》影片的感觉,我很期待。
AI赋能:相当于虚拟人的内核或者说“魂”。像现在的TTS(文本转换成语音)、NLP(自然语言处理)、CV(图像技术)仍需深入研究和探索,这些问题都解决之后,也许未来虚拟人真得能替代真人,甚至超过人类。
“皮下之魂”的冲突
34:50 何为“中之人”,他们的真实状况如何?
奇申:“中之人”,来自日语“中の人”,指操控虚拟形象背后的人。在日本基本所有的虚拟主播都由专业声优来扮演,并以艺人的标准来选拔。很有可能他就是偶像练习生,希望用一个虚拟形象,达到成为偶像的目的。在韩国,培养一位偶像练习生,至少要 5 到 6 年全方位打造,包括品性、业务能力,甚至是心理承受能力。而在国内这些新兴的虚拟主播,或“中之人”并未经历过如此高强度的心理压力、业务能力的培训。日本的虚拟偶像团体“彩虹社”,他们当时“中之人”的试镜者有45,000人,且通过率只有1%。而在中国能够用于选拔的规模非常少,很多人误打误撞入行,对未来遇到的事情也没有心理预期。
这可能是整个业态发展的必经之路,像当年绊爱的休眠也是如此。只要技术手段还无法完全用 AI 替代真人,虚拟人和开发团队的矛盾就无法避免。如果“中之人”能完全代表自己,她能够和“皮”达到一个非常完美的和谐。
但资本加入考虑的就会更多。一套完整光学动捕做的虚拟直播,每次开销可能几万甚至几十万。除了要训练“中之人”,还要提供所有动捕技术支持,包括平台流量和商业资源。从厂商的视角来说,“中之人”无非提供了一套人体数据,付出和总体投入占比很小。自然不能将所得收益绝大部分归到“中之人”身上。所以说这个问题非常难解,因为大家预期不一样。
强项:“中之人”承担了偶像的“魂”,无法真正享受成为偶像的收益,却要承担成为偶像的束缚和压力。他们被要求保密个人信息,甚至谈恋爱都会受到限制。导致这个模式比真人偶像有更大的风险和不确定性。
“中之人”本身是一个非常弱势的群体,他们不一定梦想成为偶像,只是想做一份相对稳定的工作,拿一份不错的收入。初期用一个相对高溢价的收入能够压制这种矛盾,但后期偶像越成功,矛盾就越尖锐,爆发的必然性越强。
我之前负责的虚拟主播项目,还没有“中之人”的概念,就直接按招募主播的要求面试。面试者用给定的命题自说5分钟,看能否让我们开怀大笑,或引起共鸣。坦白讲,我们不希望颜值成为虚拟主播的优势,因为没有价值,反而会成为不稳定性因素。
如果“中之人”处在恋爱关系中,借虚拟形象,一比一、真实地感受来自异性粉丝的爱慕和追求,对他们来说是一种压力,因为很难没有任何心理负担地回应对方。同时他们的恋爱对象也会吃醋。有一次虚拟主播生日当天,一些粉丝送来真的鲜花、口红、化妆品等真人才能用的东西。我触动很大,他们知道其实这些东西是不可能用在虚拟形象身上,送的其实就是“中之人”,他们真正喜欢、愿意去花钱、去付费和长期投入感情的是“中之人”。
我们做产品,通过虚拟形象,捧一个“中之人”出来。这让我反思这样的产品逻辑其实错了,不是大家最初想象的那个方向。这个冲突就像达摩克利斯之剑悬在头上,也让我无法再坚持。因为早晚有一天,你前面投入的心血都会付之东流。
49:53 如何调和“中之人”和IP团队间的矛盾?
奇申:目前来看,降低因“中之人”问题而产生的塌房,厂商可以扶持不同的虚拟人,也可以找不同风格和类型的“中之人”做备份,还可以根据“中之人”来设定虚拟角色,形成捆绑关系。但我希望未来还是能够通过AI的技术,彻底解决“中之人”的矛盾。
强项:一旦AI能够做到在一定范围内替代真人,资本就很有可能将所有资源集中到AI的虚拟偶像中,其就会在一定程度上全部的AI化,到时候虚拟主播和虚拟偶像就会分化。虚拟偶像想要脱颖而出,就要投入更高的成本。
收听指南
同步上架小宇宙、苹果Podcast、喜马拉雅和网易云音乐,请扫码收听。
爱游新生
NExT播客新体验,自带New Experience and Technology(新体验与技术)基因,关注游戏的人,谈论关于游戏的方方面面。立志做一个只要想进入游戏的世界,就能听得懂的游戏聊天节目。