距離神舟十二號載人飛船發射圓滿成功已經兩個多月,我國三位航天員聶海勝、劉伯明、湯洪波在軌執行任務時間也已過去三分之二。這段時間,騰訊遊戲NExT Studios與新華社媒體融合生產技術與系統國家重點實驗室共同打造的全球首位數字航天員、新華社數字記者
小諍帶著我們的嚮往,自由探索宇宙,不僅漫遊中國空間站天和核心艙、國際空間站、和平號空間站三大空間站,也見證了我國航天員們的出艙活動。
小諍究竟是一個什麼樣的存在呢?
今天,新華社揭秘小諍的更多細節,帶你全面走近“小諍”:
小諍的皮膚充滿細節,能隨著光線的變化而變化;小諍的頭髮有十萬根髮絲,輕柔飄逸;小諍行動自如,有143根骨骼,其中一隻手就有40個骨骼控制點;小諍也能表達情緒,她的臉有五千多個微表情驅動,能清楚表達喜怒哀樂,她的雙眼還能觀察世界,表達內心……
在這背後,是NExT Studios 15名研發人員的付出,基於自研的xFaceBuilder®平臺,從模特與服裝等基本素材的掃描、重建,身體、頭髮、服裝、配飾等的精細建模,到人臉綁定、動畫,團隊耗時共3個月時間,最終利用NExT自研動畫生產管線xMoCap®,通過動作捕捉技術給小諍賦予了生命。新華社團隊設計了整體形象、場景表現,並通過人工智能,賦予小諍聲音、智慧,還會讓小諍上知天文、下知地理。
讓我們通過幾個數字,來一探小諍的誕生之路。
1位
在角色製作中,NExT Studios數字人團隊根據小諍的角色定位,找到一位五官氣質接近的模特,並利用自建的Photogrammetry Lab(照相建模室)對她做了完整的表情掃描,從而得以最高品質地還原真人的細節及材質特徵。與前幾代高保真數字人Siren(塞壬)/Matt不同的是,小諍是造型師和角色藝術家進行了二次美型設計的超寫實數字人,既有著如真人般的皮膚、頭髮、眼睛,也有著獨一無二的外貌。
標準環境下定妝圖
航天服單獨掃描
在整個人臉建模過程中,NExT 團隊基於此前積累多年的實時高保真數字人技術,利用自研的xFaceBuilder®高質量人臉製作管線,通過大量算法優化提升了角色人臉製作效率。
8,192 x 8,192
小諍的面部細節來自真人模特的掃描數據,8,192 x 8,192的高精度材質貼圖,配合面部肌肉運動製作的動態貼圖,讓小諍的皮膚色彩能夠在表情、光線變化時實時發生變化;為了增強角色真實感,更模擬了皮膚的透光與次表面反射效果,製作了精細的面部汗毛。
5000個
為了支持小諍豐富的面部表情系統,NExT 技術團隊先對模特各種表情進行掃描拍攝,建模師再局部調整刻畫細膩表情,最終形成5,000多個Blendshape的表情數據庫。換句話說,小諍擁有5000多種不一樣的微表情!
Blendshape表情數據庫
10萬
10萬根髮絲,是小諍的真實發量。為了模擬真實,NExT 技術團隊請了專業的髮型師在模特頭髮上模擬了真實發型效果,並通過掃描建模導入專業髮型製作工具Xgen。全部頭髮作為曲線緩存導入UE,既可以接入Groom實現實時動態效果,也可以採用離線結算實現影視級動態。
頭髮建模圖
143根
143根骨骼,則是小諍行動自如的緣由。小諍的一隻手便有40根骨骼控制變形。NExT 技術團隊通過服裝的動態表現使用離線解算實現動態效果,配合NExT自研的Poseblend插件製作Blendshapes修型 ,實現影視級動態效果。同時,NExT 技術團隊通過基於3A級標準的動捕動畫生產管線工具——xMoCap®生產管線,通過動作捕捉技術將生命賦予給數字航天員。
這些努力,讓小諍實現“像你一樣”。
在這些技術基礎上,小諍的聲音、語言、表情、動作都能被人工智能所驅動。通過人工智能和場景運用,小諍也可以不斷成長,走進任何場景。作為國內首個進入多場景運營的數字人,她正在面向載人航天工程、行星探測工程等中國航天重大項目開展新聞報道,並將以多種形式開展航天科普傳播等工作,成為連接中國航天精神和年輕一代人群的橋樑。
小諍的誕生,讓實時高保真數字人技術不再侷限於實驗或設想,這是將前沿遊戲技術跨界應用在航天科普上的一次重要實踐,是拓展遊戲作為“超級數字場景”的全新嘗試,也讓我們看到遊戲技術擴散到社會、造福於更多領域的可能性。
隨著計算機圖形技術、人工智能技術愈發成熟,實時高保真數字人也將在更多細分領域發揮自身的技術優勢,突破真人的物理侷限,完成更多有價值的歷史使命。我們期待未來能有更多跨行業的融合創新,為航天科普、傳統文化承載等社會議題探索新的數字化解決方案。