AI造人：虛擬數字人正走進我們的生活

近期,《時代周刊》新刊封面首度出現了“虛擬人”——美國民權領袖馬丁·路德·金的“數字孿生兄弟”,封面上如同真人般寫實的臉龐,是由好萊塢頂級視效公司數字王國聯合藝術家 Hank Willis Thomas 通過虛擬人技術創作而成。

準備好接受一個數字世界嗎?

數字王國復刻馬丁·路德·金

據悉,本次沉浸式體驗游行計劃( The March Project ),通過虛擬人像技術帶領觀眾"穿越"到1963年8月28日的華盛頓林肯紀念堂,聆聽那場經典的演講。

數字王國前期收集了大量馬丁·路德·金相關的視頻和圖片,提取他在演講當天不同角度的姿態和光影體現。后期啟用了攝影測量(從照片中測量)、運動捕捉、人工智能和3D渲染等技術制作而成。

在動作捕捉方面,數字王國在馬丁·路德·金數字替身的臉上畫了 190 個標記點,并給他戴上一個每秒60 幀運行的頭戴式攝像機,再給數字替身穿上動作捕捉服,開始演繹。隨后對數字替身進行面部和肢體的捕捉,再將膚色、體型、動作等信息映射到馬丁·路德·金已有的數字肖像上。七位動畫師耗時近三個月,完善了馬丁·路德·金演講時的動作,得益于基于龐大數據收集的機器學習,動畫師們只需在微小的面部抽動、無意識的眨眼等細節上微調和完善,以不斷接近真實。

有自己“靈魂”的三星“虛擬人”NEON

在CES 2020上,韓國三星STAR Labs正式展出了人工智人(Artificial Human)項目NEON。與一般“虛擬人”不同的是,它不會是百科般的語音助手,而能像真人一樣快速響應對話,做出真實的表情神態。

效果是怎樣的呢?例如微笑這樣的表情,NEON不會每次微笑模樣都一模一樣。

因為它可以構建機器學習模型,在對人物原始聲音、表情等數據進行捕捉并學習之后,形成像人腦一樣的長期記憶。

NEON之所以能像人一樣擁有不斷進化的學習能力,背后由兩大核心技術Core R3、SPECTRA支撐。Core R3軟件引擎,代表真實Reality、實時Realtime和響應Responsive。它能夠自主創建與原始捕獲數據完全不同的新表情、動作和對話,甚至可以使用多種語言進行交流,如漢語、英語日語、印地語等,且延遲時間不到幾毫秒。三星希望通過NEON.Life項目,打造出一款AI虛擬人,并嵌入到各種應用中。該項目負責人Pranav Mistry在推特上發布了一些圖片,展示了虛擬人的動作。

AI快速生成以假亂真的“虛擬數字人”

在劉慈欣的小說《帶上她的眼睛》中,主人公休假去旅游,上級要求他帶上“一雙眼睛”,當你戴上它時,你所看到的一切被遠方的人接收到,于是他就能看到你所看到的一切,就象你帶著他的眼睛一樣。

進入5G時代,設備成本的降低、傳輸速度的提升、深度學習等算法的優化等,讓很多科幻的場景成為現實,例如《頭號玩家》中的“虛擬數字人”走近日常生活,在娛樂、文旅、教育等消費場景中發揮意想不到的價值:不用去健身房辦理私教課,不用去培訓班上一對多課程,在家實現一對一的“真人”教學;推動營銷升級,消費者與明星“真人”親密互動……

這樣以假亂真的虛擬數字人背后涉及三大核心技術:光場(Light stage )采集與三維建模、AI算法驅動表情動作和基于深度學習的光線追蹤算法。

1.光場(Light stage)采集與三維建模

二維人臉技術發展了幾十年雖然已經比較成熟,但是人臉關鍵點檢測在各種大角度、多表情、復雜光照、面部遮擋等情況下,要實現實時高精度檢測重建仍比較困難。而高精度深度相機的出現極大的推動了三維重建技術的發展。由上百個深度相機組成的全方位相機陣列,模擬人眼的各個視點方向對真人360度環拍攝影,瞬間實時采集真人的光場信息。國內AI企業疊境數字自主研發的這套全方位光場采集系統還使用了深度學習、語義理解等人工智能技術,通過機器學習來模擬人眼的視覺感知能力,最終實現人眼成像機理般的清晰、完整、準確的重建三維模型。

該公司相關負責人表示,在光場(Light stage )三維建模出世之前,因固定光源環境下拍攝真人造成的人物三維模型失真問題一直是行業的技術難點。而在光場(Light stage )的高速可變光源拍攝環境下,真人三維模型真實度較之以前有大幅提提升。

2.AI算法驅動表情動作

數字人每做一個表情動作,模型師需要對模型進行拓撲、綁定和驅動。對三維人物模型來說,越高質量的數字人越需要大量的綁定工作,特別是人臉部位的骨骼和肌肉細微變化,可形成上千種表情。

怎么讓“虛擬數字人”的表情如真人般更豐富、細膩、真實?疊境通過深度攝像機光場采集三維人臉表情和動作數據,針對不同人,采集多種表情。利用這些數據積累,再借助AI算法和一段時間的深度學習訓練人臉表情,最終的訓練結果是虛擬數字人在嘴角眼部的張合幅度、眼神的細微變化、肌肉的輕微顫抖等表情幾乎與真人接近一致。

3.基于深度學習的光線追蹤算法

一般電影和影視節目的制作周期比較長,采用常規渲染技術需較長的時間預覽渲染后的特效。怎么大幅提升渲染速度、降低時間成本?基于深度學習的光線追蹤算法,改變了三維人物模型的生成方式,使三維人物模型的生成方式更加實時智能,生成的模型也更加自然真實。

我們用常規渲染技術和基于深度學習的光線追蹤算法分別生成的“人物模型”對比圖來看下效果,就明白為什么基于深度學習的光線追蹤算法讓虛擬數字人更逼真?

基于常規渲染技術的數字人

基于深度學習的光線追蹤算法的數字人

在實時渲染中虛擬人的皮膚渲染一直是個極大的技術挑戰。皮膚具有許多精細的視覺特征,包括紋理、毛孔、毛囊、斑點等細節的模擬,真實還原人體皮膚質地是一個較大的挑戰。基于深度學習的光線追蹤算法,能夠實時模擬大量離線光線跟蹤采樣的渲染效果,保證皮膚渲染效果中的陰影過渡自然,實現逼近真人膚質的渲染效果。

莎士比亞在《仲夏夜之夢》中曾經寫道: 想象的東西往往是虛無縹緲的,但在詩人的筆下,它們可以有形、有固有的實質。在5G時代,視覺呈現的技術革新從未止步,它以全所未有的方式一次次打破原有的感知,為用戶打造無與倫比的體驗。這次,三維智能視覺的虛擬數字人正向我們走來……

來源：網絡

IT時代網(關注微信公眾號ITtime2000，定時推送，互動有福利驚喜)所有原創文章版權所有，未經授權，轉載必究。
創客100創投基金成立于2015年，直通硅谷，專注于TMT領域早期項目投資。LP均來自政府、互聯網IT、傳媒知名企業和個人。創客100創投基金對IT、通信、互聯網、IP等有著自己獨特眼光和豐富的資源。決策快、投資快是創客100基金最顯著的特點。

相關文章

谷歌前總裁：美國必須“不惜一切代價”在人工智能研發上擊敗中國

馬斯克再次警告：人工智能可能會統治全人類

AIoT芯片行業面對新挑戰：阿里巴巴/聯發科/微美全息等啟動芯片戰略

【新知】馬斯克：腦機接口或一年內植入人腦，可修復任何大腦問題