Meta Society |

過去三五年，行業更迭，入局企業眾多，元宇宙相關技術層出不窮。我們希望在本欄目中，對VR | XR | 動作捕捉技術聚焦剖析，捋清技術脈絡，為您帶來相關技術分享與理論觀點。

20世紀80年代起，日本微型計算機技術開始逐漸成熟，1983年更是成為公認的紅白機元年。

從這時開始，二次元文化逐漸形成，動畫片產業方興未艾，但當年并不像當代日漫，題材稀薄，乏味可陳。因此，動畫《超時空要塞Macross》憑借機器人與戀愛主題要素結合的超前理念，在當年一躍成為經典，女主角林明美更是成為初代“御宅族”的理想女神。

動畫制作方抓住契機，虛擬偶像“林明美”正式出道，就著歌姬人設出專輯，成為當時最紅的存在。「走出動畫文本的紙片人」打開了未來虛擬偶像創作者的思路。

到了1996年，技術條件的革新，促發了3D虛擬偶像伊達杏子的誕生，但由于當時的動作捕捉技術手段尚未成熟，制作成本高，未能形成真正的3D虛擬偶像熱潮。

21世紀初期，CG技術、動作捕捉與面部捕捉技術的發展推動虛擬偶像進一步完善，以初音未來、洛天依為代表的新一代虛擬歌姬，以及《指環王》中的咕嚕和《猩球崛起》中的凱撒，宣告虛擬偶像步入影視娛樂行業。

「二次元」虛擬偶像

2016年后，隨著人工智能、建模、渲染和動作面部捕捉等技術的發展，虛擬偶像絆愛在直播間開啟虛擬主播帶貨新形式，Bilibili“虛擬次元計劃”頻道成為虛擬主播大本營。百度集團深耕人工智能賽道，推出AIGC希加加，當代AI技術的蓬勃發展，也讓AIGC向生成式數字人逐步前行。

技術革新推動虛擬偶像產業發展

顯然，虛擬偶像是頗具象征意味的群體需求和技術發展匯合的時代產物。

隨著“元宇宙”概念的火熱，虛擬偶像再次被推上風口浪尖，當下三維圖形生成技術、動態環境建模技術、實時動作捕捉技術、快速渲染處理、虛擬引擎構建、語音合成與交互技術、語義識別技術、深度學習與多模態技術等新技術的發展，正在積極為虛擬偶像賦能。

元宇宙時代，虛擬偶像已經進化為超寫實數字人。超寫實數字人建模是一種追求逼真度較高的技術，涵蓋多種方法和工具，常見的建模技術主要有以下幾類：

手工建模是一種使用計算機圖形軟件或物理材料，通過藝術家或設計師手動創建三維模型的過程。這種方法涵蓋了游戲開發、動畫制作、工業設計等多個領域，適用于注重創造力、個性化和藝術性的項目，但在時間、成本和效率方面會受到限制。

在不同的項目中，手工建模與數字技術、自動化建模等方法可能會結合使用，以平衡不同的需求。

由Epic Games開發的工具，使用機器學習生成逼真的數字人物模型，包括面部特征、膚色、表情、發型等。然而，由于軟件局限，應用MetaHuman Creator制作能夠交互的虛擬偶像需要大量學習素材支撐，且建模類型較為單一，無法創建定制化角色。

MetaHuman Creator

通常采用高分辨率的3D掃描儀，捕捉真實人體或物體的微小細節，以及皮膚紋理等，從而生成超寫實的數字人物模型。

元客視界Lustage光場重建系統

元客視界LuStage是一套高效的影視級數字人/物資產建模系統，利用多光譜變光照照明、高速同步相機陣列采集的數據，自動智能計算毛孔級的高精度人臉模型、光照材質特性，大幅降低人/物等數字資產制作周期，提升制作精度。

作為主流的虛擬偶像驅動技術，動作捕捉實現了真人虛擬化的互動形式，這種交互方式開啟了創作者與虛擬偶像的虛實觸達通道，也是人與機器之間的一種新的互動形式。 一些常用的控制手段包括動作捕捉、手勢捕捉、表情捕捉等。

元客視界虛擬偶像直播方案，結合了自主開發的FZMotion光學式高精度動作捕捉系統，以及iPhone的ARKit表情捕捉方式，和諸如Manus、StretchSense等數據手套，實時高精度解算人體骨骼運動，驅動數字角色動畫，整套流程骨骼魯棒穩定，動畫生成快速細膩。

元客視界虛擬偶像解決方案

近年來，學術界在大規模深度神經網絡、多模態人工智能方面的探索表明大模型具備易擴展性，能夠實現跨模態的知識沉淀。

去年亮相的stableDiffusion以及ChatGPT成功商業化也證明了以大模型為基礎，通過大模型進行業務封裝可以較好滿足多個行業需求。

虛擬偶像作為最趨近真人的表達媒介之一，除了傳統的AI內容模型之外，還需要大量動作數據集模型進行自主學習驅動。

基于專業的設計與集成理念，元客視界LuStage光場重建系統兼具高速、高質量的制造能力。LuStage所具備的多相機微秒級同步以及圖像智能ISP處理能力，可以使模型幾何信息更加精確、圖像色彩更加真實；同時，LuStage采用分布式高速拍攝存儲等技術，實現大規模批量化模型生產的目標，大大縮短了AI模型數據訓練數據庫的周期，爆發真正改變技術手段、推動行業進步的生產力。

虛擬偶像AI訓練數據集