?
在AR和VR中創(chuàng)建數(shù)字人物是沉浸式體驗的必要需求，但同時也是一項技術(shù)挑戰(zhàn)。對于初學者來說，這或許比在3D工具中創(chuàng)建物體和環(huán)境要困難得多。為什么？首先，人體結(jié)構(gòu)比桌子或椅子更為復雜，所以更難復制；其次，我們已經(jīng)特別熟悉人類的動作，所以我們的大腦能夠輕易發(fā)現(xiàn)最微小的差異；最后，對于AR/VR這樣的沉浸式媒介而言，人體動畫，特別費時又存在重重的技術(shù)困難。當然，市場上已經(jīng)存在一些解決方案，而我們又應如何進行選擇呢？
根據(jù)海外近期文獻及映維網(wǎng)相關(guān)翻譯內(nèi)容，以下討論了部分目前已有的解決方案及其優(yōu)缺點。
?
1. 高定制化的虛擬化身
從卡通風格到類人風格，虛擬化身（有時稱為合成人類）是我們?nèi)祟愒跀?shù)字空間中的對應定制角色。對于普通大眾而言，我們最為熟悉的例子包括Bitmoji、蘋果的Memoji和Facebook Avatars。但實際上，你可以發(fā)現(xiàn)一系列的公司都有把虛擬化身用于AR/VR。這種數(shù)字角色通常屬于高度可定制，允許你輕松改變膚色、頭發(fā)、衣服、配件、身高等等。保真度：高度程式化的虛擬化身保真度非常低，比如卡通類型的虛擬化身。它們的優(yōu)點是，你可以變成別人難以通過外表或動作識別你的任何角色。實際上，即便是3D模型，我們對卡通角色的接受度普遍較高。動畫性：一般來說，虛擬化身時都會設計成便于定制調(diào)整和制作動畫。根據(jù)虛擬化身解決方案，你將能夠?qū)崿F(xiàn)各種各樣的手勢和姿態(tài)。另外，它們可能會附帶一個運動庫或允許你導入自己的動作。沉浸感：在這一方面，低保真度的虛擬化身往往要優(yōu)于嘗試實現(xiàn)高保真度的虛擬化身。在大多數(shù)情況下，你不會認為自己是在和一個真實人類分享這個空間，而這對你正在進行的工作或娛樂而言可能并不重要。成本：行業(yè)存在支持與特定AR/VR平臺集成的免費卡通化解決方案。你可以在Unity Asset Store等標準儲存庫發(fā)現(xiàn)這些功能有限，但成本和操作親民的虛擬化身解決方案。另一方面，你可以通過專業(yè)供應商尋找基于動捕技術(shù)并且由人工智能驅(qū)動的高質(zhì)量虛擬化身。時間：通常，定制和配置虛擬化身的動畫是一個非常快速的過程，但前提是你正在使用的工具提供所需的定制和動畫選項。如果需要任何裁剪，這可能會成為一個棘手且漫長的過程，或者根本無法實現(xiàn)，比方說你希望移動虛擬化身的眉毛，但相關(guān)工具根本不提供所述選項。總結(jié)：對于不需要高逼真度或沉浸感的內(nèi)容，虛擬化身是一個出色的解決方案。動畫性和所需時間令其成為了交互性內(nèi)容的強大選擇，如訓練模擬器或游戲（事實上，傳統(tǒng)的游戲角色可以視為虛擬化身）。然而，如果你希望實現(xiàn)真正的沉浸感，或者希望你的內(nèi)容能夠給受眾留下深刻的印象，你應該考慮其它方案。
?
2. 3D設計
人類的3D設計是使用專門的軟件從零開始創(chuàng)建人類角色的過程。你可以將其當作是繪畫人像，但這是在3D中進行。3D美術(shù)或?qū)I(yè)設計師會創(chuàng)建達到特定細節(jié)級別的模型，然后用數(shù)字骨架對其進行綁定操縱，從而使其具有動畫效果。結(jié)果，你將得到一個獨特的虛擬化身。當然，要設計一個具有與真人相似的細節(jié)特征的3D角色，你將需要難以置信的專業(yè)知識量。頂級的3D專家會根據(jù)角色的個性為數(shù)字人類量身定制視覺外觀。為了減少復雜性，設計師通常從一個預先定義的模型，一個三維掃描，一個人體模型庫開始，并產(chǎn)生混合技術(shù)和結(jié)果。3D設計的角色不僅可用于AR和VR，過去的電影中同樣有廣泛應，如《指環(huán)王》中的咕嚕、《加勒比海盜》中的戴維·瓊斯、和《玩具總動員》中的伍迪等等。
?
保真度：你可以選擇不同的外觀風格，如卡通、寫實、幻想等。只要有合適的美術(shù)、工具、時間和預算，你就能實現(xiàn)其他方法難以達到的保真度。動畫性：這取決于3D設計的質(zhì)量。設計精良的3D角色可以動畫化到令人難以置信的細節(jié)水平。頂級工作室甚至會用到深度學習引擎來驅(qū)動設計，這樣角色的一切，甚至膚色都會隨著動作而略有變化。在實踐中，對于一個普通的沉浸式項目，你可以用標準的工具和合理的動畫水平來設計角色，但不要期望太高的真實感。沉浸感：同樣，這取決于你的設計質(zhì)量。如果技巧高超，三維設計可以帶來高水平的沉浸感。低質(zhì)量的設計可能會導致非常令人毛骨悚然的結(jié)果，或者只是給整個沉浸式體驗帶來一種低端的印象。成本：根據(jù)你的方法，3D設計可能是最昂貴的解決方案。你需要內(nèi)部人才來創(chuàng)建設計和制作動畫，或者是將工作外包。另外，根據(jù)選擇，3D設計工具和硬件可能需要你支付昂貴的價格。時間：一個3D設計美術(shù)可能需要幾個月的時間來開發(fā)一個合適質(zhì)量水平的人類角色。類似地，電影或3A游戲的角色可能需要專業(yè)設計師團隊花費數(shù)個星期的時間來開發(fā)。過程可以更快地完成，但這涉及到成本或質(zhì)量的權(quán)衡。總結(jié)：對于高端AR/VR內(nèi)容所需要的獨特角色，而且不是直接從現(xiàn)實中捕捉的真實人物，3D設計可能是最好的解決方案，而你會看到游戲和電影大作常常會用到這種方法。如果你不追求高質(zhì)量，但又無法通過定制虛擬角色的方法來獲得所需的結(jié)果，3D設計同樣值得你的考慮。但當然，前提是你擁有合適的人才和設備，以及足夠的預算。設計的類型必須根據(jù)你的使用場景進行調(diào)整。
?
3. 靜態(tài)3D掃描+動畫
三維掃描是一種使用專業(yè)技術(shù)，用來分析現(xiàn)實世界中的人或物，從而生成其數(shù)字三維副本的過程。這通常可稱為“數(shù)字孿生”或3D掃描。行業(yè)存在各種各樣的技術(shù)，而最常見的是使用深度傳感器和攝影測量。深度傳感器計算對象和傳感器本身之間的距離，而攝影測量則使用從不同位置和角度拍攝的照片，并使用專門的軟件將它們拼合在一起以形成三維模型。就其本身而言，人類的3D掃描就像是一個靜止的數(shù)字雕塑，它們需要用一個數(shù)字骨骼進行綁定操縱，并進行數(shù)字“蒙皮”，這樣才能動畫化。換而言之，模型的關(guān)節(jié)和活動組件需要識別和編程，并且模型的形狀在這一過程中不會瘋狂地改變。保真度：根據(jù)你能負擔的預算，你可以考慮不同的質(zhì)量等級。好萊塢工作室使用高質(zhì)量的3D掃描裝置，但你可以通過智能手機攝像頭來實現(xiàn)基本的3D掃描。保真度問題會在動畫化過程中出現(xiàn)，要人為地對三維掃描進行綁定操縱和蒙皮非常困難，這樣做通常會導致機器人般或木偶般的不自然效果。只有頂級工作室的合格3D美術(shù)團隊才能通過靜態(tài)掃描實現(xiàn)3D的逼真度。目前少有能夠?qū)崿F(xiàn)出色效果的自動化工具。動畫性：如前所述，這是3D掃描的最大限制。3D掃描本質(zhì)為靜態(tài)，對綁定操縱和蒙皮是持續(xù)不斷的技術(shù)挑戰(zhàn)，若缺乏熟練的美術(shù)技巧及標準工具將難以得到令人信服的結(jié)果。但如果保真度和沉浸感不是優(yōu)先考慮事項，行業(yè)存在一些值得考慮的軟件解決方案。沉浸感：如果能以高標準拍攝并制作動畫，由3D專家團隊完成的3D掃描能夠?qū)崿F(xiàn)令人信服的數(shù)字人類，并帶來高度沉浸感的體驗。對于采用標準的綁定操縱和蒙皮技術(shù)，所有質(zhì)量級別的3D掃描都會有一種恐怖谷般的外觀和感覺。成本：如果你希望自己進行3D掃描，一個3D掃描裝置通常需要你購買幾十個攝像頭，外加一系列的配件。攝影測量軟件的成本可以接受，而運行重建過程不是什么高深的科學。另一個選擇是雇傭一個3D掃描工作室來完成特定的工作，這甚至可能會降低成本。如果這兩個選項都不行，你可以使用一個攝像頭并從不同的角度捕捉人像，然后進行重建，但這將是一個耗時的細節(jié)向過程。同樣，將3D掃描變成一個可動畫化的數(shù)字人類，你需要團隊擁有優(yōu)秀的3D專業(yè)知識，以及采購甚至不能提供最令人興奮結(jié)果的昂貴的軟件解決方案。時間：如果你有你的三維掃描設備或有權(quán)訪問一家提供該服務的公司，三維模型的捕獲不是一個耗時的過程。就像上面提到的，3D掃描可以用一個攝像機從不同的角度捕捉一個人，但這需要時間和一定的專業(yè)水平。標準動畫制作不是一個耗時的過程，但會導致有限的結(jié)果。為了達到一個像樣的質(zhì)量水平，你需要更長的時間來完成捕獲后的過程，例如從3D掃描到創(chuàng)建專業(yè)動態(tài)3D模型，你可以使用動捕技術(shù)創(chuàng)建動作，然后綁定靜態(tài)模型骨骼來產(chǎn)生動態(tài)效果。總結(jié)：傳統(tǒng)意義上，靜態(tài)3D掃描與動畫相結(jié)合一直是將真人帶到AR和VR或其他3D世界（如游戲）的首選方法。當交給合格的3D設計師團隊時，這是一個非常強大的工具組合。但在大多數(shù)情況下，你的公司可能缺乏這樣的團隊，所以3D掃描可能不是你的選擇。正如上述討論一樣，標準的綁定操縱和蒙皮技術(shù)會令模型看起來粗糙，有時甚至會出現(xiàn)恐怖谷效應。在這種情況下，你會犧牲沉浸感。如螳螂慧視所提供的體積視頻錄制方案（見下文）能夠解決這個問題，并給你提供了一個更為自然的結(jié)果。?
4. 體積視頻（動態(tài)3D掃描）
體積視頻是一種捕捉人或物并生成一系列三維模型的技術(shù)。換言之，體積視頻之于3D掃描就像視頻之于攝影一樣。一般來說，你可以把體積視頻的每一幀都看作是3D掃描。因為它直接捕捉現(xiàn)實，你可以用它把真實的人類準確地帶到AR/VR之中。由于它是三維的，你可以從任何角度看到內(nèi)容。從技術(shù)上講，體積視頻就像3D掃描一樣，同樣是基于多攝像頭裝置，其中可以包括深度傳感器。事實上，一個體積視頻捕捉設備非常類似于一個3D掃描設備，只是它設置成記錄視頻而非單幀畫面。保真度：這是體積視頻的關(guān)鍵優(yōu)勢之一。它的優(yōu)點是形狀和動作不是分開生成，而是直接在3D中捕捉移動的人物。沒有一種方法可以在沒有高質(zhì)量美術(shù)的監(jiān)督下達到這種自然逼真度。與其他技術(shù)類似，體積視頻將根據(jù)你的預算和部署平臺提供不同級別的保真度。配備100多個攝像頭的精密裝置可以提供非常高的質(zhì)量。但對于大多數(shù)目的來說，這可能是殺雞用牛刀，因為當你使用最先進的體積視頻重建軟件時，你可以用15-18個攝像頭獲得非常逼真的結(jié)果。但基于多個簡單甚至廉價的深度傳感器和攝像頭，會產(chǎn)生更多噪點、低分辨率或根本不是完全三維的低質(zhì)量內(nèi)容。動畫性：體積視頻和普通視頻一樣不需要動畫。你可以從現(xiàn)實中捕捉AR/VR體驗所需的動作，從而使其具有最大的保真度。反過來，體積視頻在重新設置動畫方面受到限制：你可以對其進行綁定操縱并對其進行蒙皮，但有可能會失去原始捕獲的真實性和保真度。與3D掃描相比，它有兩個主要優(yōu)勢：-
首先，你有關(guān)于人物如何運動的內(nèi)置信息，因此你可以精準地確定驅(qū)動運動的數(shù)字骨骼。
-
其次，你可以使用原始的動作并調(diào)整它們以更好地匹配你的故事（例如，改變時間、視線、方向），而不是完全重新設置動畫。事實上，有公司專門從事這種動態(tài)3D內(nèi)容的后期制作。未來，深度學習系統(tǒng)可能會從原始的體積視頻中學習，并用全新的但逼真的動作來實現(xiàn)動畫捕捉。而螳螂慧視（Mantis Vision）正在探索這一方向的技術(shù)。
沉浸感：與一個動態(tài)3D人物共享一個空間將是僅次于現(xiàn)實的交互案例。像視頻一樣，一般的外表和動作，甚至是情緒都是以原始保真度捕捉的，這樣的表達和反應最為真實。由于它是全三維，所以可以集成到AR或VR空間之中，并且可以從任何角度進行體驗。你同時可以添加一定的效果，例如讓3D角色注視著用戶。成本：如果你想搭建自己的動態(tài)3D內(nèi)容捕捉設備，一些簡單的機器可以適合初學者使用，而且價格合理，只是不能提供專業(yè)的結(jié)果。最復雜的設備可能要花費過百萬美元，但它們可以產(chǎn)生真正高端的結(jié)果。事實上，所需的空間可能是最為昂貴的資源，即專門的體積視頻捕捉空間（3D影棚）。如果你與一個3D內(nèi)容錄制工作室合作進行一次性項目，成本會高于2D Billboards和標準虛擬化身，但可能會低于3D設計或靜態(tài)3D掃描+動畫，但體積視頻可以提供更高的內(nèi)容質(zhì)量。一般來說，你不需要專業(yè)的人才，除非你想后期制作或重新制作你的捕獲真實3D動態(tài)內(nèi)容。時間：這是體積視頻之于其他方案的最重要的優(yōu)勢之一。第一步是捕捉，它所花費的時間和普通的視頻拍攝差不多。過去，處理體積視頻是一個漫長的過程，但目前的云解決方案已允許處理過程在幾小時，甚至幾分鐘內(nèi)完成。另一個優(yōu)點是，獲得的結(jié)果可以直接從處理管道集成到體驗之中。螳螂慧視（Mantis Vision）擁有的獨家3D內(nèi)容直播技術(shù)，甚至能做到實時捕捉、處理、并在AR/VR端輸出完全三維的體積視頻。總結(jié)：如果AR/VR內(nèi)容的關(guān)注點是人，需要以真實方式捕捉人物及相關(guān)的情感和動作，體積視頻可能是你的最佳選擇。如果你需要在內(nèi)容中加入一個特定的人物，比如名人、品牌大使、公司高管或藝術(shù)家等，那這一優(yōu)勢將尤其突出。但需要注意的是：如果你的內(nèi)容具有高度交互性（如游戲），你將需要結(jié)合特定的綁定操縱和蒙皮技術(shù)來實現(xiàn)。
總而言之，如果你的項目能夠支持不需要動畫的解決方案，如體積視頻，則這類方案將確保非常自然和高端的人體運動效果體驗，并且是獲得最具沉浸感效果的最佳方法。如果你依賴動畫，而且擁有預算，你可以選擇動捕。但最終重要的是，無論選擇的方案是什么，要創(chuàng)造令人信服和身臨其境的內(nèi)容，關(guān)鍵都是你自己的創(chuàng)造力。選擇正確的方法來來創(chuàng)建3D人物非常重要，有時這是一個漫長的過程。以上考慮事項可以幫助你在設計下一個AR/VR項目時的決策。你要確保為內(nèi)容選擇正確的方法，因為正確的沉浸式體驗有助于建立你的信譽，并帶來更多的客戶和項目合作。