僅 2022 年上半年，就有四家 VR 巨頭對(duì)自家 VR 設(shè)備的手勢(shì)交互技術(shù)操刀改良。

4 月 20 日，Meta 旗下的 VR 頭顯 Oculus Quest 2 手勢(shì)交互版本迭代至 2.0，解決了手部定位丟失的問題。4 月 13 日，字節(jié)跳動(dòng)旗下的 VR 品牌 Pico 宣布其兩款企業(yè)級(jí) VR 頭顯可以通過定制的手部追蹤配件，提升手勢(shì)交互體驗(yàn)。VR 廠商 HTC 也在今年 1 月發(fā)布了一款新款腕式追蹤器，輔助預(yù)測(cè)用戶的手部位置。

▲ Oculus Quest2 手勢(shì)交互 1.0 版本和 2.0 版本在手部快速追蹤方面的對(duì)比

無論是裸手交互技術(shù)，還是手部追蹤配件，用于 VR 設(shè)備的手勢(shì)交互技術(shù)一直在不斷迭代。同時(shí)，不少 VR 企業(yè)還在嘗試尋找新的手勢(shì)交互方式，比如說 VR 手套。

5 月 6 日，荷蘭 VR 手套制造商 Manus 宣布其新款采用磁力追蹤技術(shù)的 VR 手套 Quantum Metagloves 開啟預(yù)售。5 月 4 日，國內(nèi)動(dòng)捕技術(shù)巨頭諾亦騰發(fā)布 Hi5 2.0 VR 交互手套。而早在 2021 年 11 月，Meta 就曾展現(xiàn)自家的 VR 觸感手套模型，分享自己在 VR 手勢(shì)交互方面的最新成果。

▲ 從左到右分別為 Manus、諾亦騰、Meta 的 VR 手套

不僅如此，蘋果、谷歌、微軟等一些潛在 VR 玩家還獲批多項(xiàng)與智能戒指有關(guān)的專利，試圖將智能戒指打造為下一代手勢(shì)交互的關(guān)鍵輸入設(shè)備。

手勢(shì)交互技術(shù)是最基礎(chǔ)也是最自然的交互方式，也是 VR 設(shè)備中主流的交互方式之一。一般來說，手勢(shì)交互是指通過數(shù)學(xué)算法來識(shí)別人類手勢(shì)的技術(shù)，包括圖像獲取、手勢(shì)追蹤、手勢(shì)識(shí)別與分析等多個(gè)過程。

其中，手部追蹤和手勢(shì)識(shí)別是手勢(shì)交互中較為關(guān)鍵的兩個(gè)步驟。手部追蹤是指準(zhǔn)確地在 VR 頭顯中定位用戶雙手的位置，而如何精準(zhǔn)地識(shí)別每個(gè)手指的動(dòng)作，識(shí)別手的各種形態(tài)等屬于手勢(shì)識(shí)別。

手勢(shì)交互技術(shù)也暗藏巨大的市場(chǎng)空間。國際市場(chǎng)分析公司 Markets and Markets 發(fā)表報(bào)告稱，2024 年“手勢(shì)識(shí)別和無觸碰感知”市場(chǎng)將達(dá)到 340 億美元。

VR 設(shè)備的手勢(shì)交互技術(shù)有了哪些新玩法？廠商為何都在近期升級(jí)自家 VR 設(shè)備的手勢(shì)交互技術(shù)？VR 設(shè)備的手勢(shì)交互技術(shù)發(fā)展究竟如何？

我們與諾亦騰 CTO 戴若犁、夢(mèng)想綻放（愛奇藝智能）技術(shù)負(fù)責(zé)人史明以及 HTC 的技術(shù)負(fù)責(zé)人等多位行業(yè)人士深度交流后，試圖找到答案。

拋開手柄，VR 游戲可以裸手玩

相較于其他移動(dòng)設(shè)備，用于 VR 設(shè)備的手勢(shì)交互技術(shù)進(jìn)步較為緩慢。比如說，從 3dof 到 6dof 經(jīng)歷了近五年的發(fā)展時(shí)間，手柄交互到裸手交互仍處在初期階段。隨著技術(shù)不斷進(jìn)步，裸手交互也開始在不少消費(fèi)級(jí) VR 頭顯上普及。

Meta 曾在 2019 年發(fā)布手勢(shì)交互 1.0 版本，并將裸手交互引入 Oculus Quest VR 頭顯，讓用戶可以直接在虛擬世界中看到自己的雙手，并進(jìn)行一些簡單的交互操作。時(shí)隔 2 年后，Oculus Quest 2 擁有了手勢(shì)交互 2.0 版本。

此次升級(jí)主要解決了兩大難題。一是解決了用戶雙手重疊時(shí)，手部追蹤困難的問題。在 Quest 2 的手勢(shì)交互 1.0 版本中，當(dāng)用戶的雙手相互阻擋或重疊時(shí)，系統(tǒng)很難識(shí)別用戶的手勢(shì)動(dòng)作。二是在用戶快速揮動(dòng)雙手時(shí)，系統(tǒng)也很容易丟失對(duì)于手部的追蹤。這兩種情況的發(fā)生都有可能會(huì)造成雙手從虛擬世界中突然消失。

▲ Quest2 手勢(shì)交互 1.0 版本和 2.0 版本對(duì)比

至于是如何解決這兩項(xiàng)問題，Meta 在其公告中說明，基于“重新設(shè)計(jì)的計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)方法”，新版本提高了手部跟蹤的性能可靠性。但自從版本更新后，我們看到不少用戶反饋到，盡管手勢(shì)交互功能有了更好的體驗(yàn)，但是系統(tǒng)也出現(xiàn)了明顯的卡頓。

對(duì)此現(xiàn)象，戴若犁解釋到 VR 頭顯處理計(jì)算的能力本身就比較有限，而 Meta 基于計(jì)算機(jī)視覺獲取數(shù)據(jù)，并將一部分算力資源用來預(yù)測(cè)用戶手部位置，這種方案無疑將會(huì)為 VR 頭顯帶來較大的計(jì)算處理壓力，也是“系統(tǒng)卡頓”現(xiàn)象的主要原因。

HTC 也在今年 3 月推出了新款的腕式追蹤器 VIVE Wrist Tracker，并且在去年年底升級(jí)自家的手部追蹤版本。據(jù) HTC 官網(wǎng)信息介紹，當(dāng)用戶將腕式追蹤器戴在手腕上時(shí)，即使在一段時(shí)間內(nèi)雙手離開相機(jī)視野，系統(tǒng)也可以通過腕式追蹤器的高頻 IMU 數(shù)據(jù)和運(yùn)動(dòng)學(xué)模型預(yù)測(cè)手部的運(yùn)動(dòng)軌跡。

HTC 的相關(guān)負(fù)責(zé)人還向智東西分享到，相比 VIVE Focus 3 控制器，VIVE Wrist Tracker 移除了按鈕、觸覺輸入等零部件從而縮小電池尺寸，將控制器變得更小更輕。據(jù)介紹，HTC 的手腕追蹤器比 VIVE Focus 3 控制器小 85%，重量輕 50%。

▲ VIVE Wrist Tracker 腕式追蹤器

我們可以看到，Meta 的裸手交互方案仍是計(jì)算機(jī)視覺為主，HTC 的裸手交互方案則需要依靠腕式追蹤器等外設(shè)。前者能幫助用戶快速、有效地體驗(yàn)裸手交互的樂趣，而后者通過慣性傳感器提高一定程度手勢(shì)交互的準(zhǔn)確性和可靠性。面對(duì)不同的應(yīng)用場(chǎng)景，不同廠商 VR 設(shè)備的裸手交互方案各有側(cè)重。

但裸手交互一定會(huì)給人們帶來更好地體驗(yàn)嗎？戴若犁在采訪時(shí)說：“在技術(shù)成熟度尚未達(dá)到的時(shí)間點(diǎn)，將裸手交互這類人機(jī)交互新方式嵌入操作系統(tǒng)中，會(huì)給人們過高的期待?！?/p>

“從操作成功率和觸感反饋來說，手柄在樂趣以及操作準(zhǔn)確性上要遠(yuǎn)勝裸手交互?！彼忉尩剑谌藱C(jī)交互領(lǐng)域，80% 的操作準(zhǔn)確性和 100% 的操作準(zhǔn)確性給用戶帶來的交互體驗(yàn)是完全不一樣的。

微軟亞洲研究院網(wǎng)絡(luò)圖形組首席研究員童欣曾在 2017 年接受媒體采訪時(shí)證實(shí)這一點(diǎn)?！爱?dāng)我手握手柄的時(shí)候，手柄不僅是一個(gè)輸入設(shè)備，同時(shí)也是輸出設(shè)備，它可以通過震動(dòng)、力反饋給我一個(gè)輸出的反饋。而當(dāng)我空手在空氣中揮舞的時(shí)候，我就失去了自己的輸出渠道?！?/p>

有限的計(jì)算消耗、較高的學(xué)習(xí)成本、較低的操作準(zhǔn)確性等都是阻礙 VR 設(shè)備裸手交互技術(shù)發(fā)展的主要原因。但在交互體驗(yàn)上，裸手交互也將會(huì)給 VR 內(nèi)容生產(chǎn)者提供更多的發(fā)揮空間。不少 VR 設(shè)備中，裸手交互作為一種輔助的手勢(shì)交互方式。

大廠們爭(zhēng)著做的 VR 手套，B站 100 元搞定？

為了在裸手交互帶來的沉浸感和 VR 手柄提供的高準(zhǔn)確性之間尋找到平衡點(diǎn)，VR 廠商們又想出了另一種手勢(shì)交互方式 ——VR 手套。

目前，VR 手套存在比較多的形態(tài)，但是真正可以大規(guī)模量產(chǎn)和銷售的 VR 手套主要分為基于慣性傳感器和基于彎曲傳感器兩種類型。

不同于基于計(jì)算機(jī)視覺手勢(shì)交互的數(shù)據(jù)處理方式，以慣性傳感器為主的 VR 手套將通過傳感器收集大量的手部定位和手指交互的數(shù)據(jù)。而以彎曲傳感器為主的 VR 手套則測(cè)量精度較低，由于對(duì)于貼合程度的要求較高，其可穿戴設(shè)備的舒適度也較低。

我們有機(jī)會(huì)搶先體驗(yàn)到 Hi5 2.0 VR 交互手套。一副 Hi5 2.0 VR 交互手套共有 12 個(gè)慣性傳感器，每只手佩戴六個(gè)無線傳感器，分布五個(gè)手指和手背上。同時(shí)該套裝還將配有一個(gè)數(shù)據(jù)收發(fā)器，可以插在電腦或者 VR 頭顯上傳輸數(shù)據(jù)。

▲ Hi5 2.0 VR 交互手套

打開傳感器、安裝傳感器、固定好手部追蹤器，選擇校準(zhǔn)界面，Hi5 2.0 VR 手套的校準(zhǔn)方式比我們想象的要復(fù)雜一些。

在體驗(yàn)過程中，我們發(fā)現(xiàn) Hi5 2.0 VR 交互手套能提供較為精準(zhǔn)的手勢(shì)識(shí)別過程，比如說手部的位置和手勢(shì)的變化基本都能實(shí)時(shí)顯示變化。據(jù)官網(wǎng)介紹，該設(shè)備的姿態(tài)計(jì)算幀率從 180fps 提升至 500fps，研發(fā)人員還通過算法提高了一定的抗磁干擾程度。

▲ 諾亦騰研發(fā)人員正在校準(zhǔn) Hi5 2.0 VR 交互手套

除此之外，研究人員也在嘗試不同的 VR 手套設(shè)計(jì)方案。

2021 年 11 月，Meta 公布了其研發(fā) 7 年的 VR 觸感手套原型，這款 VR 手套用微型氣閥取代了電機(jī)，通過復(fù)雜的控制系統(tǒng)調(diào)整手指上的充氣儀器，形成擬真壓力，從而模擬各種觸感。

▲ Meta 觸感手套

荷蘭 VR 手套開發(fā)商 Manus 的 Quantum Metagloods VR 手套則是基于磁力追蹤技術(shù)打造而成。

與諾亦騰選擇用算法去減輕天然環(huán)境造成的磁干擾，保證追蹤穩(wěn)定性的方案不同，通過磁力追蹤的手勢(shì)交互方案需要兩個(gè)設(shè)備協(xié)作完成，一個(gè)設(shè)備內(nèi)設(shè) xyz 三個(gè)方向的線圈，同時(shí) VR 手套中也將內(nèi)含一個(gè)線圈，兩個(gè)線圈將以高頻振動(dòng)的方式產(chǎn)生磁力線，兩條磁力線互相切割，從而獲得手的位置變化。

盡管 VR 手套能提供較為準(zhǔn)確的手勢(shì)動(dòng)作捕捉，但 VR 手套的價(jià)格成本決定了其只能面向小部分極客玩家和商用市場(chǎng)。

據(jù)悉，Meta 手套的原型成本約為 5000 美元（約 33400 元），而 Manus 的 Quantum Metagloods 的預(yù)售價(jià)為 9000 美元（約 6 萬元），諾亦騰的 Hi5 2.0 VR 交互手套，售價(jià)為 9800 元人民幣。

▲ 從左到右分別為 Manus、諾亦騰、Meta 的 VR 手套

Meta 曾將研發(fā) VR 觸感手套的項(xiàng)目描述為“登月計(jì)劃”。“當(dāng)我們開始研發(fā) VR 觸感手套時(shí)，我們希望打造一款可以大規(guī)模量產(chǎn)，消費(fèi)者買得起的消費(fèi)設(shè)備，讓人們?cè)谌魏蔚胤蕉寄荏w驗(yàn)到虛擬世界?！盡eta 的項(xiàng)目負(fù)責(zé)人說：“但這幾乎不可能?！?/p>

在調(diào)查的過程中，我們還發(fā)現(xiàn)B站上有不少 UP 主自制 VR 手套，這些價(jià)格的成本從 100 元到 350 元不等，部分 VR 手套甚至擁有力反饋功能。我們看到這些自制的 VR 手套可以用于一些簡單的 VR 游戲中，可以做出拿、捏、翻轉(zhuǎn)等一些簡單手勢(shì)動(dòng)作，但其顯示延遲情況也較為明顯，時(shí)常會(huì)出現(xiàn)一些鬼畜場(chǎng)景。

▲ B站 UP 主們嘗試自制 VR 手套

面對(duì) VR 手套的巨大價(jià)格差距，一位從事 VR 手套的行業(yè)人士分析認(rèn)為面向 B 端市場(chǎng)的 VR 手套成本主要在研發(fā)投入、零部件以及人力資源成本上，價(jià)格根據(jù)市場(chǎng)需求而定。這意味著可能做一幅普通 VR 手套的價(jià)格并不高，但做一副可以面向商用場(chǎng)景、提供準(zhǔn)確精度的 VR 手套需要較高的成本。

盡管 VR 手套能兼顧 VR 設(shè)備的沉浸感和手勢(shì)交互的準(zhǔn)確性，如何降低 VR 手套的價(jià)格將是 VR 手套發(fā)展必須要解決的難題。

想要擁有自由的“雙手”？要從算法、工程、交互設(shè)計(jì)攻克難題

從裸手交互和 VR 手套交互兩種方式來看，VR 設(shè)備的手勢(shì)交互技術(shù)發(fā)展正在不斷更新迭代，此前面臨的一些困境也逐步尋找到了解決方法。但整體而言，用于 VR 設(shè)備的手勢(shì)交互技術(shù)還存在不少難點(diǎn)。

到底是什么阻礙了我們?nèi)拥?VR 手柄，無法采用新的手勢(shì)交互方式？國內(nèi) VR 頭顯奇遇系列的研發(fā)人員、夢(mèng)想綻放（愛奇藝智能）的技術(shù)負(fù)責(zé)人史明在接受智東西采訪時(shí)給出了三個(gè)要點(diǎn)。

首先是算法層面。目前用于 VR 設(shè)備的手勢(shì)交互技術(shù)基本采用深度學(xué)習(xí)技術(shù)，因此研發(fā)過程中需要依賴大量的業(yè)務(wù)場(chǎng)景標(biāo)注數(shù)據(jù)。而基于手勢(shì)的三維數(shù)據(jù)獲取成本高，并且難以保證數(shù)據(jù)質(zhì)量和一致性。

▲ 手勢(shì)交互的關(guān)鍵點(diǎn)識(shí)別

其次，手勢(shì)交互技術(shù)在工程優(yōu)化方面比較復(fù)雜。手勢(shì)交互技術(shù)需要以一個(gè)優(yōu)異模型為前提，需要做小模型推理演繹。而推理過程中，研究人員既要保證算法的精確度，又要保證數(shù)據(jù)的實(shí)時(shí)高效性。

最后是在交互使用方面的設(shè)計(jì)。VR 研發(fā)人員需要在設(shè)計(jì)手勢(shì)交互相關(guān)操作時(shí)規(guī)避視覺死角問題，同時(shí)還要為用戶提供較好的交互體驗(yàn)。

關(guān)于手勢(shì)交互的設(shè)計(jì)這一點(diǎn)，曾擔(dān)任 Facebook Reality Labs 設(shè)計(jì)師劉曉雨也曾在采訪中提到手勢(shì)交互技術(shù)很容易在使用期間出現(xiàn)遮擋情況，設(shè)計(jì)手勢(shì)交互動(dòng)作時(shí)還需要考慮用戶的學(xué)習(xí)成本。

除此之外，微軟亞洲研究院網(wǎng)絡(luò)圖形組首席研究員童欣還曾提到對(duì)于手勢(shì)識(shí)別而言，機(jī)器很難分清輸入狀態(tài)和非輸入狀態(tài)。與鍵盤的按鍵交互方式不同，機(jī)器很難去分辨你搖手的動(dòng)作，是做出一個(gè)揮手的手勢(shì)，還是玩累了想要甩手休息。

總體而言，用于 VR 設(shè)備的手勢(shì)交互技術(shù)整體上主要面臨兩個(gè)方面的難題。一方面是哪一種手勢(shì)交互方式能兼顧沉浸感、準(zhǔn)確性并且成本低，能用于所有的 VR 設(shè)備。另一方面是，如何根據(jù) VR 設(shè)備的基礎(chǔ)配置打造出最適合這款設(shè)備的手勢(shì)交互功能。

可以預(yù)見的是，在裸手交互技術(shù)能獲得較高的精度、VR 手套成本下降之前，手柄將仍是 VR 設(shè)備手勢(shì)交互的主流方案之一。

結(jié)語：手勢(shì)交互技術(shù)或成 VR 體驗(yàn)升級(jí)關(guān)鍵

目前，用于 VR 設(shè)備的手勢(shì)交互總共分為三個(gè)方向：現(xiàn)有的手柄交互方式、正在逐步成為主流的裸手交互方式、和仍在小眾階段的外接可穿戴設(shè)備的交互方式。但值得注意的是，這三種交互方式并非替代關(guān)系，是可以實(shí)現(xiàn)共存。

在手機(jī)、電腦快速發(fā)展的時(shí)期，無論是鍵入，還是觸屏的交互模式，都曾給人們帶來新的交互體驗(yàn)，手勢(shì)交互同樣會(huì)給 VR 設(shè)備體驗(yàn)和 VR 內(nèi)容生產(chǎn)帶來新的變化。

手勢(shì)交互的技術(shù)發(fā)展總會(huì)有無窮無盡的方向，但被時(shí)代所留下的手勢(shì)交互技術(shù)終究是少數(shù)，用于 VR 設(shè)備的手勢(shì)交互技術(shù)將會(huì)如何演進(jìn)，或許時(shí)間能告訴我們答案。