99色在线视频-99色综合-99视频精品全国免费-99视频全部免费-能在线观看的一区二区三区-嗯!啊!使劲用力在线观看

無需鍵盤的自然輸入!Facebook分享Quest手部交互最新研究成果

VR/AR
2020
10/27
20:20
映維網
分享
評論

來源:映維網  作者 映華

構建能夠幫助大家保持聯結的產品是FacebookReality Labs(FRL)的一個重要宗旨。在過去數年間,團隊分享了在機器感知,逼真虛擬化身,甚至是腦機接口方面的進展。在上個月,FRL Research的首席科學家邁克爾·亞伯拉什在Facebook Connect大會談到了AR眼鏡的發展之路。

在下面這篇博文中,這家公司將介紹研究人員是如何為Quest“解鎖”同類產品中的首款手部追蹤解決方案,并分享關于文本輸入的研究進展。下面是映維網的具體整理:

手部追蹤是FRL Research眾多旨在提升技術交互親民都的研究課題之一。從VR頭顯到AR眼鏡,我們正在構建下一個能夠讓更多人受益的計算平臺。手部追蹤技術提供了最為熟悉自然的人機交互方式,從而為更多的人打開了沉浸式計算的大門。

當Oculus Touch控制器于2016年底面世時,它通過手部臨在開創了一個消費虛擬現實的新時代:在虛擬環境中,你的雙手與你同在。

手部追蹤是FRL Research眾多旨在提升技術交互親民度的研究課題之一。

為了構建更為自然的交互設備,FRL將Touch控制器作為基礎。這款設備操作舒適,并且配備了先進的傳感器,可提供逼真的雙手臨場感,能夠使虛擬現實中最基本的交互(如抓住門把手)感覺更為真實。然而,盡管Touch控制器存在大量的優點,但它無法復刻V字手勢或鍵盤操作的效率。對于自然地做事,目前沒有任何其他方式能夠比擬人手。與生俱來的本能,強大的適應性,以及被億萬人理解,雙手一直都在幫助我們完成日常任務、創造性工作、以及介于兩者之間的所有事情。可以說,雙手是大多數活動的理想輸入。但當FRL Research于五年多前開始為VR探索手部追蹤的時候,業內尚未出現消費者質量的裸手追蹤。團隊面臨的挑戰是從零開發這項技術,并通過創建一個基于人手的新界面來讓虛擬現實變得更加親民。令人感到欣慰的是,我們取得了成功。

我們將通過兩篇論文來介紹具體的實現過程,以及手部追蹤的進一步潛力。在本周舉行的UIST 2020大會中(一個關于用戶界面軟件和技術的研討會),FRL Research首次提出了一種不使用物理鍵盤進行接觸式文本鍵入的新方法。我們演示了可以作用于任何表面的手部追蹤提供了媲美傳統鍵盤打字的效率和熟悉度。在SIGGRAPH 2020(一個關于計算機圖形學的年度大會),FRL的研究人員分享了他們是如何通過移動計算的眾多突破為Quest實現手部追蹤。今天,每一臺Quest頭顯都搭載了現成的手部追蹤功能。

使用基于標記的手部追蹤系統,FRL Research演示了如何在平面實現接觸式文本鍵入。這向我們展示了將手部追蹤用于文本輸入的潛力。

1. 無需鍵盤的自然文本鍵入

作為正在進行的手部追蹤研究的其中一環,FRL Research不斷探索新的實驗性文本輸入形式,因為這對交流和生產力而言都是一項關鍵任務。在本周舉行的UIST 2020大會中,團隊提出了一種不使用物理鍵盤進行接觸式文本鍵入的新方法。這種解決方案使用了基于標記的手部追蹤系統,把相關的手部追蹤數據作為輸入,并將其直接解碼為用戶希望輸入的文本。盡管項目尚處于研究階段的早期,但這次演示說明了手部追蹤在生產力場景中的潛力。

相關論文:Decoding Surface Touch Typing from Hand-Tracking

相關論文:Online Optical Marker-based Hand Tracking with Deep Labels 

為了支持無需物理鍵盤的接觸式文本鍵入,并考慮無法從單個物理按鍵獲得觸覺反饋的缺點,研究小組必須合理化于隨機平面發生的非明確文本鍵入模式。團隊采用了來自自動語音識別的統計解碼技術。語音識別主要使用聲學模型來預測音頻幀中的音素,而團隊則使用運動模型來預測手部運動中的鍵入行為。

當在純平面使用雙手進行接觸式本文鍵入操作時,被試平均每分鐘能夠輸入73個字詞,未糾錯誤率為2.4%。這實現了同一被試操作物理鍵盤的類似速度和精度。

結合語言模型,系統能夠判斷理解用戶的非明確文本鍵入,并預測用戶希望輸入的內容。利用這種新方法,當在純平面使用雙手進行接觸式本文鍵入操作時,被試平均每分鐘能夠輸入73個字詞,未糾錯誤率為2.4%。這實現了同一被試操作物理鍵盤類似的速度和精度。

這一令人驚訝的結果促使研究人員探究為什么手部追蹤比其他物理方法更為有效,比如說沒有物理鍵盤的平板電腦或智能手機的文本鍵入。研究小組發現,手部追蹤技術在分離手指和手指移動軌跡方面有著獨特的優勢,而這正是當今平板電腦和智能手機的電容式感應系統所缺失的信息。

盡管在平面進行接觸式文本鍵入的行為動作并不明確,但研究人員使用一個運動模型來預測人們希望鍵入的內容。手部追蹤可以分離手指和手指移向虛擬按鍵的軌跡。對于這種信息,今天的智能手機和平板電腦無法追蹤捕獲。

2. Oculus Quest的手部追蹤

盡管手部追蹤的潛力巨大,但要虛擬空間中實現如同現實世界一樣的雙手操作令人望而生畏。在SIGGRAPH 2020的的分享中,研究人員描述了在Oculus Quest中實現雙手臨在的眾多問題。

相關論文:MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality

延伸閱讀:Facebook論文詳細分享Oculus Quest手部追蹤技術細節

第一個問題是“有效量積”,亦即能夠追蹤雙手的容積范圍。如果沒有足夠的有效量積,你的雙手會在視場中消失,并中斷用戶交互。第二個問題是追蹤卡頓,它會產生不自然的手部運動。卡頓是目前一個未被充分研究的手部追蹤領域。目前大多數基準數據集都基于靜止幀,而不是流體運動。第三個問題是硬件資源需求。過去的研究主要集中在具有強大GPU的高端PC。但初代Quest的性能要比常見的高端PC低兩個數量級。

早期的實驗只使用兩個前置攝像頭的重疊覆蓋區間,但Quest會丟失用戶雙手。四個攝像頭通過增加區間(或有效量積)來實現雙手的流暢追蹤。在四個攝像頭視覺覆蓋的范圍內,Quest可以“看到”并處理視覺信息。

FRL的手部追蹤解決方案利用了Oculus Quest的四個攝像頭來提供最大的有效量積。最初的計劃只是使用兩個攝像頭,但研究人員注意到,即便在顯示屏的視場內,雙手都有可能會消失。使用四個攝像頭能夠大大增加追蹤容積,但這同時帶來了一個新的計算機視覺挑戰:從四個不同的來源獲取視覺數據并實時拼接在一起。在任何給定的時間,你的雙手都可能位于一個或多個攝像頭的視場內。當你的手移動時,它可以離開一個攝像頭的視場并進入另一個攝像頭的視場。FRL的研究人員不得不建立一個當雙手游離于攝像頭視場之間時依然能夠實現追蹤的框架,并建立一個新的框架將它們拼合在一起。

流暢的和無卡頓的手部追蹤取決于所有四個Quest前置攝像頭的視覺數據。研究人員開發了一個框架來整合所有數據,而它甚至能應對手從一個攝像頭視場切換到另一個攝像頭視場的情況。

最后一個技術障礙是Quest的移動處理器,而它需要將有限的性能資源分給游戲和應用的運行。問題的答案來自于建立高效的神經網絡架構。多年來,研究團隊在根據特定移動處理器(如驍龍835和Hexagon DSP)定制神經網絡設計方面取得了重大進展。研究小組同時利用手部運動的規律性來預測手部接下來的移動位置,從而減少了神經網絡的評估。總的來說,這一系列的優化意味著初代Quest的手部追蹤在日常使用中只消耗7%的電池電量。

為了保持手部運動的流暢性和真實性,研究人員另外開發了一個手部關鍵點估計網絡。傳統的系統是從一系列靜止圖像中預測關鍵點,比如指尖。但根據單一靜態圖像預測手部會導致攝像頭之間的卡頓和非一致結果。所以,研究人員提出不如允許網絡訪問先前預測的關鍵點。對于這種設計方面的改變,研究人員證明了他們的網絡能夠成功地追蹤在圖像邊界部分可見的手部。通過使用這些新的、暫時的信息來調節網絡,研究小組在不犧牲準確性的前提下顯著減少了卡頓(這兩者都是構建逼真手部追蹤的基本要素)。

3. 今天的手部追蹤

我們仍處于構建更自然的設備交互方式的早期階段。但在今年,我們已經看到開發者利用Quest的裸手追蹤,并為社區帶來了一系列不可思議的體驗。《Waltz of the Wizard》允許玩家用手指快速釋放魔法和釀造魔藥。對于榮獲艾美獎的交互式體驗《The Line》,用戶可以通過使用雙手操縱旋鈕、開關等物件來增強故事感。

我們一直致力于幫助人們進一步利用技術的力量,而手部追蹤只是我們正在探索的其中一種方法。盡管我們已經取得了進展,但我們仍處于漫長道路的開始。尋找更好的做事方式需要進一步的研究和創造性的靈感。所以,我們對FRL Research已經取得的里程碑感到興奮,但我們對未來的發展更為興奮。

原文鏈接:https://yivian.com/news/79194.html

THE END
廣告、內容合作請點擊這里 尋求合作
VR
免責聲明:本文系轉載,版權歸原作者所有;旨在傳遞信息,不代表砍柴網的觀點和立場。

相關熱點

2020英雄聯盟全球總決賽(又稱S10)是今年全球規模最大、受眾最廣泛的國際電競體育賽事。
VR
致力于推動醫學數字化的AppliedVR宣布,其用于治療纖維性肌痛和慢性下腰痛的EaseVRx產品已獲得美國食品和藥物管理局(FDA)頒發的突破性設備(Breakthrough Device)稱號。
VR
今天的AR體驗大多局限于單名用戶。由于物理空間的追蹤不一致,如何為AR帶來社交性和協作性是一個挑戰。例如,如果一名用戶將一個虛擬花瓶放到物理桌面,其他用戶的AR視圖可能會顯示成虛擬花瓶漂浮在半空中...
VR
專注于在虛擬現實中教授英語的語言學習初創公司Immerse日前完成了150萬美元的A輪投資。公司表示,這筆資金將允許公司把當前的產品擴展到Oculus Quest 2,并且與西班牙、南美洲和其他受COVID-19新冠肺炎影...
VR
日刊工業新聞在數日前的一份快訊中指出,索尼生產的Micro OLED顯示器已經獲得蘋果的訂單,并將用于2021年發布的“頭戴式顯示器”。
VR

相關推薦

1
3
主站蜘蛛池模板: 自拍 亚洲 欧美 另类 动漫 | 激情开心婷婷 | 国产成人a毛片 | 免费在线观看黄网站 | 又大又粗又爽黄毛片 | aaaaaa毛片免费看 | 国产精品亚洲精品日韩已满 | www在线观看视频 | 久久精品九九亚洲精品天堂 | 在线欧美视频免费观看国产 | 日本在线一本 | 中国老妇另类xxxx | 波多野结衣四虎 | 精品无码久久久久久久动漫 | 91在线亚洲精品专区 | 亚洲欧美日韩国产精品网 | 久久er热视频在这里精品 | 麻豆工作室 | 永久免费视频网站在线观看 | 最新中文字幕在线 | 免费国产不卡午夜福在线 | 日本动漫的18涩涩视频 | 欧美成人午夜精品一区二区 | 人操人碰 | 亚洲第一成年免费网站 | 亚洲精品推荐 | 日日夜夜人人 | 欧美一级专区免费大片野外交 | 三级全黄a | 色屁屁一区二区三区视频国产 | 欧美一区二区三区性 | 日韩精品免费视频 | 一插菊花网 | 老司机午夜精品视频 | 黄色三级小视频 | 国产午夜精品理论片久久影视 | 日韩123| 亚洲无线 | 羞羞网站免费 | 2022日韩理论片在线观看 | 91成人免费观看网站 |