隨著科技的飛速發展,每一次計算平臺的革新都引領著人機交互方式的巨大變革。鼠標的出現奠定了PC時代圖形用戶界面(GUI)的基礎,而智能手機的普及則得益于觸摸屏技術的突破。如今,這股創新的浪潮正涌向可穿戴設備與增強現實(AR)領域,為我們勾勒出了一幅未來人機交互的新藍圖。
在Connect 2024大會上,meta公司驚艷亮相,展示了其EMG腕帶與Orion增強現實眼鏡的原型產品。這兩者的結合,仿佛讓科幻電影中的“隔空打字”場景觸手可及。想象一下,在晨跑時,你只需輕輕一揮手指,就能捕捉下美好瞬間,或是以幾乎難以察覺的手部動作,在虛擬菜單中自由穿梭。
Orion AR眼鏡以其獨特的魅力吸引了眾多目光,而meta推出的肌電圖腕帶更是讓人眼前一亮。戴上這款腕帶,你無需將雙手置于鍵盤上,只需舒適地放在身體兩側,就能通過滑動、點擊和滾動等動作,無縫控制數字內容。這不僅僅是一次技術的革新,更是人機交互方式的一次飛躍。
展望未來,這樣的技術還將應用于更多場景。比如,在增強現實中操縱物體,或是像打字一樣快速輸入信息,甚至更快、更省力。近日,在NeurIPS 2024的“數據集和基”子會場中,meta發布了兩個重要數據集——emg2qwerty和emg2pose,展示了在硬件層面,僅憑腕帶就能產生比細微手勢更豐富的輸入數據集。
emg2qwerty數據集專注于解決可穿戴設備的文本輸入問題。它包含了從兩只手腕獲取的高分辨率表面肌電圖(sEMG)信號,與QWERTY鍵盤的真實按鍵同步。這個數據集由108名參與者完成,涵蓋了廣泛的單字和句子打字提示,總計超過520萬次按鍵,時長達到346小時。通過這一數據集,meta開發了一種受自動語音識別(ASR)領域啟發的方法,能夠自動解碼手腕上的肌肉電信號,并對應到虛擬鍵盤上的按鍵。
而emg2pose數據集則致力于解決肌電信號與手部運動之間的映射問題。它包含了來自193名參與者的370小時sEMG數據和手部姿態數據,涵蓋了29個不同的行為組。這個數據集通過高分辨率動作捕捉陣列生成手部姿態標簽,總計超過8000萬個姿態標簽,規模龐大。借助這一數據集,meta開發了一種名為vemg2pose的先進模型,能夠準確預測手部姿態,誤差僅為1厘米。
這兩個數據集不僅為meta的隔空打字和手部姿態估計技術提供了強大的支持,也為人機交互、康復工程和虛擬現實等領域帶來了新的可能。在醫療康復領域,通過分析患者的sEMG信號,可以實時監測和評估手部功能的恢復情況,為個性化康復方案的制定提供科學依據。而在人機交互領域,這些技術將支持開發更加自然和精準的手勢控制系統,極大地提升用戶體驗。
meta還展示了其基于這些數據集構建的基線模型,并在基準測試中取得了令人矚目的成績。這些模型在排除用戶、傳感器放置和手勢姿態等方面的物理世界泛化場景下,仍能保持出色的性能。這標志著meta在人機交互領域的技術實力,也為我們未來的數字生活描繪了一幅更加便捷、智能的畫卷。
隨著技術的不斷進步和數據集的日益豐富,我們有理由相信,未來的人機交互將更加自然、高效和智能。meta的這次創新,無疑為我們打開了一扇通往未來數字世界的大門。